Министерство цифрового развития, связи и массовых коммуникаций

Российской Федерации Ордена Трудового Красного Знамени

федеральное государственное бюджетное образовательное

учреждение высшего образования

Московский технический университет связи и информатики

Кафедра «Математическая кибернетика и информационные технологии»

Лабораторная работа №2

по дисциплине

«Большие данные»

Москва 2022

Содержание

1 Установка образа Hadoop 2

2 Команды для доступа к панели администратора 3

3 Консольные утилиты для работы с кластером 5

4 Изучение интерфейса Cloudera Manager. 9

1 Установка образа Hadoop

Образ Hadoop был установлен на виртуальную машину. Процесс установки представлен на рисунке 1

Рисунок 1 – Установка образа Hadoop

2 Команды для доступа к панели администратора

Выполнить следующие шаги в терминале для доступа к панели администратора:

a. hostname # Покажет имя хоста: quickstart.cloudera

b. hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS

c. service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно

d. su - #Вход в рута

e. service cloudera-scm-server status # Пароль для рута: cloudera

На рисунке 2 представлен результат команды hostname.

Рисунок 2 - результат команды hostname.

На рисунке 3 представлен результат команды hdfs dfs -ls.

Рисунок 3 - результат команды hdfs dfs -ls

На рисунке 4 представлен результат команды service cloudera-scm-server status

Рисунок 4 - service cloudera-scm-server status

На рисунке 5 представлен результат команды для использования cloudera express бесплатно.

Рисунок 5 - результат команды для использования cloudera express

На рисунке 6 представлен результат команды su

Рисунок 6 - результат команды su

3 Консольные утилиты для работы с кластером

Создание директории представлено на рисунке 7.

Рисунок 7 – Создание директории

Копирование директории представлено на рисунке 8

Рисунок 8 - Копирование директории

Удаление директории представлено на рисунке 9

Рисунок 9 - Удаление директории

Создание и копирование файла в HDFS представлено на рисунке 10.

Рисунок 10 - Создание и копирование файла в HDFS.

Удаление файла представлено на рисунке 11.

Рисунок 11 - Удаление файла

Хранение файла в файловой системе представлено на рисунке 12.

Рисунок 12 - Хранение файла в файловой системе

Установление нестандартного фактора репликации представлено на рисунке 13.

Рисунок 13 - Установление нестандартного фактора репликации

4 Изучение интерфейса Cloudera Manager.

Изучение интерфейса представлено на рисунках 14 – 16.

Рисунок 14 – Изучение интерфейса.

Рисунок 15 – Изучение интерфейса.

Рисунок 16 – Изучение интерфейса.