МИНИСТЕРСТВО ЦИФРОВОГО РАЗВИТИЯ, СВЯЗИ И МАССОВЫХ КОММУНИКАЦИЙ РОССИЙСКОЙ ФЕДЕРАЦИИ

Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования

«Московский технический университет связи и информатики»

Кафедра «Математическая кибернетика и информационные технологии»

Дисциплина «Большие данные»

Отчет по лабораторной работе 8

Выполнил:

студент группы БСТ2104

Станишевский И.А.

Проверила: Тимофеева А. И.

Москва, 2023 г.

Содержание

Цель работы 3

Ход выполнения 3

Вывод: 5

Цель работы 3

Ход выполнения 3

Вывод: 7

Цель работы

Получить навыки работы с Airflow.

Ход выполнения

Apache Airflow - это открытая платформа для создания, выполнения, отслеживания и управления операциями по обработке данных. Она позволяет разработчикам контролировать и мониторить сложные рабочие процессы, выполняемые в локальных и облачных средах.

Зайдем на хост 192.168.0.7 и переместимся в директорию /data/airflow_dags.

Рисунок 1 – Запуск Airflow

В качестве узлов DAG выступают задачи (Task). Это непосредственно операции, применяемые к данным, например, загрузка данных из различных источников, их агрегирование, индексирование, очистка от дубликатов, сохранение полученных результатов и прочие ETL-процессы. На уровне кода задачи могут представлять собой Python-функции или Bash-скрипты.

Внутри директории создаем DAG из нескольких тасков:

— DummyOperator - «Пустой» оператор, который можно использовать для группировки задач

— BashOperator (с выводом даты) - Запуск Bash-скриптов

— PythonOperator (с выводом даты) - Исполнение Python-кода

Рисунок 2 – Код .py файла

DAG (Directed Acyclic Graph) - направленный ацикличный граф. Это граф, в котором нет зацикливания. В нем могут быть разветвления, но в конце они сходятся в одной точке.

Через пару минут после сохранения файла он появится в UI Airflow. Проверим это.

Рисунок 3 – Отображение DAG в UI Airflow

Запустим его вручную, покажем, что запуск произошёл корректно.

Рисунок 4 – Запуск DAG вручную

Рисунок 3 – Вывод Dag Runs

Рисунок 4 – Вывод Logs

Рисунок 5 – Вывод Task Instances

Рисунок 6 – Вывод DAG details

Вывод:

Получил навыки работы с Airflow.