Apache Airflow¶
Информация
Apache Airflow — это мощная и гибкая платформа для разработки, планирования и мониторинга задач управления потоками данных, которая может быть использована в широком спектре приложений: запуска скриптов для сбора, преобразования и загрузки данных из различных источников, планирования отправки email-рассылки, автоматизации тестирования и т.п.
Apache Airflow. Основные возможности¶
- Airflow использует Python для определения рабочих процессов, что делает их прозрачными, легко настраиваемыми и воспроизводимыми;
- Благодаря открытому API и широкому спектру операторов (operators), Airflow может интегрироваться с множеством технологий и инструментов;
- Web-интерфейс Airflow предоставляет интерактивный обзор состояния рабочих процессов, позволяя отслеживать выполнение задач и легко управлять ими;
- Встроенный планировщик Airflow позволяет запускать задачи в заданное время или с определённой периодичностью (например, каждый час, каждый день);
- Airflow автоматически управляет зависимостями между задачами, гарантируя выполнение работ в правильном порядке;
- Airflow позволяет разбивать большие задачи на более мелкие, управляемые модули, что упрощает разработку и отладку;
- Параллельное выполнение задач и поддержка распределенных вычислений ускоряют обработку больших объемов данных;
- Airflow автоматически перезапускает некорректно завершенные задачи, гарантируя стабильность рабочих процессов;
- Airflow автоматизирует рутинные задачи, освобождая время разработчиков для более важных задач.
Особенности сборки¶
- Поддерживаемая операционная система: Ubuntu 22.04, Debian 11, Debian 12;
- Доступ к панели управления:
https://airflow{Server_ID_from_Invapi}.hostkey.in
; - Время установки панели вместе с ОС занимает порядка 15 минут.
Начало работы после развертывания Apache Airflow¶
После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.
Данные для авторизации, которые можно найти или во вкладке Info >> Tags панели управления сервером или в присланном e-mail:
- Ссылка для доступа к панели управления Apache Airflow с веб-интерфейсом: в теге webpanel;
- Логин:
admin
; - Пароль: приходит в письме на вашу электронную почту при готовности сервера к работе после развертывания ПО.
Авторизация¶
По умолчанию заданы следующие параметры пользователя Admin:
- firstname:
admin
; - lastname:
admin
; - email:
admin@admin.org
.
Интерфейс командной строки доступен по команде airflow
.
В Debian 12 используется виртуальное окружение, активировать которое можно с помощью команды:
После чего CLI также будет доступен по команде airflow
.
Примечание
Подробная информация по основным настройкам Apache Airflow содержится в документации разработчиков.
Заказ сервера с Apache Airflow с помощью API¶
Для установки данного ПО с использованием API следуйте этой инструкции.