Обзор развертывания Apache Spark на сервере¶
Предварительные требования¶
Для корректной работы приложения требуются следующие параметры и условия:
-
Операционная система: Debian или Ubuntu.
-
Права доступа: права суперпользователя (
root) для установки системных пакетов и управления Docker. -
Порты:
-
Внутренний порт приложения:
4040. -
Внешние порты (через прокси):
443(HTTPS).
FQDN итоговой панели на домене hostkey.in¶
| Параметр | Значение |
|---|---|
| Префикс | spark |
| Домен | hostkey.in |
| Полный шаблон | spark{Server_ID_from_Invapi}.hostkey.in |
Структура файлов и каталогов¶
В системе используются следующие пути для хранения данных и конфигураций:
-
/root/spark— символическая ссылка на установленную версию приложения. -
/root/spark-3.5.9-bin-hadoop3— директория с файлами приложения. -
/root/nginx— рабочая директория для управления контейнером прокси-сервера. -
/data/nginx/user_conf.d/— каталог с конфигурационными файлами Nginx. -
/etc/environment— системный файл переменных окружения.
Процесс установки приложения¶
Установка выполняется в несколько этапов:
-
Подготовка системы: Обновление списков пакетов
APTи установка Java (default-jdk). -
Настройка среды: В файл
/etc/environmentдобавляются переменныеJAVA_HOME(версия зависит от дистрибутива) иSPARK_LOCAL_IP="127.0.0.1". -
Загрузка приложения: Скачивание архива Apache Spark версии
3.5.9с официального архива Apache. -
Распаковка: Извлечение содержимого архива в директорию
/root/spark-3.5.9-bin-hadoop3. -
Создание ссылки: Создание символической ссылки по пути
/root/spark, позволяющей обращаться к приложению без указания точной версии. -
Настройка прокси: Установка Docker и запуск контейнера
nginx-certbotдля обеспечения работы через HTTPS.
Права доступа и безопасность¶
-
Для защиты трафика используется SSL-сертификаты, управляемые через Docker-контейнер.
-
Конфигурационные файлы Nginx имеют права доступа
0644. -
Приложение работает под учетной записью
rootв контексте установки системных зависимостей.
Базы данных¶
В данной конфигурации внешние базы данных не используются; приложение использует локальную файловую систему для хранения состояний, если это предусмотрено версией Spark.
Контейнеры Docker и их запуск¶
Для обеспечения доступа к прилотию через защищенное соединение используется следующий контейнер:
| Имя образа | Порты (в режиме host) | Тома (volumes) | Переменные окружения | Политика перезапуска |
|---|---|---|---|---|
jonasal/nginx-certbot:latest | 443 | nginx_secrets:/etc/letsencrypt/data/nginx/user_conf.d:/etc/nginx/user_conf.d | CERTBOT_EMAIL=hkadm@hostkey.com | unless-stopped |
Запуск и управление приложением¶
Управление прокси-сервером осуществляется через Docker Compose из директории /root/nginx:
-
Запуск контейнера:
-
Остановка контейнера:
Доступные порты для подключения¶
Приложение доступно по следующим путям через домен:
| Сервис | Внутренний порт | Путь (URL) |
|---|---|---|
| Основной интерфейс | 4040 | / |
| Master UI | 8080 | /master |
| Worker UI | 8081 | /worker |
| History Server | 18080 | /history |
Прокси серверы (Nginx, SSL, домены)¶
Для обеспечения доступа к веб-интерфейсам Spark используется Nginx в контейнере. Настройка включает:
-
Автоматическое получение и обновление SSL-сертификатов через Certbot.
-
Поддержку WebSocket для корректной работы интерфейсов управления.
-
Проксирование запросов с внешнего порта
443на внутренние порты сервисов Spark.