Перейти к содержанию

Обзор развертывания Apache Spark на сервере

Предварительные требования

Для корректной работы приложения требуются следующие параметры и условия:

  • Операционная система: Debian или Ubuntu.

  • Права доступа: права суперпользователя (root) для установки системных пакетов и управления Docker.

  • Порты:

  • Внутренний порт приложения: 4040.

  • Внешние порты (через прокси): 443 (HTTPS).

FQDN итоговой панели на домене hostkey.in

Параметр Значение
Префикс spark
Домен hostkey.in
Полный шаблон spark{Server_ID_from_Invapi}.hostkey.in

Структура файлов и каталогов

В системе используются следующие пути для хранения данных и конфигураций:

  • /root/spark — символическая ссылка на установленную версию приложения.

  • /root/spark-3.5.9-bin-hadoop3 — директория с файлами приложения.

  • /root/nginx — рабочая директория для управления контейнером прокси-сервера.

  • /data/nginx/user_conf.d/ — каталог с конфигурационными файлами Nginx.

  • /etc/environment — системный файл переменных окружения.

Процесс установки приложения

Установка выполняется в несколько этапов:

  1. Подготовка системы: Обновление списков пакетов APT и установка Java (default-jdk).

  2. Настройка среды: В файл /etc/environment добавляются переменные JAVA_HOME (версия зависит от дистрибутива) и SPARK_LOCAL_IP="127.0.0.1".

  3. Загрузка приложения: Скачивание архива Apache Spark версии 3.5.9 с официального архива Apache.

  4. Распаковка: Извлечение содержимого архива в директорию /root/spark-3.5.9-bin-hadoop3.

  5. Создание ссылки: Создание символической ссылки по пути /root/spark, позволяющей обращаться к приложению без указания точной версии.

  6. Настройка прокси: Установка Docker и запуск контейнера nginx-certbot для обеспечения работы через HTTPS.

Права доступа и безопасность

  • Для защиты трафика используется SSL-сертификаты, управляемые через Docker-контейнер.

  • Конфигурационные файлы Nginx имеют права доступа 0644.

  • Приложение работает под учетной записью root в контексте установки системных зависимостей.

Базы данных

В данной конфигурации внешние базы данных не используются; приложение использует локальную файловую систему для хранения состояний, если это предусмотрено версией Spark.

Контейнеры Docker и их запуск

Для обеспечения доступа к прилотию через защищенное соединение используется следующий контейнер:

Имя образа Порты (в режиме host) Тома (volumes) Переменные окружения Политика перезапуска
jonasal/nginx-certbot:latest 443 nginx_secrets:/etc/letsencrypt
/data/nginx/user_conf.d:/etc/nginx/user_conf.d
CERTBOT_EMAIL=hkadm@hostkey.com unless-stopped

Запуск и управление приложением

Управление прокси-сервером осуществляется через Docker Compose из директории /root/nginx:

  • Запуск контейнера:

    docker compose up -d
    

  • Остановка контейнера:

    docker compose down
    

Доступные порты для подключения

Приложение доступно по следующим путям через домен:

Сервис Внутренний порт Путь (URL)
Основной интерфейс 4040 /
Master UI 8080 /master
Worker UI 8081 /worker
History Server 18080 /history

Прокси серверы (Nginx, SSL, домены)

Для обеспечения доступа к веб-интерфейсам Spark используется Nginx в контейнере. Настройка включает:

  • Автоматическое получение и обновление SSL-сертификатов через Certbot.

  • Поддержку WebSocket для корректной работы интерфейсов управления.

  • Проксирование запросов с внешнего порта 443 на внутренние порты сервисов Spark.

question_mark
Я могу вам чем-то помочь?
question_mark
ИИ Помощник ×