Перейти к содержанию

Обзор развертывания Qwen на сервере

Предварительные требования

Для корректной работы приложения требуются следующие параметры системы:

  • Операционная система: Ubuntu (рекомендуется версия 22.04 LTS).

  • Права доступа: Права суперпользователя (root) для установки системных пакетов и драйверов.

  • Оборудование: Наличие графического ускорителя NVIDIA (для аппаратного ускорения) или поддержка CPU-only режима.

  • Сеть: Доступ к интернету для загрузки образов Docker, моделей Ollama и драйверов NVIDIA.

FDQN итоговой панели на домене hostkey.in

Для доступа к интерфейсу приложения используется следующий шаблон доменного имени:

Параметр Значение
Префикс qwen
Домен hostkey.in
Полный шаблон qwen{Server_ID_from_Invapi}.hostkey.in

Структура файлов и каталогов

Основные директории, используемые в системе:

  • /root/nginx — конфигурационные файлы Docker Compose для прокси-сервера.

  • /data/nginx/user_conf.d — пользовательские конфигурации Nginx.

  • /data/nginx/nginx-certbot.env — переменные окружения для SSL-сертификатов.

  • /app/backend/data (внутри контейнера) — хранилище данных Open WebUI.

Процесс установки приложения

Развертывание выполняется в несколько этапов:

  1. Подготовка операционной системы:

  2. Обновление кэша apt и обновление пакетов до последних версий.

  3. Установка ядра HWE (Hardware Enablement).

  4. Установка утилиты ubuntu-drivers-common.

  5. Настройка графического ускорителя:

  6. Проверка наличия видеокарты NVIDIA через lspci.

  7. Автоматическая установка рекомендуемых драйверов NVIDIA.

  8. Установка среды исполнения Ollama:

  9. Использование установочного скрипта для загрузки и установки бинарных файлов Ollama.

  10. Настройка системной службы systemd для автоматического запуска Ollama.

  11. Загрузка модели qwen3.6:35b.

  12. Развертывание веб-интерфейса:

  13. Установка Docker и необходимых модулей Python.

  14. Запуск контейнера Open WebUI через Docker.

Права доступа и безопасность

  • Для работы сервисов используются специализированные системные пользователи (например, ollama).

  • Конфигурационные файлы Nginx имеют права доступа 0644.

  • Директория /root/nginx имеет права 0755.

  • Настройка SSL осуществляется через автоматизированный механизм получения сертификатов.

Базы данных

Приложение использует локальное хранилище данных внутри контейнера Docker для управления сессиями и настройками пользователя Open WebUI (том open-webui).

Контейнеры Docker и их запуск

В системе развернуты следующие контейнеры:

Контейнер Nginx (Proxy)

  • Образ: jonasal/nginx-certbot:latest

  • Режим сети: host

  • Тома:

  • nginx_secrets:/etc/letsencrypt

  • /data/nginx/user_conf.d:/etc/nginx/user_conf.d

  • Политика перезапуска: unless-stopped

Контейнер Open WebUI

  • Образ: ghcr.io/open-webui/open-webui:main

  • Режим сети: host

  • Тома:

  • open-webui:/app/backend/data

  • Переменные окружения:

  • OLLAMA_BASE_URL=http://127.0.0.1:11434

  • Политика перезапуска: always

Кастомные скрипты и дополнительные настройки

В процессе развертывания выполняются следующие действия:

  • Установочный скрипт Ollama: Автоматически определяет архитектуру процессора, загружает нужную версию, настраивает системную службу systemd и интегрирует драйверы NVIDIA (включая поддержку CUDA или ROCm в зависимости от оборудования).

  • Настройка проксирования: Скрипты модифицируют конфигурационные файлы Nginx для перенаправления трафика с порта 443 на внутренний порт приложения.

Инструкция по обновлению приложения

Для обновления основного интерфейса (Open WebUI) необходимо выполнить:

docker compose -f /root/nginx/compose.yml pull && docker compose -f /root/nginx/compose.yml up -d

(Примечание: Команда выполняется в директории, где расположен файл конфигурации).

question_mark
Я могу вам чем-то помочь?
question_mark
ИИ Помощник ×