Обзор развертывания qwen3-32b на сервере¶

Предварительные требования¶

Для корректной работы приложения сервер должен соответствовать следующим требованиям:

• Операционная система: Ubuntu.

• Наличие установленного Docker и драйверов NVIDIA CUDA для поддержки GPU.

• Доступ к интернету для загрузки образов и моделей.

• Права суперпользователя (root) для установки системных пакетов и управления сервисами.

FDQN итоговой панели на домене hostkey.in¶

Для доступа к интерфейсу приложения используется следующий шаблон доменного имени:

Процесс установки приложения¶

Процесс развертывания включает в себя несколько этапов: установку системных компонентов, настройку среды выполнения моделей и запуск интерфейса пользователя.

1. Установка Ollama:

2. Выполняется автоматическая загрузка и установка через официальный скрипт curl -fsSL https://ollama.com/install.sh | sh.

3. Создается системный пользователь ollama.

4. Настраивается конфигурация сервиса ollama.service для прослушивания всех сетевых интерфейсов (OLLAMA_HOST=0.0.0.0) и разрешения запросов из других контейнеров (OLLAMA_ORIGINS=*).

5. Включена поддержка Flash Attention (LLAMA_FLASH_ATTENTION=1).

6. Загрузка модели:

7. Выполняется команда ollama pull qwen3:32b для загрузки весов нейросети в систему.

8. Развертывание интерфейса Open WebUI:

9. Запускается Docker-контейнер с использованием образа ghcr.io/open-webui/open-webui:cuda.

10. Контейнеру пробрасывается поддержка GPU (--gpus all).

11. Настраивается сетевое взаимодействие между контейнером и Ollama через адрес host.docker.internal.

12. Настройка проксирования:

13. Создается директория /root/nginx для конфигурации обратного прокси.

14. Развертывается стек Nginx для обеспечения доступа по HTTPS с использованием SSL-сертификатов.

Контейнеры Docker и их запуск¶

В системе работают следующие контейнеры:

Open WebUI

• Имя образа: ghcr.io/open-webui/open-webui:cuda

• Порты: 8080 -> 8080

• Тома (volumes): open-webui:/app/backend/data

• Переменные окружения:

• ENV='dev'

• OLLAMA_BASE_URLS='http://host.docker.internal:11434'

• Политика перезапуска: always

Nginx (Proxy)

• Имя образа: jonasal/nginx-certbot:latest

• Сетевой режим: host

• Тома (volumes):

• nginx_secrets:/etc/letsencrypt

• /data/nginx/user_conf.d:/etc/nginx/user_conf.d

• Политика перезапуска: unless-stopped

Инструкция по обновлению приложения¶

Для обновления основного интерфейса (Open WebUI) необходимо выполнить следующие действия:

1. Перезапустить контейнер для подтягивания изменений или обновить образ:

   docker compose pull && docker compose up -d
   

2. Если требуется обновление модели Ollama, выполните команду:

   ollama pull qwen3:32b
   

Расположение конфигурационных файлов и данных¶

• Конфигурация прокси-сервера: /data/nginx/user_conf.d/

• Данные Open WebUI (хранилище Docker): open-webui (volume)

• Сертификаты SSL: в томе nginx_secrets

• Логи и настройки Nginx: /root/nginx/

Доступные порты для подключения¶