Перейти к содержанию

Обзор развертывания Pytorch на сервере

Предварительные требования

Для корректной работы приложения требуются следующие условия:

  • Операционная система: Debian или Ubuntu.

  • Наличие видеокарты NVIDIA (в частности, поддерживаются модели серии H100).

  • Права доступа: права суперпользователя (root) для выполнения установки системных пакетов и драйверов.

FQDN итоговой панели на домене hostkey.in

| Параметр | Значение | | Префикс | pytorch | | Домен | hostkey.in | | Полный шаблон | pytorch{Server_ID_from_Invapi}.hostkey.in |

Процесс установки приложения

Процесс развертывания включает в себя несколько этапов: подготовку системы, установку драйверов NVIDIA и настройку среды Python для работы с PyTorch.

  1. Подготовка операционной системы:

  2. Обновление списка пакетов и выполнение безопасного обновления всех системных компонентов.

  3. Удаление неиспользуемых зависимостей.

  4. Установка базовых утилит: curl, wget, sudo.

  5. Установка драйверов и CUDA:

  6. Если система обнаруживает видеокарту модели H100, устанавливается пакет ядра linux-generic-hwe-22.04.

  7. Установка пакета ubuntu-drivers-common.

  8. Автоматический поиск и установка рекомендуемого проприетарного драйвера NVIDIA.

  9. Установка компилятора gcc.

  10. Регистрация репозитория CUDA через пакет cuda-keyring.

  11. Установка среды выполнения CUDA (cuda).

  12. Настройка пользователя и окружения:

  13. Создание системного пользователя user с домашним каталогом /home/user.

  14. Генерация случайного пароля для пользователя (сохраняется в файле /root/user_credentials).

  15. Добавление пользователя в группу sudo для возможности выполнения административных задач.

  16. Установка библиотек разработки: libnvinfer5-dev.

  17. Установка Python 3.10, менеджера пакетов pip и модуля venv.

  18. Настройка среды PyTorch:

  19. Создание виртуального окружения в директории /home/user/venv.

  20. Установка библиотек torch, torchvision и torchaudio через pip3.

  21. Настройка переменных окружения PATH и LD_LIBRARY_PATH в файле .bashrc для корректной работы CUDA.

Права доступа и безопасность

  • Пользователь: Для работы с приложением создается выделенный пользователь user.

  • Безопасность: Пароль пользователя генерируется случайным образом через openssl и сохраняется в защищенном файле /root/user_credentials.

  • Доступ: Пользователю предоставляются права sudo для управления системой.

Базы данных

В данной конфигурации базы данных не используются.

Контейнеры Docker и их запуск

Приложение развертывается непосредственно в операционной системе (bare metal) без использования контейнеров Docker. Все компоненты работают как нативные процессы или библиотеки Python в виртуальном окружении.

Кастомные скрипты и дополнительные настройки

В процессе установки используются два основных сценария:

  1. Установочный скрипт (/root/install_script.sh):

  2. Выполняет автоматическую установку драйверов NVIDIA и CUDA.

  3. Настраивает системные переменные окружения для работы с графическим ускорителем.

  4. Создает пользователя user и подготавливает среду Python.

  5. Скрипт установки PyTorch (/home/user/pytorch_install.sh):

  6. Инициализирует виртуальное окружение venv.

  7. Устанавливает необходимые библиотеки машинного обучения.

  8. Проводит тестовый запуск кода для проверки доступности CUDA (вывод: PyTorch installed with CUDA или сообщение об отсутствии устройства).

Также создается вспомогательный скрипт /home/user/pytorch.sh для быстрого входа в рабочую среду через активацию виртуального окружения.

Инструкция по обновлению приложения

Для обновления библиотек PyTorch и зависимостей необходимо:

  1. Войти под пользователем user.

  2. Активировать виртуальное окружение:

    source ~/pytorch.sh
    

  3. Выполнить обновление через pip:

    pip install --upgrade torch torchvision torchaudio
    

Расположение конфигурационных файлов и данных

  • Кредитные данные пользователя: /root/user_credentials

  • Виртуальное окружение Python: /home/user/venv

  • Скрипт активации среды: /home/user/pytorch.sh

  • Конфигурация окружения (bashrc): /home/user/.bashrc

Доступные порты для подключения

Приложение не использует стандартные сетевые порты для прослушивания, так как является библиотекой машинного обучения. Доступ осуществляется через терминал (SSH) под пользователем user.

question_mark
Я могу вам чем-то помочь?
question_mark
ИИ Помощник ×