Gemma-2-27B¶

В этой статье

• Основные возможности Gemma-2-27B
• Особенности сборки
• Системные требования и технические характеристики
• Начало работы после развертывания Gemma-2-27B
• Заказ сервера с Gemma-2-27B с помощью API

Основные возможности Gemma-2-27B¶

• Высокопроизводительная архитектура: модель обладает 27 миллиардами параметров и оптимизирована для обработки сложных задач с высокой точностью благодаря использованию современных технологий;
• Интеграция с Open Web UI: предоставляет современный веб-интерфейс для удобного взаимодействия с моделью через порт 8080, обеспечивая полный контроль над данными и обработкой запросов;
• Масштабируемость: поддержка многокарточных конфигураций и возможность распределения нагрузки между несколькими GPU для оптимальной производительности;
• Безопасность и контроль: полное локальное развертывание обеспечивает конфиденциальность данных, а настройки OLLAMA_HOST и OLLAMA_ORIGINS гарантируют сетевую безопасность;
• Производительность: использование технологии LLAMA_FLASH_ATTENTION для ускорения обработки запросов и оптимизации работы модели;
• Отказоустойчивость: встроенная система автоматического перезапуска контейнеров и сервисов обеспечивает стабильную работу.
• Примеры использования:
  • Клиентская поддержка: автоматизация ответов на вопросы пользователей;
  • Образование: создание обучающих материалов, помощь в решении задач;
  • Маркетинг: генерация рекламных текстов, анализ отзывов;
  • Разработка ПО: создание и документирование кода.

Особенности сборки¶

• Время на установку 15-30 минут вместе с OS;
• Сервер Ollama загружает и запускает LLM в памяти;
• Open WebUI развертывается как веб-приложение, подключенное к серверу Ollama;
• Пользователи взаимодействуют с LLM через веб-интерфейс Open WebUI, отправляя запросы и получая ответы;
• Все вычисления и обработка данных происходят локально на сервере. Администраторы могут настраивать LLM для специфических задач через инструменты OpenWebUI.

Системные требования и технические характеристики¶

• Графический ускоритель (один из вариантов):
  • 2x NVIDIA A4000 (16/24 ГБ видеопамяти каждая)
  • 1x NVIDIA A6000 (48 ГБ видеопамяти)
  • 1x NVIDIA 5090 (32 ГБ видеопамяти)
• Дисковое пространство: SSD достаточного объема для системы и модели;
• Программное обеспечение: NVIDIA драйверы и CUDA;
• Потребление видеопамяти: 28 ГБ при контексте 2K токенов;
• Системный мониторинг: автоматическая проверка драйверов и контейнеров.

Начало работы после развертывания Gemma-2-27B¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

После перехода по ссылке из тега webpanel будет открыто окно авторизации.

Данные для авторизации, которые можно найти или во вкладке Информация >> Тэги панели управления сервером или в присланном e-mail:

• Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel. Точная ссылка вида https:gemma<Server_ID_from_Invapi>.hostkey.in приходит в письме, отправляемом при сдаче сервера.

После перехода по ссылке необходимо создать идентификатор пользователя и пароль в Open WebUI:

Заказ сервера с Gemma-2-27B с помощью API¶

Для установки данного ПО с использованием API следуйте этой инструкции.