Gemma-4-31B¶

В этой статье

• Основные возможности Gemma-4-31B
• Особенности сборки
• Начало работы после развертывания Gemma-4-31B
• Заказ сервера с Gemma-4-31B с помощью API

Основные возможности Gemma-4-31B¶

• Мощная Dense-архитектура: модель является лидером в категории плотных открытых моделей, предлагая высочайшее качество генерации и анализа;
• Нативная мультимодальность: архитектура поддерживает одновременную обработку текстового и графического ввода с выдачей текстового результата;
• Огромное контекстное окно: поддержка до 256K токенов позволяет загружать в память целые кодовые репозитории или длинные документы;
• Режим мышления (Thinking Mode): модель способна генерировать промежуточные шаги рассуждения перед формированием финального ответа;
• Агентские возможности: встроенная поддержка нативного вызова функций (function calling) упрощает создание автономных AI-агентов;
• Интеграция с Open Web UI: предоставляет современный веб-интерфейс для удобного взаимодействия с моделью через порт 8080, обеспечивая полный контроль над данными и обработкой запросов;
• Масштабируемость: поддержка многокарточных конфигураций и возможность распределения нагрузки между несколькими GPU для оптимальной производительности;
• Безопасность и контроль: полное локальное развертывание обеспечивает конфиденциальность данных, а настройки OLLAMA_HOST и OLLAMA_ORIGINS гарантируют сетевую безопасность;
• Производительность: использование технологии LLAMA_FLASH_ATTENTION для ускорения обработки запросов и оптимизации работы модели;
• Отказоустойчивость: встроенная система автоматического перезапуска контейнеров и сервисов обеспечивает стабильную работу.

Особенности сборки¶

Начало работы после развертывания Gemma-4-31B¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения к серверу и ссылка для доступа к панели OpenWebUI. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

• Данные для авторизации для доступа к операционной системе сервера (например по SSH) придут к вам в присланном e-mail.

• Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel во вкладке Конфигурация >> Теги панели управления Invapi. Точная ссылка вида https://gemma<Server_ID_from_Invapi>.hostkey.in приходит в письме, отправляемом при сдаче сервера.

После перехода по ссылке из тега webpanel будет открыто окно авторизации Get started with Open WebUI, где вам необходимо создать имя, электронную почту и пароль администратора чат бота, а затем нажать на кнопку Create Admin Account:

Заказ сервера с Gemma-4-31B с помощью API¶

Установка данного ПО с использованием API описана в данном руководстве.