North Mini Code 1.0¶
В этой статье
Информация
North Mini Code 1.0 — это первая специализированная модель для разработчиков от Cohere Labs, созданная для генерации кода и агентской инженерии ПО . Модель использует архитектуру Mixture-of-Experts (MoE) с 30 миллиардами общих параметров, из которых лишь 3 миллиарда активируются на каждый токен . Это позволяет достичь высокой производительности при относительно скромных требованиях к памяти: в Ollama модель занимает около 19 ГБ и поддерживает впечатляющее контекстное окно до 488K токенов. Развертывание на базе Ubuntu 22.04 с интеграцией Open Web UI обеспечивает удобный интерфейс и полный контроль над конфиденциальным исходным кодом.
Основные возможности North Mini Code 1.0¶
- Эффективная MoE-архитектура: 30B общих параметров при всего 3B активных, что обеспечивает высокую скорость генерации кода и низкое потребление вычислительных ресурсов ;
- Гигантское контекстное окно: нативная поддержка 256K токенов, расширяемая в Ollama до 488K, позволяет загружать в память целые кодовые базы и объемную документацию ;
- Агентская инженерия ПО: модель специально оптимизирована для работы в качестве автономного кодера и планировщика задач;
- Локальный запуск: компактный размер делает эту мощную модель доступной для запуска на современных графических ускорителях ;
- Интеграция с Open Web UI: предоставляет современный веб-интерфейс для удобного взаимодействия с моделью через порт 8080, обеспечивая полный контроль над данными и обработкой запросов;
- Масштабируемость: поддержка многокарточных конфигураций и возможность распределения нагрузки между несколькими GPU для оптимальной производительности;
- Безопасность и контроль: полное локальное развертывание обеспечивает конфиденциальность данных, а настройки
OLLAMA_HOSTиOLLAMA_ORIGINSгарантируют сетевую безопасность; - Производительность: использование эффективных механизмов внимания для ускорения обработки запросов и оптимизации работы модели;
- Отказоустойчивость: встроенная система автоматического перезапуска контейнеров и сервисов обеспечивает стабильную работу.
Особенности сборки¶
| ID | Имя ПО | ОС | VPS | BM | VGPU | GPU | Мин. ЦПУ (Ядер) | Мин. ОЗУ (ГБ) | Мин. HDD/SDD (ГБ) | Свой домен | Доступно |
|---|---|---|---|---|---|---|---|---|---|---|---|
Информацию по особенностям развертывания данного ПО можно посмотреть по ссылке
Примечание
Если не указано иное, по умолчанию мы устанавливаем последнюю релиз версию программного обеспечения с сайта разработчика или репозиториев операционной системы.
Начало работы после развертывания North Mini Code 1.0¶
После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения к серверу и ссылка для доступа к панели OpenWebUI. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.
-
Данные для авторизации для доступа к операционной системе сервера (например по SSH) придут к вам в присланном e-mail.
-
Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel во вкладке Конфигурация >> Теги панели управления Invapi. Точная ссылка вида
https://gemma<Server_ID_from_Invapi>.hostkey.inприходит в письме, отправляемом при сдаче сервера.
После перехода по ссылке из тега webpanel будет открыто окно авторизации Get started with Open WebUI, где вам необходимо создать имя, электронную почту и пароль администратора чат бота, а затем нажать на кнопку Create Admin Account:
Внимание
После регистрации первого пользователя, система автоматически присваивает ему роль администратора. Для обеспечения безопасности и контроля над процессом регистрации, все последующие заявки на регистрацию нужно одобрять в интерфейсе OpenWebUI из аккаунта администратора
Примечание
Подробное описание особенностей работы с панелью управления Ollama c Open WebUI можно найти в статье ИИ чат-бот на собственном сервере
Примечание
Для оптимальной работы рекомендуется использовать GPU с объемом видеопамяти больше минимального требования в 24 ГБ, что обеспечит запас для обработки больших контекстов и параллельных запросов. Подробная информация по основным настройкам Ollama и Open WebUI содержится в документации разработчиков Ollama и в документации разработчиков Open WebUI.
Заказ сервера с North Mini Code 1.0 с помощью API¶
Установка данного ПО с использованием API описана в данном руководстве.