Phi-4-14b¶

В этой статье

• Основные возможности Phi-4-14b
• Особенности сборки
• Системные требования и технические характеристики
• Начало работы после развертывания Phi-4-14b
• Заказ сервера с Phi-4-14b с помощью API

Основные возможности Phi-4-14b¶

• Мощная базовая архитектура: модель имеет 14 миллиардов параметров и контекстное окно в 16 тысяч токенов, что позволяет обрабатывать длинные тексты и сложные задачи с высокой точностью;
• Удобный интерфейс Open Web UI: предоставляет современный веб-интерфейс для взаимодействия с моделью, включая историю чатов, настройку параметров и управление различными моделями в едином интерфейсе;
• Расширенные возможности RAG: встроенная поддержка поиска по документам разных форматов (PDF, PPT, текстовые файлы) и веб-скрапинга, что позволяет модели работать с актуальной информацией и пользовательскими данными;
• Многозадачность: модель эффективно справляется с различными задачами, включая ведение диалогов, ответы на вопросы, анализ данных, создание текстов и базовое программирование;
• Безопасность и точность: модель прошла многоэтапное обучение с учетом пользовательских предпочтений и под контролем экспертов, что обеспечивает высокую точность ответов, соблюдение этических норм и следование инструкциям пользователя;
• Открытость и гибкость: благодаря открытому исходному коду Ollama, система может быть настроена и модифицирована под конкретные нужды, включая интеграцию с другими инструментами и сервисами;
• Поддержка различных типов данных: модель способна работать с текстовыми данными, кодом, структурированными и полуструктурированными данными, что расширяет её применимость в различных сферах.
• Примеры использования:
  • Клиентская поддержка: автоматизация ответов на вопросы пользователей;
  • Образование: создание обучающих материалов, помощь в решении задач;
  • Маркетинг: генерация рекламных текстов, анализ отзывов;
  • Разработка ПО: создание и документирование кода.

Особенности сборки¶

• Время на установку 15-30 минут вместе с OS;
• Сервер Ollama загружает и запускает LLM в памяти;
• Open WebUI развертывается как веб-приложение, подключенное к серверу Ollama;
• Пользователи взаимодействуют с LLM через веб-интерфейс Open WebUI, отправляя запросы и получая ответы;
• Все вычисления и обработка данных происходят локально на сервере. Администраторы могут настраивать LLM для специфических задач через инструменты OpenWebUI.

Системные требования и технические характеристики¶

• Графический ускоритель: NVIDIA A4000 (и более производительный) или аналогичный от AMD с минимум 16 ГБ видеопамяти;
• Дисковое пространство: достаточное для установки системы, драйверов и модели;
• Драйверы: NVIDIA драйверы и CUDA для корректной работы с GPU;
• Потребление видеопамяти: 12 ГБ при контексте 2K токенов;
• Автоматический перезапуск: настроен автоматический перезапуск контейнера при сбоях;
• Поддержка GPU: полная интеграция с NVIDIA CUDA для максимальной производительности.

Начало работы после развертывания Phi-4-14b¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

После перехода по ссылке из тега webpanel будет открыто окно авторизации.

Данные для авторизации, которые можно найти или во вкладке Информация >> Тэги панели управления сервером или в присланном e-mail:

• Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel. Точная ссылка вида https:phi<Server_ID_from_Invapi>.hostkey.in приходит в письме, отправляемом при сдаче сервера.

После перехода по ссылке необходимо создать идентификатор пользователя и пароль в Open WebUI:

Заказ сервера с Phi-4-14b с помощью API¶