Перейти к содержанию

DeepSeek-R1:14B

В этой статье

Информация

DeepSeek-R1:14b представляет собой мощную языковую модель, оптимизированную для локального запуска через фреймворк Ollama. Данное решение сочетает в себе высокую производительность модели с удобством использования через Open Web UI. Модель требует значительных вычислительных ресурсов для эффективной работы, но обеспечивает высокое качество генерации текста при сохранении полного контроля над данными и процессом обработки запросов. Развертывание осуществляется на Ubuntu 22.04 с использованием современных графических ускорителей NVIDIA или Radeon.

Основные возможности DeepSeek-R1:14B

  • Высокая производительность: DeepSeek-R1:14B, благодаря архитектуре с 14 миллиардами параметров, способна быстро обрабатывать и генерировать текстовые данные, обеспечивая высокую скорость выполнения задач, связанных с обработкой естественного языка (NLP);
  • Многоязычная поддержка: Модель способна понимать и генерировать текст на множестве языков, что делает её универсальным инструментом для международных проектов и мультиязычных приложений;
  • Гибкость в обучении: поддерживает few-shot и zero-shot обучение, что позволяет ей решать задачи даже при минимальном количестве примеров или без предварительного обучения на конкретных данных;
  • Широкий спектр задач: модель может выполнять разнообразные задачи, включая генерацию текста, перевод, анализ данных, написание кода, решение математических задач и многое другое;
  • Интеграция с приложениями: DeepSeek-R1:14B может быть легко интегрирована в различные приложения через API, что делает её удобной для использования в чат-ботах, виртуальных ассистентах, системах автоматизации и аналитических инструментах;
  • Адаптивность и дообучение: Модель может быть дообучена для специфических задач или доменов, таких как медицина, финансы, юриспруденция или IT, что позволяет адаптировать её под конкретные нужды;
  • Этичность и безопасность: DeepSeek-R1:14B разработана с учётом современных стандартов этичности и безопасности, включая фильтрацию токсичного контента и минимизацию предвзятости в ответах;
  • Энергоэффективность: по сравнению с более крупными моделями, DeepSeek-R1:14B обеспечивает высокую производительность при меньших затратах ресурсов, что делает её экономически выгодной для коммерческого использования;
  • Поддержка различных типов данных: модель способна работать с текстовыми данными, кодом, структурированными и полуструктурированными данными, что расширяет её применимость в различных сферах.
  • Примеры использования:
    • Клиентская поддержка: автоматизация ответов на вопросы пользователей;
    • Образование: создание обучающих материалов, помощь в решении задач;
    • Маркетинг: генерация рекламных текстов, анализ отзывов;
    • Разработка ПО: создание и документирование кода.

Особенности сборки

  • Время на установку 15-30 минут вместе с OS;
  • Сервер Ollama загружает и запускает LLM в памяти;
  • Open WebUI развертывается как веб-приложение, подключенное к серверу Ollama;
  • Пользователи взаимодействуют с LLM через веб-интерфейс Open WebUI, отправляя запросы и получая ответы;
  • Все вычисления и обработка данных происходят локально на сервере. Администраторы могут настраивать LLM для специфических задач через инструменты OpenWebUI.

Системные требования и технические характеристики

  • Операционная система: Ubuntu 22.04;
  • Оперативная память: минимум 16 ГБ RAM;
  • Графический ускоритель: NVIDIA A4000 или более производительный с 16 ГБ видеопамяти;
  • Дисковое пространство: достаточное для установки системы, драйверов и модели;
  • Драйверы: NVIDIA драйверы и CUDA для корректной работы с GPU.
  • Потребление видеопамяти: 12 ГБ при контексте 2K токенов;
  • Автоматический перезапуск: настроен автоматический перезапуск контейнера при сбоях;
  • Поддержка GPU: полная интеграция с NVIDIA CUDA для максимальной производительности.

Начало работы после развертывания DeepSeek-R1:14b

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и APIInvapi.

После перехода по ссылке из тега webpanel будет открыто окно авторизации.

Данные для авторизации, которые можно найти или во вкладке Информация >> Тэги панели управления сервером или в присланном e-mail:

  • Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel. Точная ссылка вида https:deepseek<Server_ID_from_Invapi>.hostkey.in приходит в письме, отправляемом при сдаче сервера.

После перехода по ссылке необходимо создать идентификатор пользователя и пароль в Open WebUI:

Внимание

После регистрации первого пользователя, система автоматически присваивает ему роль администратора. Для обеспечения безопасности и контроля над процессом регистрации, все последующие заявки на регистрацию должны быть одобрены администратором с его учетной записи.

Примечание

Для оптимальной работы рекомендуется использовать GPU с объемом видеопамяти больше минимального требования в 16 ГБ, что обеспечит запас для обработки больших контекстов и параллельных запросов. Подробная информация по основным настройкам Ollama и Open WebUI содержится в документации разработчиков Ollama и в документации разработчиков Open WebUI.

Примечание

Подробное описание особенностей работы с панелью управления Ollama c Open WebUI можно найти в статье AI-чат-бот на собственном сервере

Заказ сервера с DeepSeek-R1:14b с помощью API

Для установки данного ПО с использованием API следуйте этой инструкции.