DeepSeek-R1:70B¶

В этой статье

• Основные возможности DeepSeek-R1:70B
• Особенности сборки
• Системные требования и технические характеристики
• Начало работы после развертывания DeepSeek-R1:70b
• Заказ сервера с DeepSeek-R1:70b с помощью API

Основные возможности DeepSeek-R1:70B¶

• Высочайшая производительность: Благодаря масштабной архитектуре с 70 млрд параметров, DeepSeek-R1:70B демонстрирует выдающиеся результаты в генерации и понимании естественного языка, обеспечивая точность и глубину ответов даже в сложных сценариях;
• Многоязычная поддержка: Модель обучена на обширных мультиязычных корпусах и способна уверенно работать с десятками языков, включая русский, английский, китайский, испанский, французский и многие другие;
• Продвинутые режимы инференса: Поддерживает zero-shot, few-shot и chain-of-thought рассуждения, что позволяет решать сложные логические, аналитические и творческие задачи без необходимости дообучения;
• Универсальность применения: DeepSeek-R1:70B эффективно справляется с широким спектром задач — от генерации художественного и технического текста до написания и отладки кода, решения математических задач и анализа структурированных данных;
• Глубокая интеграция: Модель легко подключается к внешним системам через REST API или встраивается в чат-боты, аналитические платформы, IDE и корпоративные приложения;
• Возможность дообучения и адаптации: Поддерживает fine-tuning и LoRA-адаптацию для специализированных доменов — таких как медицина, финансы, право, инженерия и научные исследования;
• Этичность и надёжность: Включает встроенные механизмы фильтрации токсичного, вредоносного или предвзятого контента, соответствующие современным стандартам ответственного ИИ;
• Оптимизация под локальное использование: Несмотря на масштаб, DeepSeek-R1:70B поддерживает квантование (например, до 4-бит), что позволяет запускать её на серверах с ограниченной памятью GPU без критической потери качества;
• Работа с разнородными данными: Модель эффективно обрабатывает не только обычный текст, но и программный код, таблицы, JSON, XML и другие форматы, что делает её ценным инструментом в data science и автоматизации;
• Примеры использования:
• Интеллектуальная поддержка клиентов: генерация персонализированных, контекстно-зависимых ответов в реальном времени;
• Образование и наука: помощь в решении сложных задач, объяснение концепций, генерация учебных материалов;
• Контент и маркетинг: создание креативных текстов, анализ тональности, генерация идей для кампаний;
• Программная инженерия: автодополнение кода, рефакторинг, документирование, генерация unit-тестов.

Особенности сборки¶

• Время на установку 30-40 минут вместе с OS;
• Сервер Ollama загружает и запускает LLM в памяти;
• Open WebUI развертывается как веб-приложение, подключенное к серверу Ollama;
• Пользователи взаимодействуют с LLM через веб-интерфейс Open WebUI, отправляя запросы и получая ответы;
• Все вычисления и обработка данных происходят локально на сервере. Администраторы могут настраивать LLM для специфических задач через инструменты OpenWebUI.

Системные требования и технические характеристики¶

• Операционная система: Ubuntu 22.04;
• Оперативная память: минимум 128 ГБ RAM;
• Графический ускоритель: 2x5090 с 32 Гб видеопамяти (64 Гб суммарно) или другие конфигурации. Рекомендуется A100/H100/RTX 6000 PRO
• Дисковое пространство: достаточное для установки системы, драйверов и модели;
• Драйверы: NVIDIA драйверы и CUDA для корректной работы с GPU;
• Потребление видеопамяти: 48 ГБ при контексте 2K токенов;
• Автоматический перезапуск: настроен автоматический перезапуск контейнера при сбоях;
• Поддержка GPU: полная интеграция с NVIDIA CUDA для максимальной производительности.

Начало работы после развертывания DeepSeek-R1:70b¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения к серверу и ссылка для доступа к панели OpenWebUI. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

• Данные для авторизации для доступа к операционной системе сервера (например по SSH) придут к вам в присланном e-mail.

• Ссылка для доступа к панели управления Ollama c Open WebUI с веб-интерфейсом: в теге webpanel во вкладке Информация >> Тэги панели управления Invapi. Точная ссылка вида https:deepseek<Server_ID_from_Invapi>.hostkey.in приходит в письме, отправляемом при сдаче сервера.

После перехода по ссылке из тега webpanel будет открыто окно авторизации OpenWebUI где вам необходимо будет создать аккаунт Администратора, задав его Имя, Логин и Пароль.

После перехода по ссылке из тега webpanel будет открыто окно авторизации Get started with Open WebUI, где вам необходимо создать имя, электронную почту и пароль администратора чат бота, а затем нажать на кнопку Create Admin Account:

Заказ сервера с DeepSeek-R1:70b с помощью API¶

Для установки данного ПО с использованием API следуйте этой инструкции.