LiteLLM¶
В этой статье
Информация
LiteLLM - это популярная open-source (открытая) Python-библиотека и прокси-сервер, которые предоставляют унифицированный, совместимый с OpenAI интерфейс для вызова API более чем 100 различных крупных языковых моделей (LLM).
LiteLLM. Основные возможности¶
- Единый API (OpenAI-совместимость). Чтобы переключиться с gpt-4o на claude-3-5-sonnet или локальную llama-3, достаточно изменить всего одну строчку (параметр model), не переписывая логику приложения.
- Огромная экосистема провайдеров. Поддерживает более 100 провайдеров «из коробки»: OpenAI, Azure OpenAI, Anthropic, Google Gemini, AWS Bedrock, Cohere, HuggingFace, Ollama, vLLM, Groq и многие другие.
- Управление затратами и бюджетами (Cost Tracking)/. Встроенный точный подсчет стоимости каждого запроса в долларах (или токенах). Можно устанавливать жесткие лимиты расходов (budgets) для отдельных пользователей, API-ключей или команд, чтобы избежать неожиданных счетов.
- Отказоустойчивость (Fallbacks и Retries). Если основной API недоступен, отвечает ошибкой или превышен лимит запросов (rate limit), LiteLLM может автоматически повторить попытку или незаметно для пользователя переключиться на резервную модель или другого провайдера.
- Балансировка нагрузки (Load Balancing). Позволяет распределить запросы между несколькими API-ключами одного провайдера или разными развертываниями одной модели, чтобы эффективно обходить ограничения на частоту запросов (rate limits).
- Наблюдаемость и логирование (Observability). Бесшовная интеграция с популярными инструментами мониторинга и отладки (Langfuse, Prometheus, Datadog, Arize Phoenix, Helicone) для отслеживания задержек, ошибок и затрат в реальном времени.
- Асинхронность и Streaming. Полная поддержка асинхронных вызовов (asyncio) и потоковой передачи ответов (streaming) для всех поддерживаемых провайдеров, что критично для создания быстрых и отзывчивых чат-интерфейсов.
Особенности сборки¶
| ID | Имя ПО | ОС | VPS | BM | VGPU | GPU | Мин. ЦПУ (Ядер) | Мин. ОЗУ (ГБ) | Мин. HDD/SDD (ГБ) | Свой домен | Доступно |
Информацию по особенностям развертывания данного ПО можно посмотреть по ссылке
Примечание
Если не указано иное, по умолчанию мы устанавливаем последнюю релиз версию программного обеспечения с сайта разработчика или репозиториев операционной системы.
Начало работы после развертывания LiteLLM¶
После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.
Данные для авторизации, которые можно найти или во вкладке Конфигурация >> Теги панели управления сервером или в присланном e-mail:
- Ссылка для доступа к панели управления с веб-интерфейсом: в теге webpanel;
- Логин:
admin; - Пароль: для администратора - приходит в письме на вашу электронную почту при сдаче сервера;
Подключение и первоначальные настройки¶
После перехода по ссылке из тега webpanel будет открыто окно авторизации.
После ввода логина и пароля вы будете перенаправлены на главный экран управления LiteLLM.
Информация
Обратите внимание на необходимость смены пароля администратора после первичного входа в приложение. Предупреждение и порядок действий для смены будет выведено на главный экран.
Теперь вы можете начинать работу с LiteLLM. Обращаем ваше внимание, что добавление дополнительных пользователей доступно только после настройки службы рассылки электронной почты.
Примечание
Подробная информация по основным настройкам LiteLLM содержится в документации разработчиков.
Заказ сервера с LiteLLM с помощью API¶
Установка данного ПО с использованием API описана в данном руководстве.