OmniRoute¶
В этой статье
Информация
OmniRoute - это программное решение с открытым исходным кодом, которое выступает в роли промежуточного слоя (middleware) между вашим приложением и различными провайдерами языковых моделей (LLM), такими как OpenAI, Anthropic, Google Gemini, Mistral, а также локально развернутыми моделями (через Ollama, vLLM и др). Его главная цель — абстрагировать сложность работы с множеством API, предоставляя разработчикам единую точку входа (обычно полностью совместимую с форматом OpenAI API) и интеллектуально управляя маршрутизацией запросов.
OmniRoute. Основные возможности¶
- Единый унифицированный API. Вам не нужно переписывать код под каждого нового провайдера. OmniRoute принимает запросы в стандартном формате (например, OpenAI-compatible) и автоматически транслирует их в нужный формат для выбранного бэкенда.
- Интеллектуальная маршрутизация (Smart Routing)
- Fallback (Резервирование): Если основной провайдер (например, OpenAI) возвращает ошибку или превышает таймаут, прокси мгновенно и незаметно для пользователя перенаправляет запрос резервному провайдеру (например, Anthropic или локальной модели).
- Балансировка нагрузки (Load Balancing): Распределение запросов между несколькими API-ключами или аккаунтами для обхода лимитов (rate limits) одного ключа.
- Маршрутизация по стоимости или задержке: Простые запросы могут автоматически направляться к более дешевым и быстрым моделям, а сложные — к флагманским.
- Продвинутое кэширование. Поддержка как точного (exact match), так и семантического (semantic) кэширования. Если похожий запрос уже обрабатывался, OmniRoute возвращает сохраненный ответ, что радикально снижает задержку (latency) и затраты на токены.
- Управление затратами и аналитика. Встроенный мониторинг в реальном времени: подсчет использованных токенов, оценка стоимости запросов, отслеживание времени отклика (TTFT — Time To First Token) и дашборды для анализа эффективности разных моделей.
- Безопасность и управление доступом. Централизованное хранение и ротация API-ключей провайдеров (ключи не хранятся в коде клиентского приложения).Возможность фильтрации запросов: маскирование PII (персональных данных), защита от prompt injection и установка лимитов на использование для разных пользователей или команд.
Особенности сборки¶
| ID | Имя ПО | ОС | VPS | BM | VGPU | GPU | Мин. ЦПУ (Ядер) | Мин. ОЗУ (ГБ) | Мин. HDD/SDD (ГБ) | Свой домен | Доступно |
Информацию по особенностям развертывания данного ПО можно посмотреть по ссылке
Примечание
Если не указано иное, по умолчанию мы устанавливаем последнюю релиз версию программного обеспечения с сайта разработчика или репозиториев операционной системы.
Начало работы после развертывания OmniRoute¶
После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.
Данные для авторизации, которые можно найти или во вкладке Конфигурация >> Теги панели управления сервером или в присланном e-mail:
- Ссылка для доступа к панели управления с веб-интерфейсом: в теге webpanel;
- Пароль: для администратора - приходит в письме на вашу электронную почту при сдаче сервера;
Подключение и первоначальные настройки¶
После перехода по ссылке из тега webpanel будет открыто окно авторизации.
После ввода пароля вы будете перенаправлены на главный экран управления OmniRoute.
Информация
Обратите внимание на необходимость смены пароля администратора после первичного входа в приложение. Предупреждение и порядок действий для смены будет выведено на главный экран.
Теперь вы можете начинать работу с OmniRoute.
Примечание
Подробная информация по основным настройкам OmniRoute содержится в документации разработчиков.
Заказ сервера с OmniRoute с помощью API¶
Установка данного ПО с использованием API описана в данном руководстве.