Платформа маршрутизации и доступа к нейросетям «RouterAI»

«Платформа маршрутизации и доступа к нейросетям «RouterAI»» — серверное веб-приложение (Интернет-сервис, SaaS), обеспечивающее унифицированный доступ к множеству моделей искусственного интеллекта различных поставщиков через единый программный интерфейс (API) и веб-интерфейс. Программное обеспечение выполняет автоматическую маршрутизацию и балансировку запросов между поставщиками моделей, ведёт учёт потребления и тарификацию в рублях, а также обеспечивает управление пользователями и командами. Доступ к сервису осуществляется через веб-браузер или по OpenAI-совместимому REST API; установка ПО на устройство пользователя не требуется.

Функциональные характеристики

Программное обеспечение обеспечивает выполнение следующих функций:

предоставление единого OpenAI-совместимого программного интерфейса (API) для обращения к различным AI-моделям (chat/completions, completions, messages, responses);

автоматическая маршрутизация и балансировка запросов между поставщиками моделей, контроль доступности поставщиков;

генеративные возможности: текст, эмбеддинги и переранжирование, генерация и редактирование изображений, синтез и распознавание речи, генерация видео, распознавание текста (OCR), веб-поиск;

потоковая передача ответов (SSE) и интерактивный чат с моделями в веб-интерфейсе;

учёт израсходованных токенов, тарификация и биллинг в рублях по курсу ЦБ РФ, пополнение баланса и автопополнение, интеграция с платёжными сервисами;

управление пользователями и командами: регистрация, двухфакторная аутентификация, OAuth/SSO, ролевой доступ, управление API-ключами;

административная панель, аналитика потребления, контроль запросов (Request Guard), уведомления и журнал релизов.

Программное обеспечение функционирует на серверной инфраструктуре под управлением ОС семейства Linux; серверная часть реализована на Ruby on Rails и Go, клиентская — на React; используются СУБД PostgreSQL и Redis.