OmniRoute — свободный AI-шлюз на 268+ провайдеров

· 1 мин чтения
ai-gateway routing token-compression mcp free-tiers llm
📂 Исходный код на GitHub

Локальный прокси-сервер (MIT), который маршрутизирует запросы к 268+ AI-провайдерам через одну OpenAI-совместимую точку, автоматически переключаясь при исчерпании квоты, со сжатием токенов до 95%

OmniRoute — свободный AI-шлюз на 268+ провайдеров

OmniRoute — локальный AI-шлюз с открытым исходным кодом (MIT, 20 800+ звёзд, 500+ контрибьюторов), который подключает любой AI-инструмент к 268+ провайдерам и 500+ моделям через одну OpenAI-совместимую конечную точку (http://localhost:20128/v1). Проект написан на TypeScript, распространяется через npm и Docker, и нигде не «звонит домой» — всё работает на вашей машине.

Зачем это нужно

Каждый AI-редактор и CLI-агент требует собственную настройку провайдера. В результате разработчик жонглирует десятком дашбордов, мёртвыми API-ключами, внезапными лимитами и сюрпризами в счетах. OmniRoute решает эту проблему радикально:

  • Один endpoint — все инструменты (Claude Code, Codex, Cursor, Cline, Copilot, OpenCode, Aider, Kilo Code и ещё 20+) подключаются к localhost:20128/v1
  • Никогда не упираться в лимиты — четырёхуровневый авто-фолбэк: Подписка → API → Дешёвый → Бесплатный, за миллисекунды
  • 90+ бесплатных провайдеров — из них 40+ с бесплатным доступом навсегда, без карты
  • ~1,4 млрд бесплатных токенов в месяц — агрегировано по документированным бесплатным тарифам (честный подсчёт с дедубликацией пулов)

18 стратегий маршрутизации

OmniRoute предлагает 18 стратегий, которые можно комбинировать внутри «комбо» — цепочек из моделей, по которым запрос скользит автоматически:

Стратегия Описание
priority Упорядоченный список — исчерпать каждый перед переходом к следующему
cost-optimized Минимизация $ за запрос по живому каталогу цен
headroom Выбор цели с наибольшим оставшимся объёмом квоты
fusion Параллельный запрос к панели моделей + синтез ответа судьёй
pipeline Цепочка шагов — выход каждого подаётся на вход следующему
lkgp Last-Known-Good Path — прилипание к последнему успешному провайдеру
auto 12-факторный живой скоринг по всем подключениям

Режим auto (и его варианты auto/coding, auto/fast, auto/cheap, auto/offline, auto/smart) строит виртуальное комбо из подключённых провайдеров и оценивает кандидатов по 12 факторам: здоровье, квота, стоимость, задержка, частота успеха, свежесть и другие.

Сжатие токенов: экономия 15–95%

Каждый запрос прозрачно проходит через конвейер из 10 компрессионных движков:

Режим Экономия Для чего
Lite ~15% Безопасный режим по умолчанию
Standard (Caveman) ~30% Ежедневное программирование
Aggressive ~50% Длинные сессии с инструментами
Ultra ~75% Максимальная экономия
RTK 60–90% Вывод shell/тестов/сборки/git
RTK + Caveman 78–95% Смешанные промпты + логи инструментов

Блоки кода, URL и структурированные данные всегда сохраняются байт-в-байт. В среднем на сессиях с интенсивным использованием инструментов экономия составляет ~89%.

Квота-шеринг для команд

Несколько ключей к одному аккаунту (один Codex Pro, один ключ Kimi, одно место GLM Coding)? OmniRoute распределяет квоту честно между ключами пула с настраиваемыми весами (50/30/20) и политиками (hard / soft / burst). Неиспользуемая доля одалживается активным участникам.

Устойчивость: три слоя самовосстановления

Слой Область Что делает
Circuit Breaker Весь провайдер Останавливает запросы к падающему провайдеру, авто-пробинг для восстановления
Connection Cooldown Один ключ/аккаунт Пропускает ключ под 429, пока остальные продолжают работу
Model Lockout Провайдер + модель Карантин одной модели, не трогая остальные

MCP и A2A: агент управляет шлюзом

OmniRoute выставляет себя как MCP-сервер (104 инструмента, 3 транспорта, 31 область видимости) и A2A-агент (6 навыков, JSON-RPC 2.0). Это значит, что AI-агент может сам управлять маршрутизацией, провайдерами, комбо, кешем, сжатием и памятью:

claude mcp add-server omniroute --type http --url http://localhost:20128/api/mcp/stream

Дополнительные возможности

  • Режим Remote — управление удалённым OmniRoute с ноутбука через scoped-токены
  • 3-уровневый прокси + TLS-стелс — JA3/JA4-отпечатки через wreq-js, обход блокировок
  • Guardrails — защита от prompt-инъекций, PII-фильтрация, vision-фильтрация
  • Память (FTS5 + vector) — опциональная, с квантованием int8 и настраиваемым decay
  • 42+ языка интерфейса — включая русский

Где запускается

Платформа Установка
npm npm install -g omniroute
Docker docker run … diegosouzapw/omniroute
Desktop (Electron) Windows / macOS / Linux
Android (Termux) pkg install nodejs && npx -y omniroute
PWA «Добавить на главный экран» из браузера
OpenCode @omniroute/opencode-provider

Почему локально

OmniRoute — локальный прокси. API-ключи и OAuth-токены шифруются на диске (AES-256-GCM), промпты уходят только выбранным провайдерам, телеметрия по умолчанию отключена. Полный аудит исходного кода, MIT-лицензия, self-host навсегда.

Быстрый старт

npm install -g omniroute
omniroute                    # Запуск шлюза + дашборда на порту 20128
omniroute setup              # Мастер первой настройки
omniroute configure claude   # Авто-конфигурация Claude Code
omniroute doctor             # Диагностика провайдеров и подключений

Источник: https://github.com/diegosouzapw/OmniRoute

Похожие материалы