ODS — разверни приватный AI-сервер одной командой

ODS (Osmantic Deployment System) — это решение, которое превращает ваш компьютер в полноценный AI-сервер одной командой. Вам не нужно вручную собирать Ollama, Open WebUI, n8n, ComfyUI и десяток вспомогательных сервисов — ODS устанавливает, настраивает и связывает всё автоматически. 3.3 тысячи звёзд на GitHub, Apache 2.0, активная разработка (2700+ коммитов).

Главная философия проекта: локальный AI не должен зависеть от облачных провайдеров. Ваши промпты, данные и разговоры остаются на вашем железе. Облачные и гибридные режимы доступны опционально, но по умолчанию всё работает локально.

Что внутри

Стек ODS охватывает полный цикл работы с AI:

Инференс и чат:

• llama-server — высокопроизводительный LLM-инференс с автоматическим подбором под GPU
• Open WebUI — полнофункциональный чат-интерфейс с историей, поиском и загрузкой документов
• LiteLLM — API-шлюз с поддержкой локального, облачного и гибридного режимов
• TEI Embeddings — эмбеддинги для RAG и семантического поиска

Голос:

• Whisper — распознавание речи (speech-to-text)
• Kokoro — синтез речи (text-to-speech)

Агенты и автоматизация:

• Hermes Agent — автономный агент с памятью, скиллами и браузерным доступом
• n8n — автоматизация рабочих процессов с 400+ интеграциями
• APE — Agent Policy Engine для аудита и управления вызовами инструментов
• OpenCode — AI-ассистент для программирования в браузере

Поиск и RAG:

• Qdrant — векторная база данных
• SearXNG — самостоятельный поисковый движок без отслеживания
• Perplexica — движок глубокого исследования

Изображения:

• ComfyUI — нодовая генерация изображений

Приватность и операции:

• Privacy Shield — прокси для очистки PII из API-запросов
• Dashboard — мониторинг GPU, состояние сервисов, управление моделями
• Token Spy — мониторинг расхода токенов
• Langfuse — опциональная обзёрвабилити и трейсинг LLM

Установка

Linux и macOS — одна команда:

curl -fsSL https://install.osmantic.com/ods.sh | bash

Windows (PowerShell, требуется Docker Desktop с WSL2):

Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
git clone https://github.com/Osmantic/ODS.git
cd ODS
.\install.ps1

После установки откройте http://localhost:3000 и начинайте общаться с моделью.

Без GPU? Запустите в облачном режиме:

./install.sh --cloud

Автоопределение железа

Установщик сам определяет GPU и назначает аппаратный тир. Затем каталог-селектор (ods/scripts/select-model.py на Linux/macOS, PowerShell-селектор на Windows) подбирает оптимальную GGUF-модель под объём памяти. Итоговый выбор записывается в .env.

Поддерживаемые платформы:

• NVIDIA — от RTX 4060 до мульти-GPU H100
• AMD Strix Halo — Ryzen AI MAX+ 395 с унифицированной памятью
• Apple Silicon — M1+ с Metal-ускорением
• Intel Arc — SYCL на Linux

Примеры подбора: RTX 4090 (24 ГБ) получает Qwen3.5 27B, M2 Ultra (64+ ГБ) — Qwen3.6 35B-A3B, Ryzen AI MAX+ 395 (96 ГБ) — DeepSeek R1 Distill Llama 70B.

Bootstrap-режим

Чтобы не ждать загрузки большой модели, ODS по умолчанию использует bootstrap-режим:

1. Скачивает крошечную модель на 1.5B меньше чем за минуту
2. Вы начинаете чат немедленно
3. Полноразмерная модель скачивается в фоне
4. Горячая замена на полную модель — без downtime

Bootstrap-модель стартует с контекстом 64K, чтобы Hermes Agent мог работать с первой сессии.

CLI

ods status                # Состояние сервисов + GPU
ods model swap T3         # Сменить тир модели
ods mode cloud            # Переключиться на облачные API
ods enable n8n            # Включить расширение
ods config show           # Показать .env (секреты скрыты)
ods preset save gaming    # Сохранить конфигурацию

Система расширений

Каждый сервис — это расширение: папка с manifest.yaml и compose.yaml. Dashboard, CLI, health-чеки и compose-стек автоматически обнаруживают расширения. Сам установщик модульный: 19 библиотечных модулей, общий реестр сервисов и 13 упорядоченных фаз.

Сравнение с аналогами

ODS — это не просто инференс-движок, а полноценный AI-сервер. Ollama + Open WebUI дают чат и инференс, но не включают агентов, голос, генерацию изображений, RAG и автоматизацию рабочих процессов. ODS собирает всё это в один стек с автоопределением железа и установкой одной командой.

Проект получил признание сообщества: AMD Featured Developer, победа в AMD Lemonade Developer Challenge (май 2026), участие в (Co)nnect: Philly's AI Ecosystem Summit.