Решения

Готовые решения с исходным кодом на GitHub

Фильтры по тегам

Все ai-agents llm open-source mcp cli python self-hosted multi-agent claude-code tools rag orchestration model-serving

Показано: 2

oMLX — LLM-инференс на Mac с continuous batching и SSD-кэшем KV-блоков

oMLX — open source сервер LLM инференса, оптимизированный специально для Mac на Apple Silicon. Проект вырос из vllm mlx v0.1.0 и заметно эволюционировал: мульти модельное обслуживание, двухуровневый K…

📂 GitHub
llm inference local-first ещё 2

vLLM — высокопроизводительный движок инференса LLM

vLLM — быстрая и простая в использовании библиотека для inference и сервинга больших языковых моделей. Проект разработан в Sky Computing Lab в UC Berkeley и вырос в один из самых активных open source …

📂 GitHub
llm inference model-serving ещё 2