Решения

Готовые решения с исходным кодом на GitHub

Фильтры по тегам

Все ai-agents llm open-source mcp cli python self-hosted multi-agent claude-code tools rag orchestration moe

Показано: 2

Kimi K3 на чистом C: 2.78 триллиона параметров в 8 ГБ RAM без GPU

Запустить Kimi K3 — модель на 2.78 триллиона параметров весом 1.56 терабайта — на обычном процессоре, без единой видеокарты, в 8.24 ГБ оперативной памяти. Именно это и делает репозиторий kimi k3 in c …

📂 GitHub
llm inference moe ещё 2

colibrì: локальный inference для frontier MoE-моделей на чистом C

colibrì — это inference движок на чистом C, который запускает крупные MoE модели на потребительском и неоднородном железе. Он не требует, чтобы модель целиком помещалась в VRAM или RAM: storage, RAM и…

📂 GitHub
llm inference quantization ещё 2