Решения

Готовые решения с исходным кодом на GitHub

Фильтры по тегам

Все ai-agents llm open-source mcp cli python self-hosted multi-agent claude-code tools rag orchestration quantization

Показано: 3

Strata — большая языковая модель на домашнем компьютере

Strata — это локальный движок для запуска больших языковых моделей на обычном игровом компьютере. Он берёт модель Qwen3.8 Flash Next на 125 миллиардов параметров и размещает её в памяти, которой обычн…

📂 GitHub
local-llm llm inference ещё 2

llama.cpp — инференс LLM на чистом C/C++

llama.cpp — легендарный open source проект для инференса больших языковых моделей (LLM) и визуально языковых моделей (VLM) на чистом C/C++. Главная цель проекта — запуск моделей с минимальной настройк…

📂 GitHub
llm inference cpp ещё 2

colibrì: локальный inference для frontier MoE-моделей на чистом C

colibrì — это inference движок на чистом C, который запускает крупные MoE модели на потребительском и неоднородном железе. Он не требует, чтобы модель целиком помещалась в VRAM или RAM: storage, RAM и…

📂 GitHub
llm inference quantization ещё 2