Решения

Готовые решения с исходным кодом на GitHub

Фильтры по тегам

Все ai-agents llm open-source mcp cli python self-hosted multi-agent claude-code tools rag orchestration inference

Показано: 14

PS5LM Plus — llama.cpp на видеокарте взломанной PS5

PS5LM Plus — это нативное приложение для взломанной PlayStation 5, которое запускает языковые модели прямо на консоли, на её GPU. Вместо облака и чужого железа получается локальный сервер с открытым A…

📂 GitHub
llm local-ai inference ещё 2

openTPU — открытый AI-ускоритель на FPGA, спроектированный агентами

openTPU — это открытый ускоритель для запуска языковых моделей на FPGA карте. Проект интересен тем, что его проектировали ИИ агенты. Это те же агенты, чей собственный inference он и выполняет. Репозит…

📂 GitHub
ai-agents hardware inference ещё 2

Strands Decider — модель решений для агентов: выбор варианта, оценка, да или нет

Strands Decider — это модель, которая не пишет текст, а принимает решения. На вход она получает текст и вопрос. Ответ она выбирает из готового списка либо ставит оценку по шкале. В отличие от LLM, она…

📂 GitHub
llm ai-agents classification ещё 2

Strata — большая языковая модель на домашнем компьютере

Strata — это локальный движок для запуска больших языковых моделей на обычном игровом компьютере. Он берёт модель Qwen3.8 Flash Next на 125 миллиардов параметров и размещает её в памяти, которой обычн…

📂 GitHub
local-llm llm inference ещё 2

Kimi K3 на чистом C: 2.78 триллиона параметров в 8 ГБ RAM без GPU

Запустить Kimi K3 — модель на 2.78 триллиона параметров весом 1.56 терабайта — на обычном процессоре, без единой видеокарты, в 8.24 ГБ оперативной памяти. Именно это и делает репозиторий kimi k3 in c …

📂 GitHub
llm inference moe ещё 2

Laya-MLX: нативный рантайм typed decisions на Apple Silicon

Laya MLX — это независимый MLX порт моделей семейства Laya, которые отвечают не текстом, а структурированными решениями: выбором варианта, оценкой по рубрике или вероятностью утверждения. Репозиторий …

📂 GitHub
mlx apple-silicon decision-model ещё 2

SemIf — семантические if'ы на открытых моделях

Большинство решений в AI агентах — мелкие: маршрутизация, повторные попытки, проверка фактов. Chat модель справится, но тратит время на генерацию текста, который софт тут же парсит обратно в if . SemI…

📂 GitHub
semantic-decisions llm inference ещё 2

oMLX — LLM-инференс на Mac с continuous batching и SSD-кэшем KV-блоков

oMLX — open source сервер LLM инференса, оптимизированный специально для Mac на Apple Silicon. Проект вырос из vllm mlx v0.1.0 и заметно эволюционировал: мульти модельное обслуживание, двухуровневый K…

📂 GitHub
llm inference local-first ещё 2

llama.cpp — инференс LLM на чистом C/C++

llama.cpp — легендарный open source проект для инференса больших языковых моделей (LLM) и визуально языковых моделей (VLM) на чистом C/C++. Главная цель проекта — запуск моделей с минимальной настройк…

📂 GitHub
llm inference cpp ещё 2

AirLLM — запуск 70B языковых моделей на GPU с 4 ГБ видеопамяти

AirLLM — open source Python библиотека, которая кардинально снижает потребление видеопамяти при инференсе больших языковых моделей. 70B модель запускается на единственной GPU с 4 ГБ VRAM — без квантиз…

📂 GitHub
llm inference python ещё 2

colibrì: локальный inference для frontier MoE-моделей на чистом C

colibrì — это inference движок на чистом C, который запускает крупные MoE модели на потребительском и неоднородном железе. Он не требует, чтобы модель целиком помещалась в VRAM или RAM: storage, RAM и…

📂 GitHub
llm inference quantization ещё 2

vLLM — высокопроизводительный движок инференса LLM

vLLM — быстрая и простая в использовании библиотека для inference и сервинга больших языковых моделей. Проект разработан в Sky Computing Lab в UC Berkeley и вырос в один из самых активных open source …

📂 GitHub
llm inference model-serving ещё 2