Фильтры по тегам

Все ai-agents ai-coding llm opinion tools review harness comparison claude-code open-source productivity benchmarks local-llm

Показано: 7

Ternary Bonsai 2 2B, 4B и 9B: тернарные модели от 0,43 ГБ для локальных агентов

В конце сентября PrismML выпустила флагман Ternary Bonsai 2 27B — большую мультимодальную модель, которая влезает в 5,9 ГБ. В октябре компания пошла в другую сторону: не вверх по размеру, а вниз. В се…

llm quantization local-llm ещё 2

Настройка локального кодинг-агента: oh-my-pi и Qwen3.8-27B на двух RTX 3090

Настройки кодинг агента по умолчанию рассчитаны на большую облачную модель с большим запасом мощности. На домашней машине они решают, ответит агент за пять секунд или за пять минут. Автор потратил ден…

local-llm vllm coding-agent ещё 2

Strands Decider 2B: открытая модель для быстрых решений

Большинство AI моделей умеет генерировать текст. Strands Decider 2B делает другое: выбирает один из заранее заданных вариантов и ставит ему оценку. Модель маленькая — всего 2 миллиарда параметров. Она…

ai-agents open-source local-llm ещё 2

AA-AgentPerf-Local: как скорость локального ИИ-агента зависит от железа

Artificial Analysis открыла инструмент AA AgentPerf Local . Он измеряет, с какой скоростью локальный ИИ агент работает на конкретном железе — на ноутбуке или на рабочей станции. Вместе с инструментом …

benchmarks inference local-llm ещё 2

MicroLLM lab: маленькие языковые модели в браузере на WebGPU

MicroLLM lab — это эксперимент с сайта stateofutopia.com, где языковые модели размером от 26 до 362 миллионов параметров запускаются прямо во вкладке браузера. Никаких API ключей, никакого Python, ник…

webgpu local-llm quantization ещё 2

Ternary Bonsai 2 27B: 27B-модель в 5,9 ГБ с сохранением 98,2% качества

Два месяца назад команда PrismML показала, что 27B классную мультимодальную модель можно сжать настолько, чтобы она комфортно работала на локальном устройстве. Теперь они пошли дальше: Ternary Bonsai …

llm quantization open-source ещё 2

Горячий prefix-кэш vLLM между ходами агента: с 55% до 95% попаданий

Автор месяц хостил Qwen3.8 27B локально на двух RTX 3090 под vLLM, пытаясь собрать замену Claude Code для повседневных задач. Первое утро было тяжёлым: в среднем полминуты до первого слова ответа, отд…

vllm inference local-llm ещё 2