Ternary Bonsai 2 2B, 4B и 9B: тернарные модели от 0,43 ГБ для локальных агентов

В конце сентября PrismML выпустила флагман Ternary Bonsai 2 27B — большую мультимодальную модель, которая влезает в 5,9 ГБ. В октябре компания пошла в другую сторону: не вверх по размеру, а вниз. В семейство добавились три маленькие тернарные модели — 2B, 4B и 9B на базе Qwen3.5.

Их объём — 0,43 ГБ, 0,95 ГБ и 2 ГБ. Это меньше, чем размер большинства обучающих датасетов. При этом заявленная удержка качества на 19 бенчмарках — от 90% до 122% от полноразрядного оригинала. Разбираемся, что именно показывают тесты и зачем нужны модели такого размера.

Тернарное сжатие в одну строку

Каждый вес модели хранится не как произвольное число, а как одно из трёх значений: −1, 0 или +1. Поверх них идут коэффициенты масштабирования в FP16, которые применяются по группам.

Отсюда три практических следствия:

• размер падает в разы — вместо 16 бит на вес хранится грубо один бит;
• скорость растёт — умножение на −1, 0 или +1 сводится к сложению или вычитанию, то есть к самой дешёвой арифметике;
• энергии уходит меньше — на ту же операцию тратится меньше энергии.

Подробнее про сам метод и про 27B-модель — в материале о флагмане Bonsai 2 27B. Здесь важнее другое: авторы перенесли тот же приём на модели, которые раньше вообще не считали интересным кандидатом на сжатие, потому что их и так было мало.

Четыре размера в одном семействе

Первое поколение Bonsai выходило в размерах 1,7B, 4B и 8B. Второе поколение теперь покрывает четыре размера: 2B, 4B, 9B и 27B.

Все три новые модели — более чем в 9 раз меньше своих полноразрядных оригиналов.

Обратите внимание на слова «более чем в 9 раз» для всех трёх. Это значит, что сжатие дало одинаковый выигрыш в памяти независимо от размера исходника. Маленькая модель сжимается не сильнее и не слабее большой — просто потому, что разрядность одна и та же.

19 бенчмарков, 6 групп навыков

Оценка проведена по 19 тестам, разбитым на шесть групп: агенты и вызов инструментов, математика, следование инструкциям, кодинг, знания и рассуждения, зрение. В таблице — счёт тернарной модели, счёт полноразрядного Qwen3.5 того же размера и удержание в процентах.

Прочерк означает, что тест для этого размера не запускали.

Удержание по группам

Отдельная сводка по шести группам навыков:

Читать эти цифры нужно осторожно. Значения выше 100% — это не «модель стала умнее оригинала». Это значит, что сжатие на конкретном тесте сработало как регуляризация: модель стала чуть устойчивее к переобучению и на этом наборе выдала более высокый балл. Подтверждается это тем, что паттерн системный и проявляется именно там, где бенчмарк близок к насыщению — GSM8K у 2B, IFBench у 2B и 4B. На сложных бенчмарках вроде GPQA Diamond картина обратная, и там 2B теряет почти треть качества.

Общий вывод из таблицы честный: размер имеет значение. Для маленьких моделей главная потеря приходится не на логику, а на знания и факты. Знания и рассуждения — самая слабая зона у всех трёх размеров, и у 2B провал самый глубокий. При этом инструкции и кодинг у маленьких тернарных моделей держатся лучше, чем у их полноразрядных версий.

Для 9B картина почти идеальная: от 92% до 100% во всех группах. Это самый «взрослый» из трёх результатов.

Скорость и энергия

Скорость на десктопном железе заявлена как до 5 раз выше пропускная способность и в 3 раза выше энергоэффективность, чем у полноразрядных версий. Замеры — на RTX 4090 и M5 Pro.

Обратите внимание на разрыв между ноутбуком и телефоном: примерно в 2,5–3,5 раза. Это нормально — телефон упирается в шину памяти и тепловое ограничение, а не в арифметику весов. Но сам факт, что 9B-модель выдаёт 34 токена в секунду на iPhone 18 Pro Max, означает, что агентный цикл на телефоне в принципе работает.

Авторы также отмечают, что 9B тратит примерно на 40% меньше токенов на стандартных задачах следования инструкциям и на бытовой математике. То есть ответы получаются не только быстрее, но и короче.

Носимые устройства и сценарии

В сентябре на Snapdragon Summit PrismML показала однобитовую модель Bonsai для зрения и языка, которая работает локально на умных очках на платформе Snapdragon AR1 Gen 1. Новое поколение развивает именно эту линию: сильнее рассуждения, понимание изображений, вызов инструментов.

Заявленные сценарии — короткие цепочки действий, которые модель выполняет сама:

• взять информацию из документа и передать её в приложение;
• объединить данные из локальных файлов с вызовом инструмента, который поможет пользователю;
• разобрать запрос, посмотреть на картинку или экран и выполнить несколько действий подряд.

Показательный пример из демо — HybridAI на MacBook Pro с M5: модель 9B локально закрывает данные, которые нельзя отправлять в облако.

Где это запускается и что дальше

• NVIDIA GPU — через llama.cpp;
• Apple (Mac, iPhone, iPad) — через MLX;
• Лицензия — Apache 2.0, веса открыты;
• Попробовать в браузере — Bonsai 2 9B на Darkbloom, console.darkbloom.dev, первым 100 пользователям дают 250 млн бесплатных токенов.

Ссылки:

• веса — https://huggingface.co/collections/prism-ml/bonsai-2
• код и демо — https://github.com/PrismML-Eng/Bonsai-demo/
• документация — https://docs.prismml.com/
• whitepaper с методикой сжатия и всеми замерами — https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-2-small-whitepaper.pdf

Что это меняет для разработчика

Модель на 2 ГБ меняет планку того, что вообще можно запускать локально. Агент, который живёт постоянно в фоне на телефоне, раньше требовал облака — теперь появляется вариант на устройстве.

Размерное семейство здесь важнее конкретных цифр. Один и тот же код может работать на 2B в умных часах, на 4B в очках, на 9B на телефоне и на 27B на рабочей станции. Меняется только размер файла и ожидаемая глубина рассуждения.

Две оговорки. Первая: цифры принадлежат авторам моделей, независимых перепроверок пока нет. Вторая: удержание выше 100% — артефакт методики, а не реальное превосходство, и строить планы на таких цифрах не стоит.

Но общий тренд читается однозначно: при одинаковом приёме сжатия маленькая модель теряет не так много, как ожидалось. Если это подтвердится независимыми замерами, выбор локальной модели перестанет быть компромиссом между размером и качеством.