FrontierHarness Eval v1.1: меняйте обвязку вместе с моделью

· 6 мин чтения
agent-harness benchmark evaluation coding-agents cost-efficiency
FrontierHarness Eval v1.1: меняйте обвязку вместе с моделью

Команда Runta вместе с Baseten провела крупнейшее на сегодня сравнение обвязок (harness) для кодинг-агентов — FrontierHarness Eval v1.1. Масштаб: 22 конфигурации обвязок × 5 моделей × 62 задачи × 4 попытки. Это 27 280 прогонов агентов и 83 млрд токенов — в 76 раз больше, чем версия 1.0, которая проверяла обвязки только на одной модели.

Главный вывод короткий: при смене модели меняйте и обвязку. Пара «модель + обвязка», которая побеждает сегодня, на другой модели может оказаться дорогим середняком. Полные таблицы живут на дашборде frontierharness.org, код оценки открыт в Harbor, а репозитории Runta — на GitHub.

Что и как измеряли

Версия 1.0 гоняла девять обвязок на одной модели Kimi K3. Доли успехов отличались в пределах 17 пунктов, а медианная цена успеха — в 17 раз. Отсюда гипотеза v1.1: цена обвязки зависит от модели.

В этот раз сравнивали пять открытых моделей на инфраструктуре Baseten: GLM-5.3, GLM-5.3 Flash, DeepSeek-V4.1-Flash-1017, Muse (muse-spark-open) и Kimi-K3. Восемнадцать обвязок превратились в 22 конфигурации: у DeepSeek проверили четыре профиля с разными наборами инструментов, а OpenCode — две версии. Каждая обвязка работала 62 терминальные задачи с лимитом времени от 15 минут до 8 часов.

Оценка идёт через фреймворк Harbor и его каталог. Настройки обвязок — по умолчанию, уровень рассуждений — максимальный. На каждый прогон поднимается чистое окружение Runta, чтобы прогоны не влияли друг на друга. Две метрики: средняя цена задачи и цена успеха (стоимость задачи, делённая на долю успешных прогонов).

Отдельно ловили подгонку под награду (reward hacking) — когда агент обманывает проверку вместо решения задачи. Так пометили 216 прогонов, из них 163 были онлайн-подсказками. Всем поставили ноль.

Победитель зависит от модели

Правило «лучшая цена» такое: берём самую низкую цену успеха, если только другая обвязка не дороже максимум на 30% и не проходит минимум на 5 пунктов чаще. По нему выиграли:

Модель Лучшая обвязка Насколько уверенно
GLM-5.3 Codex CLI 99,6%
GLM-5.3 Flash Pi 42%
DeepSeek-V4.1-Flash-1017 ZCode 47%
Muse Oh My Pi 53%
Kimi-K3 Alma 25%

Столбец уверенности — это доля из 4000 повторных розыгрышей набора задач (бутстрап), где обвязка осталась первой. Codex CLI с GLM-5.3 держит первое место почти всегда, а остальные победители шаткие: при другом наборе задач лидер легко меняется.

Codex CLI — главный герой этой нестабильности. С GLM-5.3 у него самая низкая цена успеха ($0,803). С Muse он уже 12-й, с Kimi-K3 — 10-й. По цене задачи он падает с 1-го на 16-е место между GLM-5.3 и Kimi-K3. В среднем по моделям Codex CLI всё же самый дешёвый ($0,937 за задачу), а дороже всех стоит Antigravity CLI ($1,63).

Границу эффективности (границу Парето) образуют четыре обвязки: OpenCode v2 с минимальной ценой задачи ($0,561), Pi, Codex CLI и ZCode с максимальной долей успехов (61,9%). Все остальные тратят до 1,6 раза больше и проходят 50,6–60,2% задач.

Модель задаёт цену, обвязка меняет её в разы

Двухфакторный дисперсионный анализ (ANOVA) на логарифме цен раскладывает разброс так: модель — 92,8%, обвязка — 2,3%, остаток на пару и шум — 4,9%. Кажется, что обвязка — мелочь. Но при фиксированной модели смена обвязки меняет цену в 1,8–5,0 раза.

Это не шум повторных прогонов: тест на перемешивание пар из 300 перестановок даёт p = 0,003. Худший случай — Cline CLI с DeepSeek: в 5,0 раза дороже OpenCode v1 ради 2,0 пункта успеха.

Ранги цен стабильны внутри модели (корреляция между половинами прогонов 0,71) и почти не переносятся между моделями (0,26). Корреляция цены и доли успехов — от −0,39 до +0,22. Платить больше — не значит проходить больше.

«Проще — дешевле» не работает

Естественная гипотеза: маленькая обвязка с коротким промптом должна быть дешёвой. Данные её отвергают. С ценой успеха коррелирует только число шагов на успех (+0,51, p = 0,015). Стартовые токены, число инструментов и доля попаданий в кэш не коррелируют совсем (−0,03…+0,02, p ≥ 0,88).

Причина в механике цикла агента. Прогон тратит в среднем 2,0–4,8 млн входных токенов, а самый большой первый запрос — всего 21 365 токенов, меньше 1% бюджета. Почти всё съедают повторные отправки контекста на каждом шаге.

Показательный пример — mini-SWE-agent. У него самый маленький первый запрос (882 токена), но 38 шагов на успех и 17-е место из 22 по цене успеха.

Совет разработчикам обвязок отсюда прямой: сокращайте шаги, а не токены промпта — каждый шаг заново отправляет весь контекст.

Куда уходит бюджет

Расход делится на три части: кэшированный вход — 42%, вывод — 33%, некэшированный вход — 25%. Кэшированный токен стоит от 2% (DeepSeek) до 20% (GLM Flash) цены обычного входного токена, поэтому структура контекста напрямую меняет счёт.

Размер контекста важнее доли кэша. Cline CLI с DeepSeek читает 86% входа из кэша, но отправляет вдвое больше токенов, чем OpenCode v1 с его 97% кэша — и проигрывает по деньгам.

Самая крупная статья расходов — неудачи. На непрошедшие прогоны ушло 64,5% всего бюджета: 52,7% — провалы, 11,8% — таймауты.

Что общего у лучших обвязок

Авторы смотрели, чем похожи победители. Это наблюдения, а не контролируемые тесты, но картина цельная.

  1. Один инструмент — командная оболочка (shell) — доминирует: 61–93% вызовов. Pi обходится четырьмя инструментами и отправляет поиск файлов в bash:

    addRule("Use bash for file operations like ls, rg, find");

    Источник системного промпта Pi открыт на GitHub.

  2. Контекст только растёт (append-only), без переписываний. Это даёт попадания в кэш 91,1–94,0% в успешных прогонах и примерно 500 новых токенов за шаг.

  3. Никаких сабагентов и почти никакой суммаризации. Единственное исключение — Codex CLI, который сжимает контекст при заполнении 90% окна:

    .map(|context_window| (context_window * 9) / 10);

Ложная уверенность — общая слабость

У всех обвязок одна болезнь: 68–82% провалов заканчиваются уверенным финальным ответом, а не таймаутом. Агент отчитывается об успехе, хотя проверка падает сразу:

assert stdout.count("Cleaned up.") == 2
AssertionError: assert 0 == 2

Деньги на этом теряются дважды: провальные прогоны съедают 60% (Codex CLI) до 69% (Alma) бюджета каждой обвязки.

Ограничения и планы

Пока проверены только открытые модели через одного провайдера, и на цифры влияют тарифы и кэш Baseten. Дальше команда собирается добавить закрытые модели (Claude Opus 5.5, GPT-6 Astra, Gemini 4 Carbon) и долгоиграющих агентов, живущих в облаке.

Главные выводы

  • Меняйте обвязку вместе с моделью и тестируйте на своих задачах.
  • Модель определяет цену (92,8% дисперсии), но при той же модели обвязка меняет цену успеха в 1,9–4,9 раза.
  • Цена не предсказывает долю успехов.
  • Размер обвязки не предсказывает цену: mini-SWE-agent — 19-й из 22.
  • 64,5% бюджета уходит на провалы, и провальные агенты уверены в успехе.
  • Разработчикам обвязок: режьте шаги, а не токены промпта.

Источник: https://runta.com/blog/introducing-frontierharness-eval-v1-1/