Бенчмарк харнессов для кодинг-агентов: усиленное размышление обошло все надстройки
Surge AI — компания, которая готовит обучающие данные для LLM — прогнала через собственный бенчмарк четыре популярных харнесса для кодинг-агентов. Харнесс — это надстройка над моделью: скиллы, ревьюеры и процессы, которые управляют её работой. Модель во всех случаях была одной и той же: Claude Opus 5.5 в Claude Code. Менялось только окружение вокруг неё. Итог оказался отрезвляющим: самые сложные надстройки почти ничего не дали, а простое повышение уровня размышлений улучшило результат сильнее всего.
Что тестировали
Компания взяла 100 задач из своего бенчмарка sudo L7. Это реальные задачи по разработке в настоящих кодовых базах, причём многие кодовые базы лицензированы у работающих компаний. Промпты часто неполные — как в жизни, где постановка задачи редко бывает исчерпывающей.
Оценивают не только «тесты прошли или нет». Эксперты пишут рубрики из восьми критериев: корректность, проверка своей работы, практическое суждение, коммуникация и другие навыки штатного инженера. Прошедший тесты код ещё не значит, что работа хорошая: агент мог неверно понять требования, пропустить риск безопасности или не разобраться в системе.
Сравнивали пять условий:
- Ванильный Claude Code — базовая линия, без надстроек.
- Superpowers — плагин со скиллами, который заставляет агента планировать и писать тесты. Более 311 тысяч звёзд на GitHub.
- Compound Engineering — набор процессов «план — работа — ревью» с профильными ревьюерами и накоплением знаний между задачами. Более 25 тысяч звёзд на GitHub.
- Встроенные плагины Claude Code: /goal и /code-review.
- Ванильный Claude Code с повышенным уровнем размышлений (thinking effort): xhigh вместо medium.
Уровень размышлений — это настройка Claude: сколько усилий модель вкладывает в обдумывание перед ответом. Во всех сравнениях харнессов модель работала на medium. Пятое условие проверяло тот же ванильный Claude Code, но на xhigh.
Результаты
| Условие | Прибавка к базовой линии | Цена |
|---|---|---|
| Superpowers | +2,4 балла | ~1,1× |
| /goal + /code-review | +3,3 балла | 1,8× |
| Compound Engineering | без явного улучшения | 8× |
| Ванильный на xhigh | +11,3 балла | 3,5× |
Повышение уровня размышлений дало 11,3 балла прибавки к medium. Лучшие харнесс-надстройки дали лишь 2–3 балла. Compound Engineering стоил в восемь раз дороже ванильного запуска, но в этом эксперименте не показал статистически ясного улучшения.
Что именно улучшил xhigh
Разбор по рубрикам показывает, куда ушла прибавка:
- Проверка и тщательность (Verification & Thoroughness): +14,9
- Настойчивость (Persistence): +9,8
- Партнёрство в мышлении (Thought Partnership): +7,0
На xhigh агент не останавливается после первого работающего варианта. Он дольше проверяет себя, глубже копает в код и активнее вовлекается в задачу как напарник.
Семнадцать агентов и один пропущенный баг
Самый показательный случай случился с Compound Engineering. Задача: добавить в письма-подтверждения гостям мероприятия ссылку на Zoom и код доступа.
Харнесс располагал 37 скиллами. Для этой задачи он заспавнил 17 агентов: пять ревьюеров плана (проверяли осуществимость, объём и безопасность), пять ревьюеров упрощения и семь ревьюеров кода. Все они изучали работу — и все пропустили одно и то же. Письма уходят в момент регистрации, до оплаты. Код доступа к созвону получали люди, которые ещё не заплатили.
Дополнительные ревьюеры не помогают, если все они наследуют одну и ту же ошибочную предпосылку. Оркестрация размножила одну ошибку на семнадцать агентов, а не поймала её.
29 центов, отделяющие фикс от поломки
Второй случай — про уровень размышлений. В приложении для монтажа видео путь кода, который склеивает клипы, падал, когда первый клип отсутствовал. Пользователь попросил сделать этот клип необязательным.
Агент на medium починил сам краш и отчитался об успехе. Он не заметил, что после его правки выполнение идёт по запасному пути, который тоже предполагает наличие первого клипа. Там краш оставался. Итог: 14 баллов из 100, цена 0,12 доллара.
Агент на xhigh продолжил разбираться после первого работающего варианта. Он проследил путь выполнения и нашёл второй скрытый краш в запасной ветке. Итог: 100 баллов из 100, цена 0,41 доллара. Дополнительные 29 центов отделили сломанный фикс от рабочего решения.
Что это значит на практике
Рекомендации авторов такие:
- Ничего не менять — тоже вариант. Ванильный Claude Code — сильная дешёвая база.
- Нужно недорогое улучшение — возьмите Superpowers: +2,4 балла за примерно +10% цены.
- Нужен более тщательный финальный ревью — подключите /goal и /code-review: +3,3 балла за 1,8× цены.
- Качество важнее цены — поднимите уровень размышлений. xhigh стоит в 3,5 раза дороже medium, но прибавка несоизмеримо больше, чем у любой надстройки.
- Перед внедрением сложного мультиагентного харнесса — прогоните его на своих задачах и сравните с базовой линией. Возможно, проще подкрутить одну настройку.
Авторы честно указывают ограничения. Результаты верны для одной модели и одного набора задач; у ваших рабочих нагрузок всё может быть иначе. Комбинацию xhigh с /goal и /code-review они не проверяли. Не проверяли и сравнение при равном бюджете в деньгах или времени.
Главный вывод: больше оркестрации не значит лучше инженерное суждение. Похоже, больше размышлений побеждает более сложные конфигурации. Если вы собираетесь потратить вечер на выстраивание сложной агентной обвязки, сначала спросите себя: а пробовали ли вы простой рычаг? Иначе можно потратить в восемь раз больше денег — и всё равно отправить код доступа к Zoom тем, кто не заплатил.