AutoHarness: слой навыков для Claude Code, который учится сам

Обычно навыки для агента пишут вручную: кто-то придумал правило, оформил его в SKILL.md и положил в .claude/skills/. Через месяц таких файлов двадцать, половина из них повторяет другую, а третью никто ни разу не открыл. AutoHarness решает эту проблему сам: он ставится плагином в Claude Code, разбирает ваши рабочие сеансы и сам пишет по ним навыки, обновляет их, когда вы их правите, объединяет похожие в один и убирает те, к которым перестали возвращаться.

Название стоит расшифровать. В исследованиях по ИИ harness — это вся обвязка вокруг модели: системный промпт, инструменты, цикл агента, память о проекте. Модель одна и та же, а обвязка каждый раз пишется заново под новое поколение моделей. Авторы AutoHarness берут один кусок этой обвязки — слой навыков — и пробуют сделать его самообслуживающимся. Свою задумку они проверяют на CORE-Bench: на их счёт результат вырос с 42% до 78% при той же модели (статья HAL).

Что именно он делает

• Учится на реальной работе. Отдельного сбора данных и прогона обучающей выборки нет. Каждый кусок вашей работы превращается в навык из той сессии, которую вы и так вели. Отражение срабатывает само, когда сеанс сделал достаточно вызовов инструментов, а команда /learn запускает его по требованию.
• Группирует, а не копит. Новый эпизод не всегда добавляет файл. Рефлектор сравнивает его с уже накопленными навыками и объединяет те, что описывают одну и ту же ситуацию. При объединении он записывает, какой навык вобрал в себя какой, — поэтому слияние никогда не путается с удалением.
• Держит свою библиотеку перед моделью. В начале каждой сеанса Claude Code получает сгруппированный список навыков, которые написал AutoHarness. Родной механизм подсказок хоста при этом не трогают — список просто добавляется поверх.
• Проверяет себя на использовании, а не на бенчмарке. Навык выживает, если его позже действительно читают: доля загрузок от числа запросов, в течение которых он был доступен. Никакого внешнего оракула и никаких токенов на отдельный прогон.
• Трогает только свои навыки. Под руку попадают лишь те SKILL.md, которые он создал сам через плагин. Всё, что вы писали сами или ставили извне, остаётся нетронутым.
• Хранит доказательства. Каждое создание и обновление попадает в журнал навыка вместе со сценарием и решением. Из этих записей потом можно собрать бенчмарк на настоящей работе.

Установка

Нужен python3 в PATH: AutoHarness написан целиком на Python и не зависит ни от одной сторонней библиотеки. Без интерпретатора его хуки и MCP-сервер просто не сработают.

Команды вводятся в поле ввода Claude Code:

/plugin marketplace add tigerless-labs/autoharness
/plugin install autoharness@autoharness

Дальше — /reload-plugins или перезапуск. Настраивать ничего не нужно: сразу после установки плагин начинает наблюдать за сеансами и складывает выученные навыки в .claude/skills/ в фоне.

Обновление идёт из терминала, и важно соблюсти порядок:

claude plugin marketplace update autoharness
claude plugin update autoharness@autoharness

После этого Claude Code нужно перезапустить: новая версия кэшируется, а не подхватывается на лету. Сначала обновляется каталог — иначе команда обновления смотрит на устаревший локальный список и радостно пишет, что у вас уже последняя версия.

Удаление останавливает работу плагина, но не стирает его результаты: навыки и состояние лежат вне плагина. Если нужно удалить и их, снесите каталог состояния (~/.claude/autoharness/ для общего слоя, <repo>/.claude/autoharness/ для проекта) и сами навыки в .claude/skills/. У каждого навыка AutoHarness есть метка в журнале, так что свои файлы вы не перепутаете.

Как устроен конвейер

Всё, что делает плагин, оседает на диск обычными файлами, поэтому разобраться можно простым чтением файлов. Схема лежит в pipeline.mmd.

Настройка

Все настройки — переменные окружения с разумными значениями по умолчанию. Менять их имеет смысл, только если вы хотите ускорить или замедлить обучение.

Полный список — в разделе Configuration README. Задаются переменные либо в шелле (export AUTOHARNESS_REFLECT_EVERY_N=10), либо в карте env файла .claude/settings.json. Хуки читают окружение на каждом событии, так что изменение подхватывается со следующего сеанса.

Что появляется на диске

Каталог состояния выглядит так:

ls .claude/autoharness/
  requests                     # счётчик запросов слоя — знаменатель для MNG
  session-<id>                 # вызовы инструментов до следующего отражения
  offset-<id>                  # байтовая отметка, где кончилось прошлое окно
  intents/                     # предложения навыков, ждущие промоутера
  runs/<run-id>.json           # что предложено, что легло, что отклонили и почему
  last_run.json                # строка отчёта для следующего старта сеанса
  snapshots/                   # архивы дерева навыков перед слиянием

Сам навык выглядит так:

.claude/skills/<name>/
  SKILL.md                     # сам навык — обычный формат, ничего своё
  .ledger.jsonl                # LED: почему появился или изменился
  .sidecar.json                # счётчики жизненного цикла для MNG
  references/evidence-*.md     # вырезанный кусок сеанса, обосновавший запись
  scripts/ templates/ ...      # необязательные файлы, которые принёс рефлектор

Запись в журнале — одна строка JSON на событие:

{"action": "create", "reason": "User asked about the correct command to update a plugin ...", "evidence": "references/evidence-21cd22cc.md"}
{"action": "patch",  "reason": "User discovered /reload-plugins is required in-session ...",  "evidence": "references/evidence-1a4ec51d.md"}

Доказательство — это настоящий обезличенный кусок сеанса, который научил навык, сохранённый по содержимому, так что модель никогда не придумывает имена файлов.

Если вы повторите тот же сценарий с поправкой («пропущен шаг»), в следующем заходе навык не размножится: изменится его SKILL.md, а в журнал добавится строка patch.

Чем отличается от похожих подходов

Итог

AutoHarness не пишет код за вас и не отвечает за архитектуру. Он берёт одну узкую задачу — не дать библиотеке навыков разрастись в свалку — и решает её на вашей же работе. Ничего настраивать не нужно, демона нет, а каждый созданный и удалённый навык можно прочитать глазами в .claude/skills/.

Лицензия MIT, исходники открыты. Авторы признают, что дизайн Hermes повлиял на их решение обойтись без демона и проверять навыки по реальному применению. Отдельный разбор от AI Insider на YouTube авторы не проверяли, но выложили: https://www.youtube.com/watch?v=TM6tGpug1Hc