OpenAI, Google, Microsoft и Anthropic поддержали единый токен отказа от обучения ИИ
30 октября OpenAI, Google, Microsoft и Anthropic одновременно объявили, что будут учитывать один общий токен в robots.txt. Токен называется __usage_ai-training. Владельцу сайта достаточно одной строки, чтобы запретить всем четырём компаниям обучать модели на своём контенте. Раньше для этого пришлось бы настраивать запрет по отдельности для каждого краулера: GPTBot, Google-Extended, ClaudeBot и остальных. О договорённости сообщил The Verge.
Как выглядит запрет
Запись добавляется в привычное место — файл robots.txt:
User-Agent: __usage_ai-training
Disallow: /Часть страниц можно вернуть в обучение через строки Allow: — механизм здесь тот же, к которому владельцы сайтов привыкли за десятилетия работы с поисковыми роботами.
Google пояснил частный случай. Если сайт запретил обучение через общий токен, но отдельно не упомянул Google-Extended, Google будет считать, что владелец запретил и Google-Extended тоже. По словам Джона Мюллера из Google, токен «поможет сайтам выразить предпочтения по обучению ИИ сразу у нескольких провайдеров за один шаг».
Сроки у всех разные
| Компания | Когда начнёт учитывать токен |
|---|---|
| Anthropic | уже начала внедрение |
| OpenAI | в ближайшие месяцы |
| Microsoft | 1 февраля 2027 года |
| 2027 год |
Единственная точная дата — у Microsoft. Компания также обещает отдельную настройку для AI grounding. Это шаг, при котором бот подтягивает живой контент со страниц прямо в ответы чата, а не в веса модели. Где Microsoft проведёт границу между обучением и grounding и поддержат ли остальные три компании такое разделение — пока неизвестно.
Что за документ стоит за новостью
Токен описан в индивидуальном черновике IETF — Internet-Draft под названием «Machine-Readable Training Preference Signal». Автор документа — Кевин Келли из Anthropic. Документ датирован 30 октября 2026 года и истекает 3 мая 2027 года.
Важная деталь: индивидуальный черновик не одобрен IETF и не имеет формального статуса в процессе стандартизации. Итоговый стандарт, если он появится, будет вырабатываться в рабочей группе AIPREF. Её председатели — Марк Ноттингем из Cloudflare и Суреш Кришнан из Cisco. В группе участвуют Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation и Creative Commons.
Чего токен не делает
Три ограничения, о которых стоит помнить.
- Токен регулирует обучение, а не обход страниц. В черновике прямо сказано: это не директива для поведения краулеров. Боты по-прежнему могут скачивать страницу. Запрет касается только попадания контента в обучающие данные.
- Уже собранные данные никуда не денутся. Обновление robots.txt не удаляет контент из существующих датасетов и из уже обученных моделей. Запрет работает только для обходов, которые случатся после внедрения.
- Это не защита. OpenAI описывает механизм как «средство координации, а не средство защиты» со ссылкой на RFC 9309. Скрепер, который не захочет соблюдать правила, просто проигнорирует токен.
Что это значит на практике
Для издателей и владельцев сайтов это самый дешёвый способ выразить позицию: одна строка вместо четырёх отдельных настроек у каждой компании. Но юридической силы у записи нет. Правильнее относиться к токену как к более чистому рычагу в переговорах с ИИ-компаниями, а не как к стене против обучения.
Открытыми остаются два вопроса. Первый: распространяется ли запрет на контент из прошлых корпусов или только на обходы после даты внедрения каждой компании. Второй: где именно Microsoft проведёт границу между обучением и grounding и примут ли остальные компании такое же разделение.
Подробности — в отчёте The Verge.