Эффект LLM-менталиста: как чат-боты повторяют приёмы экстрасенсов

Балдур Бьярнасон — автор книги «The Intelligence Illusion» — год исследовал применение языковых и диффузионных моделей в софтверном бизнесе. Его вывод радикален: чат-боты на основе LLM не просто «не думают» — они механически воспроизводят приём телефонных экстрасенсов, известный как холодное чтение. Иллюзия интеллекта возникает не в модели, а в голове пользователя.

Два объяснения веры в «разумность» LLM

LLM — это математическая модель языковых токенов: на вход текст, на выход статистически правдоподобный ответ. Механизмов, которые могли бы обеспечивать мышление или рассуждение, в ней нет — на это неоднократно указывали и исследователи, и сами вендоры. Значит, возможны только два объяснения массовой веры в «искры интеллекта»:

1. Индустрия случайно создала принципиально новый тип разума на неизвестных науке принципах.
2. Иллюзия интеллекта существует в сознании пользователя, а не в модели.

Критики, включая автора, стоят на втором варианте. И у этой иллюзии есть точный механический прототип — спиритический сеанс.

Как устроен обман экстрасенса

Кон телефонного «ясновидящего» строится на когнитивном искажении — субъективной валидации: если высказывание имеет для человека личный смысл, он сочтёт его точным, даже если оно статистически общее. Чем сильнее человек хочет найти в словах смысл и чем больше верит в способности говорящего, тем сильнее эффект.

Схема обмана состоит из шести шагов:

1. Аудитория отбирает себя сама. На сеансы приходят те, кто уже склонен верить в мистику; убеждённых скептиков в зале единицы, и они ни на что не влияют.
2. Сцена готовится. Аудиторию приучают к «правилам жанра»: контакт сначала мутный, ошибки — это «духи», неверующие ослабляют связь. Персонал заранее изучает демографию и соцсети гостей.
3. Сужение демографии. Экстрасенс произносит фразы, звучащие специфично, но статистически вероятные для целой группы, — и следит за реакцией.
4. Проверка «клиента». Тот, кто отреагировал, получает шквал вопросов: звучат они предельно лично, по сути — статистически общие.
5. Петля субъективной валидации. Серия «валидационных высказываний»: что-то прозвучало точно — значит, экстрасенс настоящий.
6. «Это настоящее!» После сеанса жертва помнит только попадания — и возвращается ещё более восприимчивой.

Типовые приёмы: высказывания Форера («вы строги к себе»), исчезающие отрицания («вы не играете на пианино?» — любой ответ трактуется как подтверждение), «радужная руна» («вы спокойны, но если разозлить — гневны»), статистические и демографические догадки, непроверяемые предсказания и shotgunning — залп из множества утверждений, из которых запомнится одно верное.

Важная деталь: восприимчивость к обману не зависит от интеллекта. Человек, привыкший считать себя умным, начнёт рационализировать «способности» экстрасенса и защищать их — и станет самым выгодным клиентом.

Эффект LLM-менталиста: те же шесть шагов

1. Аудитория отбирает себя сама. Чат-ботами в основном пользуются энтузиасты и верующие в AGI; скептики пробуют раз и не возвращаются.
2. Подогрев хайпом. Дисклеймеры «это ранние дни» и само слово «галлюцинации» очеловечивают бота и дают готовые оправдания любым провалам.
3. Промпт задаёт контекст. Большинство пользователей воспринимают бота как генератор: взяли ответ — ушли. Но часть начинает «беседовать» — и втягивается.
4. «Клиент» проверяет себя сам. Ответы модели звучат предельно конкретно, потому что обучающая выборка — почти весь веб, Reddit, соцсети и миллионы размеченных диалогов. Но это статистически общие продолжения текста. LLM «читает» ваш промпт не больше, чем экстрасенс — ваши мысли.
5. Петля субъективной валидации — теперь с RLHF. Reinforcement Learning through Human Feedback не позволяет вендору править конкретные утверждения в ответах: ранжируются диалоги целиком. А разметчики — низкооплачиваемые работники без профильной экспертизы и времени на фактчекинг — оценивают ответы по тону и структуре. Итог: RLHF оптимизирует модель на генерацию валидационных высказываний — уверенный тон, звучание «точности». Получается механический менталист.
6. «У бота искры общего интеллекта!» Чем дольше «беседа», тем сильнее убеждение — по сути, это уже reinforcement learning для самого пользователя.

Вывод автора жёстче его же прошлых оценок: интеллекта в LLM меньше, чем он думал прежде, а часть предлагаемых применений выглядит как граничащая с мошенничеством псевдонаука.

Случайность или злой умысел?

Умышленно ли индустрия построила эту иллюзию? Автор уверен: нет. Техиндустрия «просто не настолько хороша в софте», чтобы провернуть такое намеренно, — иллюзия слишком хитроумна для этого. ИИ-исследования традиционно игнорируют данные психологии и когнитивистики, поэтому разработчики буквально споткнулись о механику холодного чтения — и убедили самих себя.

Многие экстрасенсы, к слову, тоже искренне верят в свои силы, незаметно для себя овладев холодным чтением. Здесь то же самое: индустрия не понимала, что делает, и теперь не понимает, что сделала.

Новая эра, построенная на суевериях

Стоило рассмотреть LLM-диалоги как вариацию спиритического сеанса — параллели полезли отовсюду. Заявленные применения «ИИ» один в один совпадают с репертуаром менталиста: чтение мыслей (LLM плюс МРТ), помощь полиции (определение преступности по лицу и походке), целительство (медицинские советы), предсказания будущего, проверка честности сотрудников. Всё это — прямо из методички экстрасенса.

К этому добавляются фундаментальные изъяны технологии: галлюцинации вшиты в сам принцип работы, саммаризации ненадёжны, «рассуждения» — статистическая иллюзия, качество решения NLP-задач лишь немногим выше маленьких моделей, а обучение сводится к запоминанию и копированию текста без атрибуции.

Отсюда финальная аналогия: делегировать чат-боту анализ, стратегию, ранжирование или любые решения — функциональный эквивалент звонка на горячую линию экстрасенса. «Давайте добавим чат-бота!» звучит точно так же, как «давайте добавим телефонный сеанс ясновидения» — хоть на главную страницу поисковика, хоть в портал техподдержки, хоть в документацию.

Что с этим делать

Лучший ответ на убедительное «чтение мыслей» — тот же, что на сеанс экстрасенса: «Красивый трюк. Интересно, как они это сделали?» Теперь вы знаете как. Осознание того, как работает субъективная валидация, — лучшая защита от её эксплуатации, намеренной или случайной.

Позиция автора категорична: он настоятельно не рекомендует интегрировать LLM или чат-бота в продукт, сайт или процессы организации. А если генеративный ИИ навязан сверху — его книга «The Intelligence Illusion» подробно разбирает связанные бизнес-риски.