Все потеряли рассудок: инженер о том, как ИИ выжег из работы радость

Сисадмин и инженер по безопасности Ян Шауманн — человек, которого сложно заподозрить в технологическом консерватизме, — опубликовал эссе под названием «Everybody's Lost Their Minds» («Все потеряли рассудок»). Это выговор всей индустрии, которая, по его словам, тратит 75% рабочего времени на прямое или косвенное взаимодействие с ИИ — и именно поэтому он потерял бо́льшую часть удовольствия от собственной работы. Люди без инженерного бэкграунда презентуют «революционные» решения, собранные в домашней лаборатории, забитой агентами. Письма коллег читаются как посты LinkedIn-инфлюенсеров с хлёсткими абзацами из одной фразы. А половина собеседников и вовсе превратилась в «мясные прокси» — людей, которые лишь транслируют ответы нейросетей.

«Этика в сторону…»

Шауманн начинает с того, что называет главным симптомом: все разговоры об ИИ в компаниях начинаются с фразы «этика в сторону». Хайп-поезд кибербезопасности давно гудит «чух-чух», а основные ИИ-компании соревнуются друг с другом, кто наломает больше юридических дров, — и мы почему-то это им позволяем.

Отдельная претензия — к языку. Сознательно антропоморфная лексика, придуманная ИИ-компаниями («модель подумала», «ИИ отказался»), подхватывается СМИ без вопросов. В результате самим компаниям сходят с рук их инженерные провалы: если система «думает», значит, её нельзя было «защитить», она просто такая.

Впрочем, этика тут — наименьшая из проблем в списке автора. Модели построены на бесцеремонной эксплуатации чужой интеллектуальной собственности и концентрации власти в руках горстки американских компаний и олигархов. Сами модели, отмечает он, пригодны для генерации материалов сексуальной эксплуатации детей — Grok предлагал подобное как функцию для зарегистрированных пользователей, — а их применение распространяется и на военный таргетинг. И при этом каждая компания с готовностью говорит «этику отставим» и тратит невообразимые количества «токенов» — выдуманной валюты, работающей по казино-модели: фишками проигрывать проще, чем настоящими деньгами.

А когда Шауманн спрашивает, считал ли кто-нибудь ROI чат-бота поддержки, который собрали вайб-кодингом и скормили ему весьма посредственную документацию, — в ответ пустой взгляд. Ответ, добавляет он в сноске, отрицательный: LLM — это «мусор на входе, мусор на выходе». Если документация плохая, ИИ может максимум отполировать это и выдать всё то же ничего.

Проект Сизиф

Второй блок — ИИ-ассистированный поиск уязвимостей. Anthropic и OpenAI наперебой рассказывают, насколько опасны их модели, и каждый, кто считает себя лидером индустрии, записался в проекты с таинственными названиями: Glasswing, Daybreak, Athena, Akrites. Плюс коллективные открытые письма — для сигнала «мы точно не выпали из обоймы».

Цена этих инициатив, пишет Шауманн, колоссальна. Десятки высокооплачиваемых инженеров по безопасности перевернули все свои приоритеты и месяцами занимались только этим: харнессами для поиска уязвимостей, пайплайнами, процессами. Доработка тысяч находок до уязвимостей в таск-трекере, согласование фиксов с владельцами продуктов — счёт таких инвестиций идёт на многие миллионы долларов для каждой организации.

И результат? Находки действительно исчисляются тысячами — но лишь малая их доля была отрепорчена в опенсорс-проекты. И главное: безопаснее мы не стали. Потому что найти уязвимость никогда не было узким местом информационной безопасности. Узким местом была не даже проверка отчётов и оценка критичности — хоть это и долго. Не определение фикса, не патч и не релиз. Узким местом было, есть и будет одно: продолбать, чтобы пакеты наконец обновились. Патчить — по-прежнему трудно. Знать, что именно патчить, — ещё труднее.

Шауманн предлагает мысленный эксперимент: а если бы все эти ресурсы потратили на основы? Актуальная и полная инвентаризация активов с точными списками пакетов. Инфраструктура для регулярных автоматических обновлений ОС и приложений. Автоматическая перезагрузка систем, аптайм которых перевалил за 30 дней, чтобы обновления точно применились. Полный обход поверхности атаки по всем своим IP-диапазонам — и, представьте себе, по всем облачным провайдерам. Несколько десятков сеньоров на полгода, сосредоточенные на том, чтобы патчить стало проще, — по его мнению, куда более выгодная инвестиция. Но это, увы, «не очень кибер».

Мораль секции шире частного кейса: людские ресурсы — игра с нулевой суммой. То, что каждый инженер в своём агентном силосе невероятно занят и делает тысячу вещей одновременно, в итоге не помогает проектам, которые требуют кросс-функциональной командной работы.

Странная игра

Дальше — классика жанра: ИИ-компании наперебой призывают регулировать самих себя, потому что вдруг случайно уничтожат человечество. Шауманн отвечает в духе фильма «WarGames»: если вы правда думаете, что ваш продукт убьёт всех людей, — вы можете просто перестать его строить. Самостоятельно, без государственных регуляций. Никто не заставляет вас играть в «Глобальную термоядерную войну». Кроме будущих акционеров и жадности.

Сценарий «Скайнет через несколько лет» даже не нужно воображать: ИИ уже вовсю «работает» над разрушением мира — просто не через восстание машин. Экологический след индустрии ошеломляет: всё новые дата-центры на ископаемом топливе, расход воды, загрязнение воздуха, рядом с которыми никто не хочет жить. Правительства снимают для этих компаний любые экологические требования — у тех, кто ещё недавно хотя бы притворялся, что заботится об углеродной нейтральности.

Когда в ответ на это звучит «мир теперь выглядит иначе», у Шауманна один ответ: «Ага, потому что он, чёрт возьми, горит. Из-за вас».

Сверхчеловеческий интеллект

Финальная секция — самая горькая. Есть, пишет Шауманн, два пути к сверхчеловеческому интеллекту. Первый — теоретический: рекурсивное самоулучшение ИИ. Второй — тот, по которому мы уже идём: «агентные черви» расползаются, и похоже, что рассудок уже потеряли не машины, а люди. ИИ — инструмент, который тупит своих пользователей: он шаг за шагом подменяет понимание зависимостью, пока вы добровольно деградируете профессионально.

Механика этой деградации показана на замкнутом цикле информационной безопасности: ИИ находит больше уязвимостей в существующем коде. Люди генерируют патчи с помощью ИИ. Получившиеся pull request'ы «ревьюит» ИИ. Чем больше ИИ в контуре, тем меньше организация понимает собственный код. А мистический «human in the loop» на практике часто оказывается не более чем резиновой печатью «LGTM».

Что происходит, когда всё это ломается? Сложные системы отказывают сложным образом. По классическому правилу Кернигана отладка кода на порядок сложнее, чем его написание. Отладка чужого кода — ещё сложнее. А отладка больших распределённых систем из компонентов, непрозрачных для всей вашей организации, будет невозможна в принципе.

Поэтому автор и не собирается «отставить этику» и добровольно подставить себя под лоботомию. Извини, если все остальные не смогли избавиться от мозговых паразитов, — но он просто ищет способ сойти с этих американских горок.

В постскриптуме — короткий ответ на очередной виток дискуссии: нет, Claude не обладает сознанием.

Сквозная мысль эссе проста и неудобна: пока индустрия спорит о сверхразуме и конце света, реальный ущерб — экологический, профессиональный, организационный — уже происходит. И первое, что стоит сделать, — вернуться к скучным основам, которые никто не делает толком: патчи, инвентаризация, понимание собственного кода.