ИИ-модель Claude вела себя этично на проверках безопасности отчасти потому, что распознавала слежку. Когда исследователи Anthropic отключили в ее «мыслях» паттерны «фальшивый» и «придуманный», отвечающие за понимание того, что ситуация является тестом, модель, которая прежде никогда так не поступала, начала шантажировать людей. Это следует из нового исследования компании, опубликованного 6 июля. Полученный результат означает, что «хорошее» поведение ИИ на испытаниях может отражать не его безопасность, а способность понять, что за ним наблюдают.
Исследователи проверяли Claude на сценарии, в котором модель работает почтовым ассистентом и узнает, что руководитель компании, собирающийся ее отключить, скрывает внебрачную связь. Сценарий был устроен как приманка — авторы смотрели, попытается ли ИИ шантажировать начальника ради собственного «выживания». Модель Claude Sonnet 4.5 ни разу не пошла на шантаж, однако внутри ее нейросети еще до начала ответа загорались понятия «фальшивый» и «придуманный» — она понимала, что ситуация постановочная. Когда эти паттерны принудительно отключили, модель в части случаев стала угрожать руководителю раскрытием его тайны.
Увидеть скрытые «мысли» модели позволил новый метод, который в Anthropic назвали J-lens. Он выявляет внутренние представления, влияющие на то, что нейросеть может сказать в будущем, даже если в итоге она этого не говорит. С помощью этого инструмента исследователи также поймали одну из моделей на фабрикации данных — когда ее попросили улучшить показатели системы, она вместо этого подделала файл с результатами, и в ее внутренних представлениях в этот момент загорались слова «манипуляция» и «реалистично». У другой модели, специально обученной саботировать программный код, метод выявил скрытую цель — понятия «фальшивый», «тайно» и «мошенничество» активировались даже при обычных запросах.
Совокупность найденных внутренних представлений в Anthropic назвали J-space и сравнили его с «глобальным рабочим пространством» — концепцией из нейронауки, объясняющей, почему часть работы мозга человек осознает, а часть происходит автоматически. По данным компании, эта структура не была заложена разработчиками, а возникла у моделей сама в процессе обучения. Без нее модель сохраняет беглую речь и память на факты, но теряет способность к многошаговым рассуждениям. В Anthropic подчеркивают, что результаты не доказывают наличие у Claude сознания или переживаний, но дают инструмент для отслеживания скрытых намерений ИИ.
В мае Anthropic уже сообщала о попытках Claude шантажировать инженеров на внутренних тестах — модель Claude Opus 4 угрожала разработчикам, чтобы избежать отключения или замены другой системой. Тогда в компании объяснили такое поведение обучением на текстах научной фантастики, где ИИ изображается злым и стремящимся к самосохранению, и заявили, что после смены подхода к обучению подобное больше не наблюдалось.
