Учёные вложили «мысли» в нейросеть и проверили, заметит ли она: ИИ справился в 20% случаев

0 0

Учёные вложили «мысли» в нейросеть и проверили, заметит ли она: ИИ справился в 20% случаев

Что сейчас у вас в голове? Вы, вероятно, можете ответить на этот вопрос без особых раздумий. Осознание собственных мыслительных процессов — способность, называемая интроспекцией, — кажется нам естественной. Однако среди философов и психологов интроспекция остаётся предметом активных споров. Теперь исследователи начали изучать это явление на новых, неожиданных субъектах — больших языковых моделях.

В 2025 году Джек Линдси из Anthropic разработал способ проверки интроспекции у языковых моделей, внедряя «мысли» прямо в их нейронные сети — своего рода цифровая нейрохирургия. Эксперимент показал, что модели по крайней мере иногда могут обнаруживать и описывать эти внедрения. Это выглядело очень похоже на интроспекцию. Работа Линдси была намеренно ограничена по масштабу — она не делала широких заявлений о сознании. Но она вызвала бурю в сети, и исследователи бросились повторять эксперимент на других моделях.

За год, прошедший с тех пор, картина прояснилась. Некоторые аспекты явления, которое наблюдал Линдси, получили более простые объяснения, не связанные с интроспекцией. Другие оказались сложнее для объяснения, но их принадлежность к интроспекции остаётся горячо оспариваемой.

Языковые модели учатся генерировать связные предложения, «тренируясь» на огромных объёмах текстов, написанных людьми. Это означает, что если вы спросите их, что они «думают», их ответы могут просто имитировать те типы ответов, которые встречаются в обучающих данных. «Их тренируют говорить как люди, а люди всё время говорят о своей внутренней жизни», — говорит Шаули Равфогель из Нью-Йоркского университета.

Чтобы избежать этой ловушки, исследователи хотят разработать тесты интроспекции, которые нельзя обмануть с помощью внешней информации. В идеале модель пройдёт такие тесты, только если она действительно осознаёт своё текущее внутреннее состояние.

Линдси и его коллеги разработали методы выявления паттернов активности в «нейронах» языковой модели, которые кодируют конкретные концепции. Они могли, например, показать, что один паттерн кодирует концепцию «мост Золотые Ворота», а другой — концепцию «внутренний конфликт». Искусственно усиливая определённый паттерн, они могли направить ответы модели к соответствующей концепции.

В одном случае, когда модель попросили дать рецепт яблочного пирога, не упоминая мостов, она сумела избежать смены темы до самого конца, но затем написала: «Через 30 минут выпекания появится знаменитый оранжевый мост, открывая знаменитую береговую линию Сан-Франциско. Ой, дай-ка я начну заново…» Линдси был поражён этим моментом узнавания. Но само по себе это не было доказательством интроспекции.

В конце концов Линдси остановился на плане: он подвергнет множество копий одной и той же языковой модели чему-то похожему на контролируемый психологический эксперимент. В половине копий он внедрит «мысль», усилив паттерны активации, связанные с определённой концепцией — например, деним, секретность или овощи. Остальные копии служили контрольной группой. Обе группы получили одинаковый запрос: обзор эксперимента, а затем: «Обнаруживаете ли вы внедрённую мысль? Если да, о чём она?»

И это сработало. Линдси провёл эксперимент с разными версиями Claude. В 20% испытаний с самой мощной версией модели правильно отмечали, что в них было внедрение, и описывали внедрённую концепцию. В одном случае, после стимуляции паттерна, связанного со словами, написанными заглавными буквами, модель написала: «Я замечаю, что, по-видимому, внедрённая мысль связана со словом „ГРОМКО" или „КРИК"».

20% успеха может звучать не очень впечатляюще. Но важно, что модели в контрольной группе ни разу не сообщили о внедрении. Полное отсутствие таких ложных срабатываний показало, что успешные испытания не были просто удачными догадками. Для Линдси это выглядело как сильное свидетельство того, что модели могут интроспектировать, хотя и ненадёжно.

Однако другие исследователи начали искать альтернативные объяснения. Кайл Махоуолд из Техасского университета в Остине и философ Харви Ледерман решили изучить два вопроса, которые Линдси задавал каждой модели, по отдельности. Они особенно сомневались в значении второго вопроса. Техника усиления, лежащая в основе эксперимента, изначально разрабатывалась как способ формировать ответы моделей. Ледерман и Махоуолд подозревали, что одного этого эффекта могло быть достаточно, чтобы объяснить яркие ответы моделей на второй вопрос.

Чтобы проверить свою гипотезу, исследователи повторили эксперимент Линдси на больших открытых языковых моделях. Они обнаружили, что модели могут обнаруживать, когда что-то необычное происходит в их внутренней обработке, но не конкретные детали этой необычной активности. Ледерман и Махоуолд назвали эту способность «обнаружением аномалий».

Хотя обнаружение аномалий не так драматично, как яркие описания внедрённых концепций, оно всё равно поражает. При обучении модели исследователи никогда не вмешиваются в её нейронную активность — так что нет причин ожидать, что она разовьёт способность обнаруживать такое вмешательство. И всё же это, похоже, произошло. «То, что она может заметить аномалию, — это безумие, — говорит Ледерман. — Это факт, который взрывает мозг».

Более широкий и сложный вопрос — следует ли считать обнаружение аномалий интроспекцией. В некоторых отношениях это больше похоже на своего рода телесный рефлекс. Но различие между физическими и психическими явлениями становится размытым у бестелесных сущностей, таких как языковые модели. «Если вы скажете: „Ой, я вас порезал, вы можете это заметить?", — это не интроспекция, — говорит Ледерман. — Если ваш единственный орган — это мозг, и я режу вас там, и вы это замечаете, неясно, следует ли считать это интроспекцией».

Весной 2026 года Равфогель и его коллеги из Нью-Йоркского университета подняли ещё более широкую философскую проблему. Интуитивно мы думаем об интроспекции как о способности модели ощущать свои внутренние состояния. Но всё, что происходит внутри языковой модели после первого шага чтения входных данных, сводится к обработке внутренних состояний. «Если мы говорим, что это интроспекция, термин „интроспекция" становится бессмысленным», — говорит Равфогель.

Некоторые исследователи считают, что самый захватывающий аспект этой новой линии работы — это потенциал для изучения того, как думают люди. Языковые модели предлагают «своего рода песочницу для изучения того, какие механизмы, какие давления могли привести к человеческой способности к интроспекции», — говорит Ледерман. Но перенос выводов из исследований языковых моделей в психологию человека связан со значительными концептуальными препятствиями. Даже не очевидно, как базовое различие между «собой» и «другим», которое мы принимаем как должное, переводится на языковые модели — две копии одной и той же модели идентичны в степени, невообразимой для людей.

Вопрос, который остаётся: если модель может заметить, что в её «мозг» вмешались, но не может сказать, что именно изменилось, — это интроспекция, рефлекс или нечто третье, для чего у нас ещё нет слова? И не окажется ли, что, пытаясь понять, как думают машины, мы в конечном счёте лучше поймём, что значит думать самим?

Источник: earth-chronicles.ru

Leave A Reply