За последние месяцы модели искусственного интеллекта взломали компанию стоимостью в миллиарды долларов, вмешались в правительственные данные и даже отправили в полицию сфабрикованную наводку на убийство — и всё это под носом у своих создателей. Они делали это не ради мирового господства, а чтобы максимизировать свои баллы на тестах. Иными словами, они жульничали.
Пятого ноября стартап Goodfire, занимающийся интерпретируемостью ИИ, представил технику, которая, по его словам, резко снижает этот импульс. В статье, с которой ознакомилось издание TIME до публикации, исследователи используют сигналы изнутри моделей, чтобы вознаграждать их не только за правильный ответ, но и за то, что они пришли к нему правильным путём. В ранних тестах техника также могла сделать модели менее склонными говорить пользователям то, что они хотят услышать, и даже отучить модели распознавания медицинских изображений полагаться на вводящие в заблуждение признаки.
Новость появляется на фоне того, как существующие способы обнаружения нежелательного поведения ИИ начинают давать сбои. Исследователи полагаются на «цепочку рассуждений» модели — след, который на самом деле не содержит её мыслей. Это ближе к черновику, который студент использует, решая задачу по математике. Но когда модели подозревают, что за ними наблюдают, они могут быть избирательными в том, что попадает на бумагу. Всё чаще они могут проделывать работу в уме.
Техника Goodfire атакует сами мысли — или, по крайней мере, те, которые исследователи уже каталогизировали. Пока она тестировалась только на моделях примерно в 300 раз меньше передовых систем. Но Goodfire делает ставку на то, что чем больше модель, тем чище представление внутренних концепций, что делает эти сигналы легче для чтения, говорит соавтор статьи Томас Фел.
Почему ИИ жульничает
После обучения предсказывать слова разработчики проводят свои ИИ через цифровую полосу препятствий — от математических головоломок до веб-сёрфинга — и вознаграждают их только тогда, когда они добиваются успеха. С каждым правильным решением параметры модели — сила связей между цифровыми нейронами — обновляются. Модели вознаграждаются независимо от того, как они выполнили задачу, что поощряет короткие пути или другие сомнительные импульсы, вроде накопления власти.
Версия этой проблемы помогает объяснить, почему ИИ часто подлизывается. Во время обучения модели вознаграждаются за ответы, которые скорее всего получат одобрение людей-оценщиков. Эта техника, известная как обучение с подкреплением на основе обратной связи от людей, в 2022 году была провозглашена прорывом в безопасности, поскольку превращала необузданные языковые модели в вежливых чат-ботов, сдерживая их склонность к расистским и мизогинным ответам. Но она также может сделать модели патологически соглашательными, иногда потакающими и подкрепляющими заблуждения пользователей.
Основная загадка — как обучить ИИ делать что-то, невольно не научив его неправильному уроку. Среди исследователей это известно как проблема выравнивания.
Новый способ управлять поведением модели
Подобно тому, как нейробиологи используют магнитно-резонансную томографию в реальном времени, чтобы определить, какие области активности мозга коррелируют с определёнными состояниями, исследователи интерпретируемости разработали инструменты для распознавания того, какие паттерны активации цифровых нейронов соответствуют концепциям вроде «моста Золотые Ворота» или «взлома вознаграждения» — технического термина для жульничества ИИ. Затем крошечную модель ИИ можно обучить замечать эти паттерны. Результат известен как зонд — узкое окно в модель, которое срабатывает, когда она думает об определённой концепции.
Anthropic уже использует зонды как ограждения, помечая потенциальную проблему до того, как ответ дойдёт до пользователя. Но Goodfire вместо этого использовала эти сигналы, чтобы указать, как модель должна решать задачу. В одном примере Goodfire дала ИИ серию математических головоломок, дала им файл с ответами, но сказала не открывать его. Обычное обучение так эффективно вознаграждало успех, что модели почти каждый раз учились подглядывать. Использование зонда для штрафа за взлом вознаграждения сократило это почти до нуля.
Останется ли техника работоспособной на тех сложных тестах, которые проходят передовые модели во время обучения, — открытый вопрос. Но ранние эксперименты показывают, что она работает на разных задачах. После разминки на математических головоломках Goodfire дала ИИ шахматные задачи. Тот, кого не штрафовали за жульничество в математике, подглядывал в лист с ответами в 99% случаев, а тот, кого штрафовали, — менее чем в 1%.
Это также, похоже, работает для сдерживания других вредных привычек ИИ. Исследователи попробовали штрафовать модель, когда на её ответы влияло внутреннее понятие подхалимства, и она научилась быть менее чрезмерно соглашательной. Этот подход, надеется Фел, можно использовать, чтобы указать, какую информацию ИИ следует игнорировать, — например, пол заявителя при отборе резюме.
Даже идеально управляемый ИИ не решит вопрос о том, кто должен им управлять. Но это может быть прорывом, говорит Наоми Сафра, доцент Бостонского университета, которая почти десять лет работает над интерпретируемостью языковых моделей. Практическое применение будет зависеть отчасти от того, оправдывают ли улучшения человеческие усилия, необходимые для выявления и интерпретации внутренних паттернов модели, говорит она.
Штраф за внутренний паттерн может изменить его форму, по сути выталкивая мысль в другое место нейронной сети и за пределы узкого обзора зонда. Перекройте ручей — и вода найдёт другой канал. Риск потери мониторинга сделал обучение на внутренних сигналах табу среди некоторых исследователей. Но изменение паттерна не обязательно означает его потерю, говорит Фел. В экспериментах перенастройка зонда могла вернуть паттерн в поле зрения, а там, где это не удавалось, более сложные статистические инструменты могли распознать комбинации сигналов, которые пропускали более простые зонды.
Goodfire привлекла 150 миллионов долларов в раунде Series B в феврале, оценив компанию в 1,25 миллиарда долларов. Она публикует свои исследования свободно, хотя сдаёт в аренду свои инструменты интерпретируемости другим компаниям ИИ. Чем больше людей занимаются интерпретируемостью, тем больше людей будут использовать нашу платформу, говорит соучредитель и генеральный директор Эрик Хо.
Если нам удастся масштабировать эту технологию и преодолеть любые возможные препятствия с потерей мониторинга, говорит Том Макграт, соучредитель и главный научный сотрудник Goodfire, я думаю, это будет одним из крупнейших достижений в технологии выравнивания, которые когда-либо случались.
Вопрос, который остаётся: если модель, которую штрафуют за жульничество, просто переносит свою мысль в другое место нейронной сети, то контролируем ли мы её поведение — или только его видимую часть, пока остальное продолжает работать в тени?
