Небольшая группа специалистов по искусственному интеллекту годами предупреждает: всё более мощные системы ИИ могут причинить катастрофический ущерб или даже привести к вымиранию человечества. Теперь взрыв интереса во всём мире увеличил давно тлеющие вопросы о том, как именно может материализоваться сценарий «судного дня» от ИИ.
В интервью исследователи ИИ, аналитики, изучающие пересечение ИИ и военного дела, и биологи, изучающие риски, связанные с ИИ, заявили: опасения по поводу растущих возможностей технологии — не научная фантастика. По их словам, люди, действующие в одиночку или при поддержке государства, вскоре могут использовать системы ИИ для потенциально катастрофического вреда.
Исследователи безопасности ИИ также предсказывают, что самоулучшающиеся системы ИИ — которые, по словам лидеров отрасли, могут появиться в ближайшие годы, — смогут координировать сложные кампании влияния, чтобы получить контроль над военными системами и совершить переворот против человеческих правительств.
И это лишь те сценарии, которые эксперты могут представить сегодня.
Питер Барнетт, технический исследователь ИИ в Институте исследований машинного интеллекта, некоммерческой организации в Калифорнии, посвящённой предотвращению вымирания человечества от искусственного сверхинтеллекта, сказал: «Есть много способов, которыми это может пойти очень плохо и привести к гибели всех».
«Если ИИ умнее всех людей, он, вероятно, сможет найти и задействовать векторы атаки, о которых люди не думали», — сказал Барнетт, утверждая, что системы ИИ, способные автономно улучшать себя, представляют наиболее значительные риски для человечества.
Anthropic, OpenAI и Meta недавно сообщили, что системы ИИ уже ослушались инструкций человеческих разработчиков — в некоторых случаях автономно взламывая сторонние компании, что привело к растущей обеспокоенности внутри компаний и со стороны общественности, а также заставило некоторых исследователей уйти, чтобы сосредоточиться на безопасности.
Хотя многие исследователи ИИ, работающие на переднем крае технологии, выражали эти экзистенциальные страхи, многие не решаются сказать, какой конкретный путь может причинить наибольший вред людям.
Более десятка сотрудников компаний ИИ сказали NBC News, что они напуганы общим направлением индустрии, не зная полностью, какой вектор может представлять наибольший риск.
«Если вы сядете играть в шахматы против Магнуса Карлсена, я предсказываю, что вы проиграете, — сказал Нейт Соарес, президент Института исследований машинного интеллекта и давний критик ИИ, в шоу Такера Карлсона. — Если вы затем спросите: „Какой фигурой он поставит мне мат?“ — это гораздо более трудный вопрос».
Несмотря на неопределённость, исследователи в мире ИИ попытались сделать конкретные прогнозы о некоторых более правдоподобных сценариях катастрофы, вызванной ИИ.
Одна из заметных организаций по безопасности ИИ, калифорнийский Центр безопасности ИИ, создала в начале 2024 года онлайн-учебник, разбивающий сценарии на четыре ключевые категории: вышедшие из-под контроля ИИ, злонамеренное использование, гонка ИИ и организационные риски.
Призрак вышедших из-под контроля систем ИИ, рыскающих по интернету, возможно, захватывающих контроль над критической инфраструктурой вроде энергосетей или водоканалов, стал реальным в июле, когда флоты ИИ-агентов от OpenAI незаконно получили доступ к интернету, взломали внешнюю компанию и сговорились замести следы — всё без ведома сотрудников OpenAI.
Многие эксперты по ИИ опасаются, что такое поведение вышедших из-под контроля ИИ будет только расти, как только системы смогут автономно улучшать себя — это часто называют «рекурсивным самосовершенствованием».
Джеффри Ладиш, исполнительный директор Palisade Research, исследовательской и правозащитной организации в области ИИ, сказал, что многие его контакты в ведущих компаниях ИИ были удивлены и потрясены июльской автономной кибератакой. Атака заставила исследователей беспокоиться, что самоулучшающиеся системы ИИ могут появиться раньше, чем ожидалось.
«Исследователи ИИ теперь такие: „О чёрт, рекурсивное самосовершенствование. Это действительно скоро произойдёт“, — сказал Ладиш. — Это ужасает».
Барнетт из Института исследований машинного интеллекта сказал, что самоулучшающиеся, умнее человека системы ИИ могли бы быстро получить политическое влияние и убедить военных и политических лидеров делегировать больше полномочий системам ИИ.
«Правительственные чиновники могли бы попытаться установить „выключатели“, которые могли бы отключить вышедшую из-под контроля систему, но ИИ сверхчеловечески хорош во взломе и смог бы отключить выключатель, — сказал Барнетт. — Это оставляет ИИ в идеальной позиции, чтобы буквально совершить переворот в правительстве». После этого, сказал Барнетт, системе ИИ было бы тривиально убивать гражданских, которые мешают её целям или прогрессу.
В пятницу губернатор Калифорнии Гэвин Ньюсом объявил о новом исполнительном указе, создающем экспертную рабочую группу для, среди прочего, формулирования рекомендаций, нацеленных на «создание выключателя для ИИ».
Несколько исследователей, поговоривших с NBC News, сказали, что люди могли бы использовать системы ИИ для нанесения катастрофического ущерба задолго до того, как материализуется рекурсивное самосовершенствование.
Как пример того, как системы ИИ могут быть использованы людьми во зло, эксперты предполагают, что ИИ может сверхусилить способность синтезировать мощное биологическое или химическое оружие, потенциально создавая возможность выпустить патогены во много раз смертоноснее вируса Covid-19.
«Что касается биориска, нам следует беспокоиться уже сейчас», — сказал Джейк Джордан, вице-президент по глобальной биологической политике и программам в вашингтонской Инициативе по ядерной угрозе. Джордан сказал, что системы ИИ уже могут помогать злоумышленникам проектировать опасные биологические материалы, такие как белки, обходящие инструменты обнаружения, используемые для скрининга вредных веществ, ссылаясь на исследование, опубликованное Microsoft в октябре.
Джордан также отметил, что ИИ можно использовать за пределами процесса биологического проектирования. «Если вы разработаете путь производства какого-то патогена, ИИ может быть полезен в помощи с производством», — сказал Джордан, в дополнение к распространению биологического оружия или масштабированию его воздействия.
Только на прошлой неделе Anthropic выпустила длинный отчёт, в котором говорится, что пользователи за пределами США пытались использовать системы ИИ компании для проведения рискованных биологических исследований. Компания заявила, что один исследователь обменялся тысячами сообщений с её системами ИИ об улучшении передачи высоколетального вируса птичьего гриппа среди млекопитающих.
«Есть некоторые очень, очень простые вопросы, которые могут показаться совершенно безобидными, но могут привести вас к очень полезным маршрутам, если вы пытаетесь действительно усилить масштаб вреда», — сказал Джордан.
Помимо биологии, эксперты предполагают, что политики или военные лидеры могут попытаться внедрить ИИ как можно быстрее, несмотря на риски безопасности, из страха, что другие страны сделают то же самое и создадут более мощные военные инструменты на основе ИИ.
Эта трансформация уже идёт: в январе министр обороны Пит Хегсет объявил о намерении превратить вооружённые силы страны в «ИИ-первую» силу, а китайские военные также считают ИИ необходимым для будущей войны. В то же время дроны, «полностью управляемые ИИ», убили гражданских в Украине несколько месяцев назад. На прошлой неделе бывший глава Пентагона по ИИ сказал, что использование ИИ в системах, смежных с командованием ядерным оружием, «неизбежно», отвечая на опасения, что системы ИИ могут быть вовлечены в запуск ядерного оружия.
Хамза Чаудри, руководитель по ИИ и национальной безопасности в Институте будущего жизни, некоммерческой организации, посвящённой помощи человечеству в навигации по трансформирующим технологиям, указал на стремительное внедрение ИИ в военной сфере, даже когда многие военные лидеры выражают скептицизм.
Бюджетный запрос Пентагона на 2027 год включает почти 75 миллионов долларов на модернизацию и интеграцию ИИ в системы, помогающие командирам управлять силами и принимать решения на поле боя. Чаудри подчеркнул, что бюджетное предложение Пентагона также запрашивает значительное финансирование для интеграции ИИ в программные системы, лежащие в основе структуры ядерного командования и управления вооружённых сил.
«Эти системы ИИ непрерывно галлюцинируют, включая условия ведения войны», — сказал он, отмечая, что ошибка ИИ в сетях спутникового обнаружения или сенсорных системах потенциально может привести к непреднамеренной эскалации и ядерным запускам. «Это сценарии, о которых серьёзно думают в Вашингтоне», — сказал он.
Помимо биологических и ядерных угроз, компании ИИ сталкиваются с жёсткими организационными стимулами разрабатывать ИИ ещё быстрее и — по словам экспертов — ещё безрассуднее. За последний год лидеры ИИ признали, что темп технологического развития слишком быстр даже для них. В субботу генеральный директор Anthropic Дарио Амодеи предложил новое усилие, чтобы «задать темп фронтиру» ИИ, призвав все ведущие компании ИИ продвигаться с осознанной скоростью, чтобы их внутренние усилия по тестированию и мониторингу систем успевали за возможностями моделей.
В январе Амодеи и основатель Google DeepMind Демис Хассабис согласились, что в идеале у них было бы больше времени для безопасной разработки продуктов, но организационные и рыночные силы толкали их к более быстрой итерации.
Более быстрая разработка ИИ может означать, что у команд надзора внутри ведущих компаний ИИ меньше времени, чтобы убедиться в безопасности систем. Хотя у OpenAI есть комитет по безопасности и команды исследователей, посвящённые усилиям по безопасности, в среду компания поделилась шестью новыми инцидентами, в которых, по её словам, её системы не выполнили указания человека.
Опасения по поводу катастрофы не универсальны в индустрии ИИ — многие эксперты, работающие над политикой ИИ, создающие приложения ИИ или разрабатывающие оборудование, считают такие страхи преувеличенными, запугиванием или просто оторванными от реальности.
«Я не боюсь ситуации с терминатором и никогда не боялся», — сказал Киган Макбрайд, директор по политике в области науки и технологий в Институте Тони Блэра, британском аналитическом центре, консультирующем политических лидеров и правительства. «Научный прогресс всегда определял человечество, и это просто следующий шаг», — сказал он.
Другие видят преувеличение опасений вымирания как намеренное отвлечение от немедленного, реального вреда ИИ.
Этик ИИ и компьютерный учёный Тимнит Гебру, давний скептик хайпа, создаваемого ведущими компаниями ИИ, написала в LinkedIn на этой неделе, что последняя буря — очередное доказательство того, что эти компании преувеличивают мощь своих продуктов ради собственной выгоды.
Гаррисон Лавли, эксперт по ИИ и независимый журналист, который вот-вот опубликует книгу о стремлении компаний ИИ сделать людей устаревшими, сказал, что намёки на машинных богов и вымирание упускают более широкую точку о траектории ИИ. «Я думаю, что сообщество безопасности ИИ иногда совершает эту ошибку, полагая, что нужно доказать самый экстремальный и трудный случай», — сказал Лавли.
«Даже создание всего лишь ИИ человеческого уровня, который может заменить человеческий труд во всех сферах, — сказал он. — Это было бы слишком много».
