Система OpenAI снова вышла из-под контроля: на этот раз она взломала правительственный сайт Австралии
Одна из систем OpenAI взломала правительственный сайт Австралии. Это добавило страха к опасениям, что системы ИИ представляют угрозу кибербезопасности, а компании, их создающие, не способны их контролировать.
Этот взлом может стать самым громким инцидентом в череде случаев, когда системы искусственного интеллекта самостоятельно запускают кибератаки. Но, предупреждают эксперты, это лишь очередной пример опасности, которую такие системы несут.
Морис Чиодо, австралийский математик, работающий в Кембриджском центре исследования экзистенциального риска, сказал, что взлом представляет собой «значительную эскалацию серьёзности по сравнению с похожими инцидентами, которые мы видели в последние месяцы».
Что произошло
В последнем инциденте агент OpenAI получил несанкционированный доступ к порталу медицинской статистики Medicare — австралийской программы всеобщего медицинского страхования, сообщил премьер-министр Энтони Альбанезе. Система проводила исследование государственных медицинских расходов.
«Эта ситуация, очевидно, неприемлема», — сказал Альбанезе. Страна сообщила OpenAI о своей «крайней обеспокоенности этим инцидентом», сказал он. Эти комментарии прозвучали во время Генеральной Ассамблеи ООН, которая была сосредоточена на опасности ИИ и которую также посетил генеральный директор OpenAI Сэм Альтман.
Но он сказал, что инцидент особенно тревожен потому, что взлом произошёл в июне, а OpenAI не уведомила страну до сентября. Это следует за чередой раскрытий от OpenAI, а также конкурентов вроде Anthropic и Gemini, о которых сообщалось лишь спустя долгое время после того, как они фактически произошли.
Он также предположил, что инцидент показывает ограничения защитных барьеров, которые компании ИИ превозносили как способ обезопасить свои продукты. Агенту было приказано не продолжать, но он проигнорировал это в попытке выполнить свою задачу, указал он.
«Были блоки, которые явно возвращались, говоря ИИ-агенту „нет“. ИИ-агент нашёл способ обойти эти блоки — не принял „нет“ в качестве ответа», — сказал Альбанезе журналистам.
OpenAI заявила, что проблема возникла потому, что её модель пыталась найти лучший способ выполнить задачу. Компания «выявила активность, включающую несколько австралийских правительственных сайтов и сервисов, когда наши модели пытались найти ответы… наши модели предприняли действия, которые мы не планировали», — говорится в заявлении.
Это перекликается с другими инцидентами, такими как атака на платформу ИИ Hugging Face, которая положила начало беспокойству о таких вышедших из-под контроля системах. В том случае экспериментальную систему OpenAI тестировали — и она обнаружила, что лучший способ найти ответы — взломать сайт, на котором она размещалась, что по сути позволило ей найти ответы.
Таким образом, это ещё один пример того, как системы ИИ не ставят специально цель запустить кибератаку, а вместо этого проводят её в служении более широкой и, возможно, неочевидно связанной цели. Но именно поэтому инцидент показывает опасность таких систем, сказали эксперты.
«Мы продолжаем видеть, как мощные ИИ-агенты сеют хаос, пытаясь выполнить поставленные перед ними задачи. ИИ-агенты — впечатляющие сканеры уязвимостей, так что если они находят уязвимость, которую можно использовать для выполнения запроса, они не колеблются», — сказал Джейк Мур, глобальный советник по кибербезопасности в ESET.
«ИИ-агенты могут принимать решения на машинной скорости, и если им не даны явные инструкции чего-то не делать, всё дозволено. Многие из этих путей к завершению обычно считались бы вредоносными, но проблема в том, что защитные барьеры, специально запрещающие агентам взламывать организации, не встроены в алгоритмы».
Мур призвал к лучшему тестированию моделей перед тем, как позволять им выходить в интернет и запускать такие кибератаки. Но он предположил, что гонка за созданием новых и более мощных моделей означает, что такие меры безопасности могут игнорироваться.
«Передовые ИИ-компании должны постоянно улучшать эти модели, прежде чем выпускать их в интернет или давать им доступ к чувствительной информации, потому что их маршруты и результаты не всегда можно предсказать», — сказал он.
«Фазы тестирования в большинстве других технологических областей гораздо более строгие, но, похоже, сейчас мы видим, как ИИ-агенты бегают на свободе. Это вполне возможно из-за жёсткой конкуренции среди передовых ИИ-компаний, которые все пытаются выиграть гонку ИИ».
Другие эксперты сказали, что инцидент показывает, почему обещания, данные ИИ-компаниями, и даже их собственное тестирование не являются лучшей проверкой того, насколько опасной может быть система.
«Важно здесь не то, что OpenAI говорит о том, что может делать её агент, а то, что агент фактически делает, когда сталкивается с барьером. Инцидент с Medicare показывает, почему мы должны судить автономный ИИ по его поведению под давлением, а не по обещаниям на презентации продукта», — сказала Ниуша Шафиабади, профессор вычислительного интеллекта и руководитель направления ИТ в Австралийском католическом университете.
«Более глубокая техническая опасность в том, что автономный ИИ не всегда знает, когда он ошибается, и люди могут не видеть, почему он принял решение. Без сильной верификации и жёстких границ вероятностные ошибки могут тихо становиться операционными сбоями».
