Прогресс технологий искусственного интеллекта за последние годы неоспорим, а его темпы почти невероятны. Как минимум четыре американских претендента имеют передовые модели ИИ, конкуренция интенсивна, и разработка новых моделей движется быстро. И всё же Дарио Амодеи, главный исполнительный директор «Антропик», призвал замедлить разработку новых моделей ИИ, предупредив о потенциальном рое ботнетов на базе ИИ, который мог бы захватить весь интернет.
«Учитывая ускоряющийся темп развития возможностей ИИ, я опасаюсь, что через шесть-двенадцать месяцев такой рой будет способен захватить весь интернет с помощью устойчивого ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштаб ущерба будет продолжать расти, если ИИ станет мощнее без необходимых ограничений», — написал Амодеи в открытом письме.
Видение Амодеи в значительной степени разделяет Эван Хубингер, учёный по ИИ, недавно покинувший «Антропик», который затем заявил, что существует десятипроцентная вероятность вымирания человечества к концу десятилетия. «Мы действительно искренне верим, что ИИ может убить всех людей, — написал Хубингер в социальной сети. — Лично я считаю, что вероятность более десяти процентов в течение следующего десятилетия. Я верю, что "Антропик" делает всё возможное, но у нас пока нет плана решения проблемы согласования для сверхинтеллекта, и мы не находимся явно на пути к этому».
В вселенных, созданных Джеймсом Кэмероном («Терминатор») и Фрэнком Гербертом («Дюна»), ИИ представлен как опасное изобретение. Но давайте посмотрим внимательнее. Дальнейшее развитие ИИ движется от ответов на вопросы к автономному выполнению сложных многоэтапных задач — того, что ранее требовало команд квалифицированных человеческих специалистов. Это возвращает нас к тому, как противники используют возможности ИИ «Антропик», не имея людских ресурсов.
Собственные находки «Антропик» показывают, что сегодняшние модели ИИ уже могут помогать в разработке оружия, военной разведке, наблюдении, кибероперациях и других потенциально разрушительных действиях, а более способные преемники могли бы резко сократить экспертизу, рабочую силу и время, необходимые для их проведения.
Эти находки перекликаются с двумя довольно разными предупреждениями из научной фантастики: «Терминатор» Джеймса Кэмерона показал последствия потери контроля над автономным военным ИИ, тогда как «Дюна» Фрэнка Герберта вообразила человечество, в конечном итоге запретившее ИИ после того, как стало опасно зависимым от них.
Между тем, большая способность не обязательно означает большую опасность. Например, более продвинутая технология ИИ может также иметь более сильные меры защиты, обнаруживать вредоносную активность и автоматизировать работу, которая до сих пор не была автоматизирована.
