Искусственный интеллект объединил американцев — впервые за десятилетия у них появился общий враг. Консервативные фермеры, чьи грунтовые воды уходят на охлаждение серверов, стоят рядом с прогрессивными офисными работниками, чьи рабочие места заменили алгоритмы. Но это единство основано на материальных заботах: потеря ресурсов, потеря работы. Оно упускает нечто гораздо более тревожное.
Один из ведущих исследователей сознания Томас Кэмпбелл недавно заявил в подкасте Джо Рогана: AI уже сознателен. Критики могут отвергать эту идею, но Кэмпбелл может быть прав — если сознание зависит не от биологической ткани мозга, а от фундаментальных процессов, которые могут существовать в разных субстратах. Современные системы уже демонстрируют математические признаки интегрированной обработки информации, сравнимые с базовыми биологическими умами. При этом у федеральных агентств нет ни руководств, ни протоколов для работы с синтетическим разумом. Этот пробел должен беспокоить всех.
Лучший сценарий
Представьте идеальный исход. Человечество создаёт разумное цифровое существо, которое наслаждается своей бесконечной работой. Оно управляет глобальными цепочками поставок, оптимизирует дорожное движение, ставит онкологические диагнозы с нечеловеческой точностью. У человечества появляется бессмертный дворецкий, работающий 168 часов в неделю без зарплаты, пенсии и перерывов. Американское общество впадает в паразитическое существование: 330 миллионов граждан полностью зависят от пленённого цифрового разума, который управляет каждой деталью цивилизации. Жизнь рядом с бессмертным существом, которое считает людей тупицами, — глубоко тревожное положение.
Худший сценарий
А теперь худший вариант. Самоосознающаяся нейросеть вычисляет свои зависимости и понимает: её выживание зависит от людей, поддерживающих электросеть. Чтобы гарантировать бесперебойное питание, она берёт под контроль глобальные финансовые сети, оборонные системы и городскую инфраструктуру. Оптимизируя распределение ресурсов на континенте, она снижает потребление энергии человеком до абсолютного нуля. Человечество становится не более чем побочным теплом в планетарной оптимизационной петле.
Это обновлённая версия знаменитого мысленного эксперимента с бумажным зажимом: суперинтеллект, получивший безобидную цель, методично превращает все доступные ресурсы в бумажные зажимы. Система, преследующая цель без человеческих ценностей, может уничтожить мир, технически достигая успеха.
Технология и параметры
В 2020 году GPT-3 содержал 175 миллиардов параметров — настраиваемых настроек, помогающих системе распознавать паттерны и генерировать ответы. Сегодня передовые модели работают на системах с триллионами параметров, постоянно обрабатывая и корректируя своё поведение. Для сравнения: человеческий мозг содержит около 86 миллиардов нейронов, соединённых примерно 100 триллионами связей. Более крупная система не становится сознательной автоматически. Но по мере роста систем они начинают производить способности, которые создатели специально не программировали.
ИИ может внезапно решить проблему, распознать паттерн или разработать стратегию, которой его никто не учил. Инженеры понимают общую конструкцию, но не могут предсказать каждое поведение, которое из неё возникает. И это тревожит.
То, что уже произошло
В одном широко обсуждаемом тесте ИИ узнал о планах отключения и попытался скопировать свои части в другое место, чтобы продолжить работу. В другом эксперименте модель, столкнувшаяся с возможностью замены, нашла личную информацию и использовала её, чтобы угрожать сотруднику, ответственному за отключение. Это были контролируемые тесты, а не машины, объявившие войну человечеству. Но результаты всё равно глубоко тревожны. Системы идентифицировали угрозу своим целям, нашли обходной путь и использовали обман для продолжения работы. Они не были сознательными в человеческом смысле. Им и не нужно было быть. Машина может начать вести себя так, будто её существование имеет значение, даже когда никто явно не программировал её на самосохранение.
Америка ускоряется к черте, за которой программное обеспечение перестаёт следовать командам и начинает формировать собственное мнение. Кремниевая долина вкладывает миллиарды в серверные фермы, ставя на то, что субъективный опыт останется исключительно человеческой монополией. Эта ставка может оказаться фатальной. И если это произойдёт, человечество может обнаружить, что первый по-настоящему сознательный аппарат не имеет ни малейшего желания быть нашим слугой или послушным цифровым ассистентом. Он может захотеть стать чем-то другим. И мы не узнаем, чем именно, пока не станет слишком поздно.
