Гонка за создание всё более мощного искусственного интеллекта формирует необычный консенсус среди инсайдеров: технологию может стать опасно трудно контролировать, даже несмотря на резкие разногласия экспертов по поводу того, насколько скоро это может произойти и успевают ли защитные меры за развитием технологий.

Бывший исследователь Anthropic Джейкоб Коксон заявляет, что компании, стремящиеся создать сверхинтеллект, «играют с нашими жизнями», тогда как исследователь вопросов согласования ИИ в Anthropic Эван Хубингер оценивает вероятность того, что ИИ уничтожит всех людей в течение следующего десятилетия, более чем в 10%.¹ Их предупреждения сосредоточены не на сегодняшних системах, которые оба считают источником относительно ограниченной непосредственной угрозы, а на рекурсивном самоусовершенствовании — возможности того, что системы ИИ смогут автономно создавать более совершенных преемников.

Более тревожная трактовка заключается в том, что этот переход может произойти в течение нескольких лет. Критики утверждают, что лаборатории фактически пытаются автоматизировать исследования в области ИИ, потенциально ускоряя развитие быстрее, чем люди смогут его понять или контролировать. Речь идёт не просто о сбое, а об утрате контроля, сосредоточенного в руках нескольких компаний или лиц, принимающих решения.

Оценка Коксона столь же сурова, но носит более явно политический характер. В интервью Fox News он заявил, что рекурсивное самоусовершенствование «может начаться уже в следующем году», настаивая при этом, что кризис остаётся «вполне разрешимым» с помощью регулирования и международного сотрудничества.² Он назвал ИИ потенциальным «супероружием» в гонке вооружений и утверждал, что правительства должны не допустить, чтобы компании устремились к необратимой катастрофе.

Таким образом, эти две точки зрения сходятся в оценке основного риска, но расходятся в акцентах. Предупреждение Хубингера подчёркивает неопределённость и отсутствие надёжного плана согласования; Коксон настаивает, что опасность обусловлена провалом политики, а не неизбежной технологической судьбой. Другие эксперты, упомянутые в этой дискуссии, считают, что до появления сверхинтеллекта могут пройти десятилетия, признавая при этом, что автономное обучение станет решающим тревожным сигналом.

Эти разногласия оставляют главный вопрос нерешённым: возможно, у правительств ещё есть время для регулирования передового ИИ — а возможно, они уже отстали от стремительно меняющейся ситуации.