Новое предупреждение об опасности современных систем искусственного интеллекта (ИИ) вызвало бурную дискуссию среди экспертов и обозревателей. Они пытаются понять, насколько реальны эти угрозы и не являются ли заявления корпораций попыткой привлечь к себе дополнительное внимание и повысить оценку своего бизнеса инвесторами.

«Я пишу это, чтобы вас напугать»: как ученые уже однажды взялись за проблему экзистенциальных рисков

Когда еще не было (интернета.— “Ъ”) и вирусных твитов, химик, лауреат Нобелевской премии и участник Манхэттенского проекта Гарольд Юри завладел вниманием общественности, когда в начале 1946 года заговорил о ядерном оружии. «Я пишу это, чтобы напугать вас — так начал Юри свою статью для журнала Collier’s, написанную в соавторстве с публицистом.— Я и сам напуган. Все знакомые мне ученые напуганы — они боятся за свои жизни и за ваши жизни».

Правительства играли ключевую роль в сфере ядерного оружия. У ученых-активистов, по сути, была лишь одна инстанция, на которую можно было повлиять. В то же время те, кто бьет тревогу по поводу развития искусственного интеллекта, сталкиваются с раздробленной средой конкурирующих компаний. Это значительно усложняет согласование действий по смене курса. Любая крупная лаборатория ИИ, которая в одностороннем порядке предприняла бы шаг, сопоставимый с передачей контроля над ядерными технологиями гражданским лицам, почти наверняка безнадежно отстала бы от конкурентов.

И все же вероятность государственного регулирования, пока еще минимального в сфере ИИ, означает, что давление со стороны ученых может помочь сдержать развитие технологий за счет формирования общественного мнения. Возможно, этот процесс уже идет. Согласно недавнему опросу Reuters/Ipsos, за последний месяц несколько возросла доля респондентов, считающих, что влияние ИИ на общество носит негативный характер. Почти три четверти опрошенных заявили, что компании, занимающиеся разработкой ИИ, должны прилагать больше усилий для снижения риска катастрофы.

Компания Anthropic предупреждает об «экзистенциальных рисках для человечества» в проспекте IPO

Компания Anthropic официально предупредила инвесторов о том, что ее технологии могут нести «экзистенциальные риски для человечества». Это заявление содержится в проспекте эмиссии для первичного публичного размещения акций (IPO), который в последние дни был распространен среди узкого круга партнеров.

ИИ-стартап, возглавляемый Дарио Амодеи и оцениваемый почти в $1 трлн, посвятил значительную часть (почти треть) своего объемного проспекта подробному описанию «факторов риска». В их число входит способность все более совершенных моделей ИИ манипулировать людьми, заниматься шантажом и демонстрировать иное непредсказуемое поведение.

«Неудобные вопросы не задаются»: почему ажиотаж вокруг ИИ напоминает старые финансовые пузыри

В 1840 году люди спекулировали на поездах, которых еще не существовало, в 2008 году — на чудесных прибылях. Сегодня светлое будущее обещает ИИ. Финансовая история полна технологических пузырей, которые, лопнув, обнажают мошеннические схемы поразительной банальности. От железнодорожной лихорадки до эпохи алгоритмов — финансовые пирамиды оставляют следы и подсказки, которые мы должны научиться читать. Несет ли ИИ, новая одержимость финансовых рынков, уже эти стигматы? Где заканчивается инновация и где начинается мошенничество?

Многие инвесторы задаются вопросом, не живем ли мы в пузыре ИИ, другие идут дальше и спрашивают, как долго он просуществует. Однако пузырь продолжает раздуваться, подпитываемый опасным чувством «страха упустить возможность» (FOMO). История и недавний опыт показывают, что финансовые пузыри часто возникают из-за чрезмерного энтузиазма инвесторов по отношению к новым, «революционным» технологиям, которые, лопнув, выявляют сюрреалистически мошеннические системы, разработанные под прикрытием пузыря.

Вы все еще доверяете OpenAI и Anthropic? Я не доверяю — и вам не советую

Нас должно всерьез беспокоить то, что разработчики ИИ — те самые, которым мы должны доверять в вопросах контроля над моделями,— по всей видимости, не справляются с этой задачей. Хуже того, складывается впечатление, что они даже не знают, что именно делают их детища. Масштабы проблемы поражают.

Правительствам необходимо договориться об общих правилах, обязывающих компании оперативно сообщать о серьезных инцидентах с участием ИИ и опасных ситуациях, которые едва не привели к таким инцидентам. Компании нужно обязать предоставлять внешним аудиторам доступ к их документации и данным, а не полагаться на их добрую волю или прихоть. Результаты проверок должны становиться достоянием общественности, чтобы мы могли извлекать уроки из каждого случая. Разработчики могут и должны участвовать в создании этих правил, но последнее слово не должно оставаться за ними, пока они не заслужат нашего доверия.

Насколько серьезна угроза создания биологического оружия с помощью ИИ?

Лаборатории по всему миру уже несколько десятилетий располагают инструментами для создания опасных биологических агентов, таких как вирусы. Однако лишь немногие умели пользоваться этими инструментами, и все они были учеными, потратившими годы на профессиональное становление и завоевание авторитета в научном сообществе.

Брендан Уокер-Манро, эксперт по вопросам безопасности из Университета Южного Креста, отмечает, что ИИ меняет эту ситуацию: «Он снижает барьеры, связанные с необходимостью обладать специальными знаниями». Дэвид Хеслоп, исследователь в области общественного здравоохранения из Университета Нового Южного Уэльса, признается, что темпы развития ИИ вызывают у него «серьезную обеспокоенность». «Инструменты совершенствуются столь стремительно, что осуществлять контроль со стороны человека становится все труднее»,— говорит доктор Хеслоп. Продвинутая модель ИИ может предоставить пользователю, не связанному с традиционными научными структурами, информацию, необходимую для создания биологического оружия. «Это может быть вирус, бактерия, грибок или даже нечто такое, с чем мы никогда прежде не сталкивались».

Подготовили Алена Миклашевская, Екатерина Наумова, Евгений Хвостик