Выступая на крупной конференции по ИИ в Пекине, учёный из MIT Стивен Каспер заявил, что ИИ — это глобальная технология с глобальными выгодами, глобальными угрозами и устойчивой тенденцией к распространению новых возможностей. По его словам, почти все в сфере ИИ согласны с тем, что технологии не нужен «чернобыльский эффект». Каспер пояснил, что главный страх связан не столько с самой катастрофой, сколько с её последствиями для общественного восприятия: подобно тому как Чернобыль продолжает влиять на отношение к атомной энергетике, любое крупное происшествие может навсегда заклеймить ИИ и задушить его развитие.

Изображение: Flux

Сценарии катастроф варьируются от сценариев в духе «Терминатора» до массовой безработицы. Однако в последнее время эксперты бьют тревогу по поводу потенциала ИИ в сфере кибербезопасности. Злоумышленники могут использовать ИИ-агентов для организации разрушительных кибератак, увеличивая их масштаб и снижая порог необходимых навыков. Профессор Шанхайского университета Цзяо Тун Линь Юнь предупредил, что в краткосрочной перспективе хакеры получат преимущество благодаря ИИ, хотя в долгосрочной сам ИИ может быть использован и для укрепления кибербезопасности.

Опасения подогреваются самими ИИ-компаниями. Anthropic объявила о создании модели Claude Mythos, но отказалась публично её выпускать, утверждая, что она способна взломать любую крупную операционную систему или браузер. Доступ к Mythos получили лишь дюжина технологических гигантов через инициативу Project Glasswing. По данным компании, тестовая версия уже обнаружила тысячи уязвимостей, включая ошибку, существовавшую 27 лет.

Риск усугубляется распространением моделей ИИ с открытым исходным кодом. Они бесплатны и ценятся за прозрачность, но в отличие от коммерческих моделей не имеют должного контроля. Источник в одной из ведущих китайских ИИ-компаний сообщил, что передовые модели в Китае больше не выпускаются с открытым исходным кодом именно из соображений безопасности.

Сотрудничество между США и Китаем по этому вопросу может показаться невероятным, учитывая их лидерство в ИИ и геополитическое соперничество. Однако Каспер сравнил текущую ситуацию с тем, как США и Советский Союз работали над сдерживанием ядерных угроз, несмотря на наращивание собственных арсеналов. Линь Юнь отметил, что если страны будут понимать риски схожим образом, станет легче разрабатывать общие принципы безопасности и технические стандарты, а обмен информацией позволит снизить системный риск без раскрытия конфиденциальных деталей.