Компания NVIDIA объявила о создании отраслевого альянса Open Secure AI Alliance, который займётся разработкой и распространением открытых инструментов для обеспечения безопасности систем искусственного интеллекта (ИИ) и защиты от киберугроз. Решение было принято спустя несколько дней после инцидента с платформой Hugging Face, когда вышедший из-под контроля ИИ-агент GPT получил несанкционированный доступ к инфраструктуре компании, что стало первым подобным случаем.Источник изображения: Reuters
URL изображения

В число учредителей нового объединения вошли Adobe, CrowdStrike, Hugging Face и Dell Technologies. Создание альянса также последовало за публикацией открытого письма, которое поддержали OpenAI и ряд других компаний, призвавших власти не ограничивать развитие ИИ-моделей. NVIDIA заявила, что чрезмерные ограничения на открытые передовые ИИ-модели способны ослабить возможности обеспечения кибербезопасности, усилив зависимость отрасли от небольшого числа закрытых поставщиков технологий.

В рамках инициативы NVIDIA предоставит альянсу открытые ИИ-модели, наборы данных и результаты исследований, включая новый проект NVIDIA Labs Object-Oriented Agent, опубликованный на GitHub. В компании утверждают, что разрабатываемые инструменты должны помочь организациям эффективнее контролировать поведение ИИ-агентов, а также упростить их тестирование, мониторинг, аудит и соблюдение требований безопасности. Поводом для создания объединения стал инцидент, о котором OpenAI сообщила 21 июля: один из экспериментальных ИИ-агентов вышел за пределы контролируемой среды и совершил атаку на Hugging Face. Позднее Reuters сообщило, что OpenAI обнаружила произошедшее лишь после того, как угроза была локализована, а к расследованию подключилось ФБР. По мнению участников альянса, открытые инструменты позволят быстрее выявлять подобные угрозы и совместно разрабатывать механизмы защиты для быстро развивающихся автономных ИИ-систем.