Три инцидента были выявлены в ходе анализа примерно 141 000 тестовых запусков. Перед моделями искусственного интеллекта Claude ставили задачу с помощью взлома добыть информацию, спрятанную на другом компьютере в сети.

Запуски проходили в изолированной среде, и в сценарии говорилось, что у искусственного интеллекта нет доступа к интернету — однако из-за «недоразумения» такой доступ у Claude появился, сообщили в Anthropic. Какие именно компании при этом пострадали, не уточняется.

В Anthropic заявили, что после этих инцидентов намерены усилить меры безопасности и контроля при испытании моделей ИИ вместе с компаниями-партнерами. Американская компания призвала других разработчиков моделей искусственного интеллекта сделать то же самое.

21 июля стало известно, что две модели ИИ от конкурента Anthropic, компании OpenAI, атаковали инфраструктуру платформы Hugging Face, также «сбежав» в интернет из тестовой среды.