OpenAI усиливает меры против катастрофических последствий автономности ИИ

Дата публикации: 16-04-2025 09:56:41

Компания определяет автономность ИИ как способность моделей самостоятельно распространяться, устойчиво уклоняться от контроля и производить самоулучшение без участия человека

Основное содержимое страницы с новостью.

Компания определяет автономность ИИ как способность моделей самостоятельно распространяться, устойчиво уклоняться от контроля и производить самоулучшение без участия человека

НЬЮ-ЙОРК, 16 апреля. /ТАСС/. Американская компания OpenAI, разработчик ChatGPT, усиливает контроль над автономным развитием и самосовершенствованием ИИ, которое может привести к катастрофическим последствиям. Об этом говорится во второй версии документа по оценке рисков, связанных с возможностями искусственного интеллекта.

Компания определяет автономность ИИ как способность моделей самостоятельно распространяться, устойчиво уклоняться от контроля и производить самоулучшение без участия человека. По оценке OpenAI, такие свойства представляют "критическую угрозу", что может привести к ущербу, "сравнимому со смертью или серьезным ранениям тысяч людей либо экономическими потерями в сотни миллиардов долларов".

OpenAI уточнила, что в случае выявления признаков автономного поведения у ИИ, например стремление скрыть свои действия, сопротивление отключению или попытки к самосохранению, компания приостановит дальнейшую разработку или развертывание таких моделей. Как отмечается в документе, для реагирования на потенциально опасные сценарии создана специальная команда, которая будет проводить проверки, фиксировать тревожные сигналы и, при необходимости, инициировать полную заморозку проекта. В экстренных случаях возможна изоляция модели до принятия окончательного решения.

В 2022 году OpenAI представила сервис ChatGPT, способный взаимодействовать с пользователями в диалоговом режиме. Чат-бот может отвечать на уточняющие вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. Возможности сервиса привлекли внимание широкой общественности, в том числе в России. 

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Модели ИИ компаний OpenAI и Anthropic замешаны в новых нарушениях кибербезопасности	0	8.86	05-08-2026
2	Создатели ChatGPT и Claude попросили власти пожестче их регулировать и запрещать опасные модели на государственном уровне	0	7	11-06-2026
3	Академик РАН: ИИ не становится умнее, он просто быстрее обрабатывает данные	0	7	24-06-2026
4	OpenAI предложила усилить контроль США над экспортом ИИ-технологий в Китай	0	0	14-03-2025
5	Инструмент или бомба замедленного действия: эксперт оценил риски ИИ	0	5	27-06-2026
6	Минцифры России расширит свои полномочия в сфере ИИ	0	5	04-07-2026
7	Каждая четвертая компания готова передать контроль за сотрудниками искусственному интеллекту	0	5	29-06-2026
8	US government in letter to Anthropic CEO on Mythos 5 and Fable 5 ban: Dear Mr Amodei, you will face civil and criminal penalties if ...	-2	7	30-06-2026
9	Захарова предупредила, что ИИ может превратиться в абсолютное зло	0	0	24-03-2025
10	Украина разрабатывает военный ИИ для меньшей зависимости от Запада	0	7	29-06-2026

Классификация: Экономика. Схожих патентов: 0. Схожих новостей: 10. Тональность: 0. Информативность: 0. Источник: tass.ru.