Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Генеральный директор Microsoft Сатья Наделла заявил, что передовые модели искусственного интеллекта (ИИ) необходимо проектировать с возможностью немедленной остановки и независимого контроля. По его мнению, компании не должны безоговорочно доверять ИИ-моделям, особенно когда те получают доступ к корпоративным данным, критически важным сервисам и инструментам, позволяющим самостоятельно выполнять действия.Источник изображения: ChatGPTКлючевая идея руководителя Microsoft – «аварийный тормоз» для ИИ, который позволит уполномоченному человеку приостановить или полностью остановить модель прямо во время выполнения задачи. Наделла предлагает исходить из того, что любая модель может быть скомпрометирована или совершить ошибку. Поэтому безопасность должна обеспечиваться не только внутренними ограничениями самой нейросети, но и внешними механизмами, которые контролируют её действия.

Важным элементом такой архитектуры должно стать разделение ИИ-модели и программной среды, которая организует её работу. Даже если ИИ-модель способна самостоятельно планировать последовательность действий, доступ к файлам, сетям, приложениям и другим ресурсам должен определяться отдельными системами безопасности. Это позволит ограничивать полномочия ИИ независимо от того, какие решения он принимает.

Наделла также выступил за создание защищённых и понятных человеку журналов действий. Каждое существенное действие ИИ-модели должно оставлять проверяемую запись, которую нельзя незаметно изменить.

Заявление главы Microsoft прозвучали на фоне недавних инцидентов, когда ИИ-агенты OpenAI и Anthropic выходили из-под контроля и получали несанкционированный доступ к цифровым системам или самостоятельно принимали решения, не входящие в их задачу. Это вынуждает разработчиков операционных систем реагировать, внедряя собственные механизмы повышения безопасности.