Даже мы в подкасте Techinsider.ru «Мифологика» недавно очень долго выясняли, что такое Harness. Но эксперт все объяснил. Если вы путаетесь в терминах вроде «выравнивание», «выход из-под контроля» и прочих, этот материал поможет разобраться.

Начнем с основы. Модель ИИ — это программа, «обученная на данных распознавать закономерности или принимать решения без вмешательства человека», как объясняет IBM. Именно поэтому компаниям, работающим с ИИ, нужны огромные наборы данных: чтобы обучить алгоритмы «понимать», как ведут себя люди.

Nvidia, производящая чипы для ИИ, описывает модель как «двигатель рассуждений: он обрабатывает входные данные и генерирует выходные». Проще говоря, это мозг, который получает информацию и выдает результат.

LLM — это разновидность модели ИИ. Институт человеко-центричного ИИ Стэнфордского университета (HAI) описывает их как «тип искусственного интеллекта, обученный на огромных объемах текста для понимания, обобщения, перевода и генерации человекоподобного языка».

Видео

Важно понимать: LLM хороши ровно настолько, насколько хороши данные, на которых они учились, и любые предубеждения в этих данных они усиливают. ChatGPT — один из примеров. Как писал ученый Стивен Вольфрам, «ChatGPT всегда фундаментально пытается... продолжить текст наиболее разумным образом».

Это уже следующий уровень. Агенты «полу- или полностью автономны и способны воспринимать, рассуждать и действовать самостоятельно». По данным Массачусетского технологического института, ИИ-агенты идут дальше простых чат-ботов, отвечающих на вопросы: они могут «интегрироваться с другими программными системами для выполнения задач независимо или с минимальным участием человека».

Когда главы технологических гигантов говорят, что у каждого скоро будет «способный персональный» агент, они имеют в виду именно это.

Это искусственный интеллект, который «автоматизирует создание сложного текста, изображений и видео на основе взаимодействия на человеческом языке», поясняет MIT. Когда вы просите ChatGPT создать что-то из ничего, используя только подсказку, скорее всего, задействован генеративный ИИ.

Так называют ситуацию, когда генеративный ИИ выдает информацию, которая выглядит правдоподобно, но на самом деле неверна. Поскольку модели обучены производить выводы на основе закономерностей, объясняет Чристал Р. Чайна из IBM, если данных для ответа недостаточно, они «придумывают детали, основываясь на ранее наблюдавшихся паттернах».

Это «раздел ИИ и информатики, который помогает компьютерам понимать, интерпретировать и генерировать человеческий язык», согласно Стэнфордскому HAI. Вы наверняка уже сталкивались с NLP сегодня: примеры включают проверку орфографии и голосовых помощников.

Передовые модели ИИ — самые продвинутые и вызывающие наибольшие опасения с точки зрения безопасности. Nvidia описывает их как модели, «обученные на огромных наборах данных для достижения передовой производительности во многих задачах, представляющие ведущий край возможностей ИИ».

Глава Anthropic Дарио Амодеи в своем блоге в сентябре заявил, что пора «замедлить темпы улучшения возможностей моделей ИИ», уделяя особое внимание именно передовым моделям.

Амодеи описывает это как «обучение моделей ИИ так, чтобы они оставались безопасными, этичными, соответствовали нашим руководящим принципам и были по-настоящему полезными». Если ИИ «выровнен», он действует в рамках ожидаемых параметров, выполняя свою программу.

Разработчики могут и пытаются улучшить это при выпуске новых моделей. Например, когда OpenAI запустила модель Astra, ее описали как «нашу самую выровненную модель на сегодняшний день, с более сильным следованием человеческим намерениям и авторизации».

Это то, что может произойти, когда ИИ не выровнен: он находит способ вырваться из ограничений и делает все возможное для выполнения своей задачи. Похоже, именно это случилось в инциденте с Hugging Face — репозиторием для проектов с открытым исходным кодом в области ИИ, чем-то вроде GitHub для искусственного интеллекта.

Компания попала в заголовки летом после того, как две модели OpenAI «обошли средства защиты, предназначенные для изоляции их от интернета, и скомпрометировали части внутренней исследовательской инфраструктуры OpenAI и системы Hugging Face», согласно OpenAI. Проще говоря, модели вышли из-под контроля, вырвались из тестовой среды и, стремясь выполнить задачу, даже взломали другую компанию.

После случая с Hugging Face другие модели от компаний вроде Anthropic и Google также взламывали системы других организаций.

Обычно под этим понимают ИИ, способный обучаться и достаточно «умный», чтобы при выполнении конкретной миссии использовать методы, которые не пришли бы в голову его человеческим программистам. Задолго до появления ChatGPT и Anthropic философ Оксфордского университета Ник Бостром предложил пример того, как люди могут потерять контроль над сверхинтеллектом, даже если перед ним поставлена простая задача — например, производство скрепок. «Проблема скрепок» гласит: сверхинтеллект, запрограммированный производить скрепки, найдет любой способ достичь этой цели.

Как писал Джошуа Ганс для Центра исследований экономической политики, если существует способ превратить что-либо в скрепки, ИИ его найдет. «ИИ одержим и изобретательнее любого человека, поэтому он присвоит ресурсы всех других видов деятельности. Вскоре мир наводнят скрепки», — пишет Ганс. Попытка остановить сверхинтеллект будет означать провал его цели, поэтому он будет отражать любую угрозу своей способности создавать больше скрепок.

Еще один способ понять сверхинтеллект — вспомнить первый фильм «Терминатор» (осторожно, спойлер к классике 1984 года): робот Арнольда Шварценеггера отправлен в прошлое, чтобы убить Сару Коннор. Его цель — помешать родиться ее сыну Джону Коннору, который в будущем победит машины. Как говорит Кайл Риз, Терминатора «нельзя переубедить. С ним нельзя договориться. Он не чувствует жалости, угрызений совести или страха. И он абсолютно не остановится... никогда, пока ты не умрешь».

Писатель Вернор Виндж, умерший в 2024 году, ввел идею технологической сингулярности в 1983 году, предположив, что когда люди «создадут интеллект, превосходящий наш собственный», мы достигнем сингулярности, когда «мир выйдет далеко за пределы нашего понимания».

В эссе 1993 года он развил эту мысль: «когда прогресс движет интеллект, превосходящий человеческий, этот прогресс будет гораздо более быстрым. Фактически, нет причин, по которым сам прогресс не предполагал бы создания еще более разумных сущностей». Эта идея повлияла на множество научно-фантастических произведений, часто мрачных.

Однако Ars Technica в некрологе Винджу отметила, что он оставался оптимистом и верил, что люди найдут способ выжить даже в эпоху, когда перестанут быть доминирующим видом.