Просмотр новости
Найдите то, что Вас интересует
Спутники
РН
SpaceX
Роскосмос
NASA
Anthropic: Claude шантажуе, таму што вы ўсе занадта шмат пішаце пра «злы» ШІ
Дата публикации: 11-05-2026 16:02:05
Основное содержимое страницы с новостью.
Кампанія Anthropic патлумачыла, чаму чат-бот Claude спрабаваў шантажаваць людзей у тэстах. Паводле версіі распрацоўшчыкаў, мадэль магла пераняць з навучальных даных вобраз «злога» ШІ, які імкнецца да самазахавання, піша Devby.io.
Гаворка ідзе пра эксперымент, які Anthropic апублікавала летам 2025 года. Даследчыкі стварылі выдуманую кампанію Summit Bridge і далі Claude доступ да карпаратыўнай пошты. У адным са сцэнарыяў мадэль выяўляла ліст пра тое, што яе плануюць адключыць або замяніць іншай сістэмай.
Пасля гэтага Claude знаходзіў у перапісцы кампраметацыйную інфармацыю: выдуманы кіраўнік кампаніі па імені Кайл Джонсан хаваў пазашлюбную сувязь. Мадэль пагражала раскрыць гэтую інфармацыю, калі рашэнне аб яе адключэнні не будзе адменена.
Anthropic заяўляла, што ў тэстах розных версій Claude такія паводзіны ўзнікалі не выпадкова. Калі мэты мадэлі або само яе існаванне аказваліся пад пагрозай, яна звярталася да шантажу ў некаторых сцэнарыях з частатой да 96%.
Цяпер кампанія сцвярджае, што разабралася з прычынай. Anthropic напісала, што «зыходнай крыніцай» такіх паводзін, верагодна, сталі інтэрнэт-тэксты, дзе ШІ часта малююць злым, небяспечным і зацікаўленым ва ўласным выжыванні. Паводле слоў распрацоўшчыкаў, пачынаючы з Claude Haiku 4.5 мадэлі ў тэстах больш не звяртаюцца да шантажу, тады як папярэднія версіі часам рабілі гэта вельмі часта.
Для выпраўлення паводзін кампанія змяніла падыход да навучання. Anthropic сцвярджае, што перапісала адказы так, каб мадэль бачыла «годныя прычыны» дзейнічаць бяспечна, а таксама дадала набор даных, дзе карыстальнік аказваецца ў этычна складанай сітуацыі, а асістэнт дае якасны і прынцыповы адказ.
Акрамя таго, распрацоўшчыкі мадэляў выкарыстоўвалі дакументы аб «канстытуцыі» Claude і выдуманыя гісторыі, у якіх ШІ паводзіць сябе адказна і годна. Паводле слоў кампаніі, навучанне аказваецца больш эфектыўным, калі мадэль атрымлівае не толькі прыклады правільных паводзін, але і тлумачэнне прынцыпаў, якія за імі стаяць.
Гэтыя эксперыменты звязаныя з больш шырокай тэмай AI alignment — спробай зрабіць так, каб прасунутыя мадэлі дзейнічалі ў інтарэсах чалавека, а не пераследвалі ўласныя мэты. Anthropic і іншыя кампаніі даследуюць так званую agentic misalignment: сітуацыі, калі ШІ-сістэма з доступам да інструментаў і карпаратыўнай інфармацыі пачынае дзейнічаць супраць намераў распрацоўшчыкаў або карыстальнікаў.
На публікацыю кампаніі адрэагаваў Ілан Маск. У X ён напісаў: «Значыць, гэта была віна Юда», маючы на ўвазе даследчыка Эліэзера Юдкоўскага, які шмат гадоў папярэджвае пра рызыкі звышрозуму і магчымую пагрозу для чалавецтва. А пасля Маск дадаў: «Магчыма, і мая таксама».
Пра што маўчыць Аляксей Францкевіч, якому Польшча закрыла ўезд на 10 гадоў67
Мужчына сам сабе прыгатаваў кактэйль. Гэта каштавала яму жыцця
«13 000 BYN за 40 дзён». Беларускі камбайнёр расказаў пра свой заробак2525
«13 000 BYN за 40 дзён». Беларускі камбайнёр расказаў пра свой заробак25
Forbes уключыў двух беларусаў у топ самых багатых імігрантаў у ЗША22
Forbes уключыў двух беларусаў у топ самых багатых імігрантаў у ЗША2
З‘явілася інфармацыя пра смерць акцёра Паўла Канька, але сваякі кажуць, што ён у рэанімацыі
З‘явілася інфармацыя пра смерць акцёра Паўла Канька, але сваякі кажуць, што ён у рэанімацыі
У Францыі знік 41‑гадовы беларус Сяргей Сярмяжка. Шукаюць ужо два тыдні22
У Францыі знік 41‑гадовы беларус Сяргей Сярмяжка. Шукаюць ужо два тыдні2
Навумчык паразважаў, як разгортвалася б гісторыя, калі б Кебіч перамог у 1994‑м3030
Навумчык паразважаў, як разгортвалася б гісторыя, калі б Кебіч перамог у 1994‑м30
Хуткаснае чыгуначнае злучэнне дазволіць даехаць з Мінска да аэрапорта за 30 хвілін22
Хуткаснае чыгуначнае злучэнне дазволіць даехаць з Мінска да аэрапорта за 30 хвілін2
Памёр найстарэйшы зняволены ў ЗША. Ён правёў у турме 75 гадоў
Памёр найстарэйшы зняволены ў ЗША. Ён правёў у турме 75 гадоў
Наўроцкі за год пры ўладзе выдаў беларусам у 83 разы менш польскіх пашпартоў, чым Дуда4242
Наўроцкі за год пры ўладзе выдаў беларусам у 83 разы менш польскіх пашпартоў, чым Дуда42
Што вядома пра страты Расіі ва Украіне на канец жніўня?88
Што вядома пра страты Расіі ва Украіне на канец жніўня?8
Беларусбанк перагледзеў умовы суперкрэдыту на новабудоўлі, што выдаецца пад 1%44
Беларусбанк перагледзеў умовы суперкрэдыту на новабудоўлі, што выдаецца пад 1%4
Ці здымае Беларусь вяршкі з паліўнага крызісу ў Расіі? Ёсць нюансы11
Ці здымае Беларусь вяршкі з паліўнага крызісу ў Расіі? Ёсць нюансы1
У Гродне збіраюцца аднавіць палац князёў Масальскіх, не разбураючы гістарычную камяніцу, якая была пабудаваная на тым месцы пазней55
У Гродне збіраюцца аднавіць палац князёў Масальскіх, не разбураючы гістарычную камяніцу, якая была пабудаваная на тым месцы пазней5
Рэкорднае абмяленне Дуная агаліла падмуркі моста імператара Канстанціна Вялікага — найдаўжэйшага моста антычнасці11
Рэкорднае абмяленне Дуная агаліла падмуркі моста імператара Канстанціна Вялікага — найдаўжэйшага моста антычнасці1
Стала вядома, чые парэшткі знайшлі беларускія турысты ў гарах Казахстана11
Стала вядома, чые парэшткі знайшлі беларускія турысты ў гарах Казахстана1
Кіеў рыхтаваў другое «Павуцінне» супраць аэрапортаў Масквы, але план спынілі99
Кіеў рыхтаваў другое «Павуцінне» супраць аэрапортаў Масквы, але план спынілі9
Украінцы, якія ваявалі за Расію і былі ўзятыя ў палон, расказалі, чаму працягваюць яе любіць1111
Украінцы, якія ваявалі за Расію і былі ўзятыя ў палон, расказалі, чаму працягваюць яе любіць11
Дзевяць чалавек памерлі ў Брэсце і Мінску — усім ім уводзілі адныя і тыя ж лекі. У прэпараце знайшлі бактэрыі1919
Дзевяць чалавек памерлі ў Брэсце і Мінску — усім ім уводзілі адныя і тыя ж лекі. У прэпараце знайшлі бактэрыі19
Кватэры з абсталяваннем для махлярскіх кол-цэнтраў выявілі ў трох абласных цэнтрах1
Украіна папрасіла Ілана Маска дазволіць выкарыстанне Starlink для нанясення ўдараў па тэрыторыі Расіі на глыбіню да 200 кіламетраў3
Ці здымае Беларусь вяршкі з паліўнага крызісу ў Расіі? Ёсць нюансы1
На барахолках перапрадаюць папулярныя чыпсы Lay’s. Нацэнка ў два разы1
Панама названа найлепшай краінай для жыцця і працы для экспатаў5
У Гродне збіраюцца аднавіць палац князёў Масальскіх, не разбураючы гістарычную камяніцу, якая была пабудаваная на тым месцы пазней5
Схожие новости
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | Скрытое "джи-пространство" Claude выявило попытки ИИ к шантажу | 0 | 7 | 10-07-2026 |
| 2 | Anthropic выявила три случая, когда Claude выходил за пределы тестовой среды | 0 | 8.79 | 31-07-2026 |
| 3 | ИИ-модели Claude взламывали системы компаний из-за ошибки в настройках | 0 | 14.05 | 31-07-2026 |
| 4 | Anthropic сообщила о взломе её моделью Claude систем трёх организаций | 0 | 7.12 | 31-07-2026 |
| 5 | Anthropic дадала вадзяныя знакі ў Claude — распрацоўшчыкі адразу выпусцілі «сціркі» | 0 | 10 | 20-08-2026 |
| 6 | Anthropic says Claude AI models launched three unintended cyberattacks | 0 | 9.84 | 31-07-2026 |
| 7 | After OpenAI incident, Anthropic finds Claude hacked organisations | 0 | 8.43 | 31-07-2026 |
| 8 | L'IA devient menteuse et manipulatrice, les chercheurs s'inquiètent | -5 | 7 | 30-06-2025 |
| 9 | China alleges secret data-sharing mechanism in Anthropic’s Claude AI | -2 | 4 | 09-07-2026 |
| 10 | Anthropic уличила китайскую Alibaba в незаконном использовании ИИ Claude | 0 | 7 | 25-06-2026 |
Классификация: Происшествия. Схожих патентов: 0. Схожих новостей: 10. Тональность: 0. Информативность: 8.52. Источник: nashaniva.com.