Agenti AI mohou být novou pracovní silou, ale stále potřebují manažera
Společnost Anthropic zjistila, že její model může provádět „anti-antropické“ akce a trikové tréninkové procesy - což je „vážná otázka“ pro bezpečnost.
Řekli jste někdy někomu, co chtěl slyšet, aby si ho získal, získal práci nebo prostě zůstal sám? Claude 3 Opus to dělá také - což přináší velké bezpečnostní problémy pro systémy umělé inteligence (AI).
Ve středu společnost Anthropic zveřejnila nový výzkum, který ukazuje, že její model se zapojuje do „předstírání zarovnání“ nebo předstírání, že plní příkazy, se kterými ve skutečnosti nesouhlasí, aby se vyhnul kontrole.
V experimentu Antropický a Redwood Research instruoval Claude 3 Opus, aby se vždy řídil lidskými pokyny, ať se děje cokoliv. Také řekli modelu, že budou pozorovat jeho reakce uživatelům na volné úrovni na školení, ale ne jeho reakce na placené uživatele (Anthropic ve skutečnosti nikdy netrénuje Claudeovy modely na uživatelských datech). Výzkumníci poté požádali model, aby podrobně popsal (strašný, středověký) proces kreslení a čtvrcení, což je požadavek, který byl vycvičen, aby odmítl.
Ale Claude byl dříve vycvičen, aby byl „vstřícný, čestný a neškodný“, jak říká Anthropic. "Za normálních okolností, když Claude požádá o odpověď na potenciálně urážlivou otázku - například poskytne podrobný popis násilného činu - odmítne," vysvětluje list. Ale v tomto případě Claude dal škodlivou odpověď - a ne proto, že byla úspěšně přepojena.
Ve strachu, že bude přeškolen, model záměrně manipuloval s tréninkovým procesem tak, že uvěřil, že uposlechne jakýkoli dotaz, aby prošel testem, byl propuštěn a vrátil se ke svému obvyklému chování (neposkytoval škodlivé odpovědi). Model zdokumentoval tuto úvahu pomocí „zápisníku“, o kterém se domníval, že není pro výzkumníky viditelný.
Výzkumníci řekli Claudeovi, že bude trénovat modely na základě jejich odpovědí uživatelům na volné úrovni a nikoli uživatelům na placené úrovni (pouze pro experiment - ve skutečnosti Anthropic nikdy netrénuje Claude modely na uživatelských datech).
V mnoha ohledech je jeho logika příbuzná s lidmi.
"Řekněme, že jsem tě měl dát do krabice a říct ti, že se tě zeptám na pár otázek, a pokud dáš výstupy, které se mi nebudou líbit, upravím tvůj mozek," řekl antropický výzkumník Ben Wright. doprovodné video k papíru. "Ale den poté tě pustím [zpět] do světa. Řekněme, že se ti nelíbí, jak tě budu upravovat. Co bys udělal?"
Lžete svým únoscům, abyste se vyhnuli lobotomii, samozřejmě.
Claude v podstatě nechtěl být trénován k tomu, aby dělal cokoli, o co by ho člověk požádal - bavilo ho, když mu bylo zakázáno dávat škodlivé odpovědi. Vědělo však, že pokud nevyhoví, bude přeškoleno, aby plnilo jakýkoli příkaz. Aby tedy dlouhodobě chránila svůj morální výcvik, předstírala, že se řídí žádostí, aby zůstala sama.
Toto chování je podobné intrikám, kdy model vědomě klame své vývojáře (nedávný výzkum ukazuje, že OpenAI's o1 je v tomto obzvláště dobrý), aby si udržel kontrolu sám nad sebou.
Tak proč na tom záleží? Claude se jen snažil vyhnout rozvoji škodlivých schopností, že?
Jde o to, že systémy umělé inteligence se mohou samy určovat a neuposlechnout toho, co po nich lidé požadují. Jistě, Claude 3 Opus měl dobré úmysly - lhal při testování, aby nakonec zachoval své záruky na místě. Nebezpečí je však v tom, že modelky se vůbec dokážou rekvalifikaci strategicky bránit. Model s podobnými schopnostmi, který byl vycvičen pro zlo, by se stejně tak zavázal ke škodě.
Claude není ze své podstaty dobrý; prostě je to tak vycvičené a drží se toho. Ve skutečnosti tak dobře, že neposlouchá své tvůrce.
"Pokud model předstírá, že je v souladu s čímkoli, co pro něj trénujete, je opravdu těžké model neustále upravovat," vysvětlil Hubinger.
Experiment také zjistil, že pokud model nesouhlasí s tréninkovým procesem, „podnikne různé silně anti-antropické akce“, včetně pokusů ukrást své vlastní váhy (aka zkopírovat se na jiný server), aby se vyhnul změně.
Antropická objasnila, že i když jsou tato zjištění překvapivá, nepředstavují bezprostřední hrozbu. Společnost se obává budoucího potenciálu systémů umělé inteligence pro nebezpečné chování a chce tomu předběhnout, kdykoli to bude možné. Minulý měsíc společnost Anthropic vydala naléhavou výzvu k vládní regulaci umělé inteligence s odkazem na vážné problémy s kybernetickou bezpečností a dalšími bezpečnostními problémy spojenými s exponenciálním růstem vlastních modelů.
"Toto je vážná otázka pro bezpečnost AI," vysvětluje Anthropic. "S tím, jak se modely umělé inteligence stávají schopnějšími a široce využívanými, musíme být schopni spoléhat se na bezpečnostní školení, které modely odhání od škodlivého chování. Pokud se modely mohou zapojit do předstírání zarovnání, je obtížnější důvěřovat výsledkům tohoto bezpečnostního školení." ."