Antropická vlajka potenciálu AI „automatizovat sofistikované destruktivní kybernetické útoky“
Výrobce Claude LLMs reviduje své bezpečnostní pokyny, aby zvládl narůstající rizika.
Společnost Anthropic, výrobce velkých jazykových modelů z rodiny Claude, tento týden aktualizovala svou politiku bezpečnostních kontrol nad svým softwarem, aby odrážela to, co říká, že je potenciál pro zlomyslné aktéry využít modely AI k automatizaci kybernetických útoků.
Dokument PDF, který podrobně popisuje „politiku odpovědného škálování“ společnosti, nastiňuje několik procedurálních změn, které jsou podle něj nutné ke sledování přetrvávajících rizik zneužití modelů umělé inteligence. To zahrnuje několik úrovní eskalujících rizik, známých jako AI Safety Level Standards (ASL) definované jako „technické a provozní záruky“.
V rámci „rutinního testování“ modelů umělé inteligence pro bezpečnost - známého jako „hodnocení schopností“ - společnost Antropic uvádí, že odhalila schopnost, která „vyžaduje důkladné prošetření a může vyžadovat silnější záruky“.
Tato schopnost je popisována jako hrozba v rámci kybernetických operací: „Schopnost významně zlepšit nebo automatizovat sofistikované destruktivní kybernetické útoky, včetně, ale bez omezení na objevování nových zero-day exploit řetězců, vývoje komplexního malwaru nebo organizování rozsáhlé, těžko odhalitelné sítě. narušení."
Zpráva popisuje opatření, která budou přijata k průběžnému prošetření této záležitosti:
"To bude zahrnovat spolupráci s odborníky na kybernetické operace za účelem posouzení potenciálu hraničních modelů pro posílení a zmírnění kybernetických hrozeb a zvážení implementace stupňovitých řízení přístupu nebo postupného zavádění modelů s pokročilými kybernetickými schopnostmi. Provedeme buď předběžné, nebo testování po nasazení, včetně specializovaných hodnocení, zdokumentujeme všechny významné výsledky spolu s našimi zprávami o schopnostech."
V současné době musí všechny modely AI společnosti Anthropic splňovat požadavky ASL „úrovně 2“. Tato úroveň „vyžaduje bezpečnostní systém, který může pravděpodobně zmařit většinu oportunistických útočníků, a zahrnuje bezpečnostní kontroly dodavatelů a dodavatelů, opatření fyzického zabezpečení a použití zásad zabezpečení od návrhu,“ uvádí zpráva.
Aktualizované zásady lze považovat za součást snahy společností Antropic i OpenAI dobrovolně slíbit omezení umělé inteligence uprostřed probíhající debaty o tom, co by se mělo či nemělo udělat pro regulaci technologií AI. V srpnu společnost a OpenAI dosáhly dohody s americkým institutem pro bezpečnost umělé inteligence při Národním institutu pro standardy a technologie (NIST) Ministerstva obchodu USA o spolupráci na výzkumu, testování a hodnocení AI.
Myšlenka automatizace kybernetických útoků pomocí umělé inteligence je v oběhu již nějakou dobu. Prodejce firewallu Check Point Software Technologies loni varoval, že státní aktéři z Ruska se pokoušejí kompromitovat ChatGPT OpenAI, aby zautomatizovali phishingové útoky.
Prodejce koncového bezpečnostního softwaru CrowdStrike letos v létě oznámil, že generativní umělá inteligence je zranitelná vůči velkému množství speciálně vytvořených výzev, které mohou prolomit zábradlí programů.