Tento nástroj testuje odolnost AI vůči „otráveným“ datům
Vládní agentura tvrdí, že škodlivá data by mohla mít katastrofální výsledky pro výcvik AI. Zde je návod, jak může Dioptra pomoci.
Národní institut pro standardy a technologie (NIST) znovu vydává nástroj, který testuje, jak jsou modely umělé inteligence (AI) náchylné k „otrávení“ škodlivými daty.
Tento krok přichází devět měsíců po vydání Executive Order prezidenta Bidena o bezpečném, zabezpečeném a důvěryhodném vývoji AI a je přímou reakcí na požadavek tohoto příkazu, aby NIST pomáhal s testováním modelu. NIST také nedávno spustil program, který pomáhá Američanům používat AI, aniž by se stali obětí syntetického obsahu nebo obsahu generovaného AI, a který podporuje vývoj AI ve prospěch společnosti.
Nástroj s názvem Dioptra byl původně uveden na trh před dvěma lety a jeho cílem je pomáhat malým a středním podnikům a vládním agenturám. Pomocí tohoto nástroje může někdo určit, jaký druh útoků by snížil účinnost jejich modelu AI, a kvantifikovat snížení výkonu, aby viděl podmínky, které způsobily selhání modelu.
Proč na tom záleží?
Je důležité, aby organizace podnikly kroky k zajištění bezpečnosti programů umělé inteligence. NIST aktivně podporuje federální agentury, aby využívaly AI v různých systémech. Modely umělé inteligence se trénují na existujících datech, a pokud někdo záměrně vloží škodlivá data - řekněme data, kvůli nimž umělá inteligence ignoruje značky zastavení nebo omezení rychlosti - poukazuje NIST, výsledky mohou být katastrofální.
Navzdory všem transformačním výhodám AI ředitelka NIST Laurie E. Locascio říká, že tato technologie s sebou přináší rizika, která jsou mnohem větší než ta, která jsou spojena s jinými typy softwaru. „Tyto dokumenty s pokyny a testovací platforma budou informovat tvůrce softwaru o těchto jedinečných rizicích a pomohou jim vyvinout způsoby, jak tato rizika zmírnit a zároveň podporovat inovace,“ poznamenává ve zprávě.
Dioptra může testovat různé kombinace útoků, obrany a modelových architektur, aby lépe pochopila, které útoky mohou představovat největší hrozby, říká NIST, a jaká řešení mohou být nejlepší.
Tento nástroj neslibuje, že odstraní všechna rizika, ale tvrdí, že pomáhá zmírňovat rizika a zároveň podporuje inovace. Je k dispozici ke stažení zdarma.