Červený tým Microsoftu monitoruje AI od roku 2018. Zde je pět velkých postřehů

Microsoft přijímá opatření k zajištění bezpečnosti AI ve svých modelech a chce jít ostatním příkladem.

V posledních šesti měsících byly více než kdy jindy zdůrazňovány pozitivní dopady umělé inteligence, ale také rizika.

Umělá inteligence ve své nejlepší podobě umožnila lidem plnit každodenní úkoly s větší lehkostí a dokonce vytvořit průlomové objevy v různých odvětvích, které mohou způsobit revoluci v tom, jak se práce dělá.

V nejhorším případě však umělá inteligence může produkovat dezinformace, generovat škodlivý nebo diskriminační obsah a představovat rizika pro bezpečnost a soukromí. Z tohoto důvodu je kriticky důležité provést přesné testování předtím, než budou modely zveřejněny, a Microsoft to dělá již pět let.

Také: Microsoft rozšiřuje Bing AI do více prohlížečů - má to ale háček

Než začal boom ChatGPT, umělá inteligence byla působivou a nově vznikající technologií, a proto Microsoft v roce 2018 sestavil červený tým AI.

Červený tým umělé inteligence se skládá z mezioborových odborníků, kteří se věnují zkoumání rizik modelů umělé inteligence „myšlením jako útočníci“ a „zkoumáním selhání systémů umělé inteligence,“ uvádí Microsoft.

Téměř pět let po svém uvedení na trh společnost Microsoft sdílí své červené týmové postupy a poznatky, aby šla příkladem pro implementaci odpovědné umělé inteligence. Podle společnosti je nezbytné testovat modely AI jak na úrovni základního modelu, tak na úrovni aplikace. Například pro Bing Chat Microsoft monitoroval AI jak na úrovni GPT-4, tak i skutečné vyhledávání založené na GPT-4.

„Obě úrovně přinášejí své výhody: například červené seskupení modelu pomáhá v rané fázi procesu identifikovat, jak lze modely zneužít, určit rozsah možností modelu a porozumět omezením modelu,“ říká Microsoft.

Společnost sdílí pět klíčových poznatků o AI red teamingu, které společnost nasbírala ze svých pěti let zkušeností.

Prvním je rozpínavost AI red teamingu. Namísto pouhého testování bezpečnosti je AI red teaming deštníkem technik, které testují faktory, jako je spravedlnost a generování škodlivého obsahu.

Druhým je potřeba zaměřit se na selhání jak ze strany zlomyslných, tak benigních osob. Ačkoli se red teaming obvykle zaměřuje na to, jak by tuto technologii využil zlovolný aktér, je také nezbytné otestovat, jak by mohla generovat škodlivý obsah pro průměrného uživatele.

„V novém Bingu se redakční tým AI nezaměřoval pouze na to, jak může škodlivý protivník rozvrátit systém AI pomocí technik a exploitů zaměřených na bezpečnost, ale také na to, jak může systém generovat problematický a škodlivý obsah, když se systémem komunikují běžní uživatelé,“ říká Microsoft.

Třetím poznatkem je, že systémy umělé inteligence se neustále vyvíjejí a v důsledku toho je nutné červené týmové spojení těchto systémů umělé inteligence na několika různých úrovních, což vede ke čtvrtému poznatku: generativní systémy umělé umělé inteligence red-teaming vyžadují více pokusů.

Také: ChatGPT tento týden dostává spoustu aktualizací. Zde je to, co potřebujete vědět

Pokaždé, když interagujete s generativním systémem umělé inteligence, pravděpodobně získáte jiný výstup; Microsoft proto zjišťuje, že je třeba provést několik pokusů o červený tým, aby se zajistilo, že selhání systému nebude přehlédnuto.

A konečně, Microsoft říká, že zmírnění selhání AI vyžaduje hloubkovou obranu, což znamená, že jakmile červený tým identifikuje problém, bude k vyřešení problému vyžadovat řadu technických zmírnění.

Opatření, jako jsou ta, která zavedl Microsoft, by měla pomoci zmírnit obavy z nově vznikajících systémů umělé inteligence a zároveň pomoci zmírnit rizika spojená s těmito systémy.