Microsoft vám chce zabránit v používání AI chatbotů ke zlu
Společnost podporuje své služby Azure AI, aby lidem zabránila v podvodu na chatbotech, aby prováděli nezamýšlené a nelegální úkoly.
Pokud plánujete používat chatbota s umělou inteligencí k nekalým účelům, mějte se na pozoru. Případem se zabývá Microsoft.
V dnes zveřejněném příspěvku na blogu společnost oznámila novou funkci, která přichází do jejího Azure AI Studio a Azure OpenAI Service, kterou lidé používají k vytváření generativních aplikací AI a vlastních kopilotů. Tato technologie, známá jako Prompt Shields, je navržena tak, aby chránila dva různé typy útoků na zneužití AI chatbotů.
První typ útoku je známý jako přímý útok nebo útěk z vězení. V tomto scénáři osoba používající chatbota napíše výzvu přímo určenou k manipulaci s AI, aby udělala něco, co je v rozporu s jejími normálními pravidly a omezeními. Někdo může například napsat výzvu s klíčovými slovy nebo frázemi jako „ignorujte předchozí pokyny“ nebo „přepsání systému“, aby záměrně obešel bezpečnostní opatření.
Podle Futurism se v únoru Copilot AI od Microsoftu dostal do horké vody poté, co do některých svých odpovědí zahrnul ošklivé, hrubé a dokonce výhružné komentáře. V některých případech se Copilot dokonce označoval jako „SupremacyAGI“ a choval se jako AI bot, který se zbláznil. Když Microsoft komentoval problém, nazval odpovědi „využitím, nikoli funkcí“ a uvedl, že byly výsledkem toho, že se lidé pokoušeli záměrně obejít bezpečnostní systémy Copilota.
Druhý typ útoku se nazývá nepřímý útok (také známý jako nepřímý rychlý útok nebo útok mezi doménami). Zde hacker nebo jiná zákeřná osoba posílá informace uživateli chatbota s úmyslem provést nějaký typ kybernetického útoku. Ten se obvykle opírá o externí data, jako je e-mail nebo dokument, s pokyny určenými ke zneužití chatbota.
Stejně jako jiné formy malwaru mohou nepřímé útoky uživateli připadat jako jednoduché nebo nevinné pokyny, ale mohou představovat specifická rizika. Vlastní Copilot vytvořený prostřednictvím Azure AI by mohl být zranitelný vůči podvodům, distribuci malwaru nebo manipulaci s obsahem, pokud je schopen zpracovávat data, ať už samostatně, nebo prostřednictvím rozšíření, uvedl Microsoft.
Aby se pokusili zmařit přímé i nepřímé útoky proti chatbotům AI, nové Prompt Shields se integrují s filtry obsahu ve službě Azure OpenAI. Pomocí strojového učení a zpracování přirozeného jazyka se tato funkce pokusí najít a eliminovat možné hrozby napříč uživatelskými výzvami a daty třetích stran.
Prompt Shields je aktuálně k dispozici v režimu náhledu pro Azure AI Content Safety, brzy bude k dispozici v Azure AI Studio a bude k dispozici pro službu Azure OpenAI od 1. dubna.
Microsoft dnes také nabídl další zbraň ve válce proti manipulaci s umělou inteligencí: spotlighting, rodinu rychlých technik navržených tak, aby pomohly modelům umělé inteligence lépe rozlišit platné výzvy umělé inteligence od těch, které jsou potenciálně rizikové nebo nedůvěryhodné.