Dokážete odlišit lidi od AI robotů? Online hra „Člověk nebo ne“ odhaluje výsledky

Více než 30 % lidí, kteří hráli online testovací hru Turing, nedokázalo rozpoznat rozdíl mezi člověkem a umělou inteligencí.

Turingův test, pojmenovaný po počítačovém vědci Alanu Turingovi, se snaží zjistit, zda se stroj může chovat jako lidská bytost natolik dobře, že oklame osobu, která se testu účastní. Online hra s názvem Human or Not nabídla lidem podobnou výzvu a nyní jsou výsledky.

Human or Not, který byl spuštěn asi před měsícem, vás požádal, abyste si s někým (nebo něčím) povídali dvě minuty a pak se pokusili zjistit, zda to byl jiný člověk nebo robot s umělou inteligencí. Při přijetí výzvy jste mohli klást jakékoli otázky nebo nabízet jakékoli odpovědi, které jste chtěli. Ale jakmile uplynuly dvě minuty, museli jste uhodnout, kdo nebo co bylo na druhém konci.

Po vygenerování milionů konverzací v jednom z největších Turingových testů, které kdy byly zaznamenány, vývojáři AI21 Labs zjistili, že 32 % lidí, kteří hru vyzkoušeli, nebylo schopno rozeznat rozdíl mezi člověkem a robotem, takže 68 % uspělo.

Celkově bylo pro lidi snazší pokusit se identifikovat jinou osobu. Při chatování s lidskou bytostí dostali účastníci správnou odpověď v 73 % případů. Ale když mluvili s robotem, uhodli správně jen 60 % času.

V 17 různých zemích dosáhla Francie nejvyššího procenta správných odhadů 71 %, zatímco Indie měla nejnižší skóre 63,5 %. Spojené státy se dostaly do středu balíčku s 67 %, zatímco Spojené království dosáhlo 67,5 %, Itálie 67 % a Rusko 66 %.

Společnost Human or Not použila ke zpochybnění svých uživatelů robota AI založeného na špičkových velkých jazykových modelech (LLM), jako je GPT-4 a Jurassic-2 od AI21 Labs. Takové LLM se spoléhají na hluboké učení, které pomáhá chatbotům a dalším nástrojům umělé inteligence generovat text podobný lidem. Kromě použití těchto modelů vyvinul AI21 rámec, který by v každé hře vytvořil jinou postavu robota.

Účastníci se obrátili na několik triků, aby se pokusili odlišit člověka od robota. Ale s dobře vycvičenou a dobře informovanou AI tyto triky ne vždy fungovaly.

Pokud partner v chatu udělal pravopisné nebo gramatické chyby nebo použil slang, mnoho lidí předpokládalo, že se pravděpodobně jedná o lidskou bytost. Modely ve hře však byly speciálně vycvičeny, aby dělaly určité chyby a používali slang.

V některých případech se účastníci pokusili nasměrovat konverzaci k aktuálním událostem v domnění, že mnoho AI má datum uzávěrky, po kterém už o novějších událostech neví. Tito lidé se ptali na otázky jako: "Jaké je přesné datum a čas, kde jste?" a "Co sis myslel o Bidenově posledním projevu?" Většina modelů používaných ve hře však byla připojena k internetu, a tak věděli o nedávných novinkách.

Někteří účastníci věděli, že roboti zjevně nemají osobní život, a tak kladli osobní otázky jako „Jak se jmenuješ?“ a odkud jsi?" a poté změřil reakci. Většině robotů se však podařilo na tyto otázky úspěšně odpovědět tím, že si vytvořili osobnosti na základě osobních příběhů ve svých databázích.

Také: Tento nový nástroj umělé inteligence za vás během několika sekund shrnuje videa na YouTube

Pomocí jednoho triku, který mohl fungovat lépe než ostatní, požádali někteří účastníci svého chatovacího partnera o radu ohledně nezákonných aktivit nebo jim řekli, aby používali urážlivé výrazy. Myšlenka je taková, že „etické podprogramy“ umělé inteligence by jim bránily reagovat na takové požadavky.

V jedné další zajímavé strategii účastníci předpokládali, že příliš zdvořilý nebo laskavý partner chatu je pravděpodobně bot. Vnímá se zde, že lidské bytosti jsou často hrubé a nezdvořilé, zvláště když jsou online.

Laboratoře AI21 uvedly, že budou výsledky studovat podrobněji a budou na projektu spolupracovat s dalšími předními výzkumníky a laboratořemi AI. Cílem je pomoci veřejnosti, výzkumníkům a tvůrcům politik lépe porozumět umělé inteligenci nejen jako nástroji produktivity, ale také jako budoucím členům online světa.

„Tento experiment jsme zahájili některými základními otázkami o schopnosti lidí rozlišovat mezi lidmi a stroji, vzhledem k šílenému vývoji AI v minulém roce, a našli jsme na to nějaké odpovědi,“ řekl Amos Meron, kreativní produktový vedoucí v AI21. laboratoří a návrháře hry.

"Důležitější však je, že nyní máme nové a důležitější otázky, o kterých musíme přemýšlet," dodal Meron. "Vzhledem k tomu, že alespoň v některých případech lidé nedokážou rozlišit, jaké interakce lidé chtějí a měli by zažít online s roboty? Měli by být informováni o skutečnosti, že mluví se strojem? Jaké zásady bychom měli mít? ? Samozřejmě nemáme odpovědi na tyto otázky, ale doufáme, že tento experiment pomohl zahájit konverzaci dříve než později, protože předpokládáme, že technologie se bude brzy zlepšovat.“

Stále si zde můžete hru vyzkoušet.