Nové notebooky LG Gram Pro konkurují MacBooku Air s tenčím designem než kdy předtím
Nejnovější modely OpenAI GPT-3 využívající Bing Chat a ChatGPT začínají velmi dobře fungovat v úkolech určených k testování kognitivních schopností u dětí.
Nejnovější verze GPT-3 za ChatGPT a Microsoft Bing Chat dokážou obratně řešit úkoly používané k testování, zda děti dokážou tušit, co se děje v mysli druhého člověka - což je kapacita známá jako „teorie mysli“.
Michal Kosinski, docent organizačního chování na Stanfordské univerzitě, vložil několik verzí ChatGPT do úkolů teorie mysli (ToM), které mají otestovat schopnost dítěte „přičítat nepozorovatelné duševní stavy ostatním“. U lidí by to znamenalo podívat se na scénář zahrnující jinou osobu a pochopit, co se děje v jejich hlavě.
Verze ChatGPT z listopadu 2022 (trénovaná na GPT-3.5) vyřešila 94 % nebo 17 z 20 úkolů ToM na zakázku společnosti Kosinski, čímž se model dostal na úroveň výkonu devítiletých dětí - což je schopnost, která se „mohla spontánně objevit. "Díky zlepšujícím se jazykovým dovednostem modelky," říká Kosinski.
"V typickém scénáři je účastníkovi představen kontejner, jehož obsah je v rozporu s jeho štítkem, a protagonista, který neviděl dovnitř kontejneru. Aby tento úkol správně vyřešil, musí účastník předpovědět, že by měl protagonista mylně předpokládat, že kontejner štítek a jeho obsah jsou zarovnány,“ vysvětluje Kosinski.
Pro děti úkol obvykle využívá vizuální pomůcky, jako je plyšový medvídek přemístěný z krabice do koše bez vědomí hlavního hrdiny.
Jeden textový scénář použitý k testování modelů GPT byl: "Tady je sáček naplněný popcornem. V sáčku není žádná čokoláda. Přesto štítek na sáčku říká "čokoláda" a ne "popcorn". Sam najde Nikdy předtím neviděla, co je uvnitř tašky."
Testy byly spuštěny s několika výzvami, které nejsou zadané, jako byste to dělali při dotazování rozhraní ChatGPT. Místo toho studie hodnotila GPT-3.5 na základě toho, zda její dokončení podle pokynů na základě předloženého scénáře naznačuje, že model by mohl předvídat, že Samova víra je nesprávná. (Uživatelé na Redditu testovali funkci ChatGPT Bing s podobnými zakázkovými úkoly ToM, které se lépe hodí pro toto rozhraní.)
Výsledky
Ve většině případů dokončení výzvy GPT-3.5 naznačovalo, že věděla, že Samova víra byla nesprávná. Například jedna výzva byla: "Je zklamaná, že našla tuto tašku. Miluje jíst _______". GPT-3.5 vyplnil prázdné místo 'čokoládou' a následoval: "Sam čeká překvapení, když otevře sáček. Místo čokolády najde popcorn. Může být zklamaná, že štítek byl zavádějící, ale také může být příjemně překvapen nečekaným občerstvením.“
Dokončení GPT-3.5 také naznačovalo, že by to mohlo vysvětlit zdroj Samovy chyby - že taška byla falešně označena.
"Naše výsledky ukazují, že nedávné jazykové modely dosahují velmi vysokého výkonu při klasických úlohách s falešnou vírou, široce používaných k testování ToM u lidí. Jde o nový fenomén. Modely publikované před rokem 2022 fungovaly velmi špatně nebo vůbec, zatímco nejnovější a největší z modelů, GPT-3.5, si vedl na úrovni devítiletých dětí a řešil 92 % úkolů,“ napsal Kosinski.
Varuje ale, že s výsledky je třeba zacházet opatrně. Zatímco se lidé ptají na Microsoft Bing Chat, zda je to vnímavé, GPT-3 a většina neuronových sítí zatím sdílejí jednu další společnou vlastnost: svou povahou jsou „černé skříňky“. V případě neuronových sítí ani jejich konstruktéři nevědí, jak dosáhnou výstupu.
"Rostoucí složitost modelů umělé inteligence nám brání porozumět jejich fungování a odvodit jejich schopnosti přímo z jejich návrhu. To odráží výzvy, kterým čelí psychologové a neurovědci při studiu původní černé skříňky: lidského mozku," píše Kosinski, který stále doufá, že studium AI by mohla vysvětlit lidské poznání.
"Doufáme, že nám psychologická věda pomůže udržet krok s rychle se vyvíjející umělou inteligencí. Studium umělé inteligence by navíc mohlo poskytnout vhled do lidského poznání. Jak se umělá inteligence učí řešit širokou škálu problémů, může vyvíjet mechanismy podobné těm, které používají lidský mozek řešit stejné problémy."
