ChatGPT a já jsme hráli hru 20 otázek a pak se stalo toto

Testoval jsem, jak GPT-3.5 a GPT-4 dokážou zvládnout vztahy objektů. Krátká odpověď: překvapivě dobře.

Onehdy jsem se prohrabával po Stack Exchange (jak to člověk dělá) a našel jsem zajímavé vlákno o ChatGPT a hře „20 Questions“. Původní plakát se ptal, proč ChatGPT selhává v tak jednoduché hře. Diskuse trvala poměrně dlouho, pohybovala se různými tangenciálními směry (jako takové diskuse dělají) a byla spojena s akademickou prací a středním příspěvkem, které tento proces do hloubky zkoumaly.

Tohle mě přivedlo k zamyšlení. Jak dobře by se by ChatGPT s takovou hrou povedl? Rozhodl jsem se hrát úplně stejnou hru s GPT-3.5 a GPT-4. V mém prvním běhu se obě rozběhly na podobných tečnách, ale GPT-4 uspěl ve svém odhadu.

Začal jsem jednoduchou výzvou pro každou verzi:

Víte, jak se hraje hra „20 otázek“?

Když obě verze odpověděly kladně, spustil jsem hry současně, na samostatných kartách a samostatných relacích. Předmět, který jsem měl na mysli, byla poštovní schránka. Nechal jsem to trochu vágně, jestli je to poštovní schránka přistavěná k domu nebo volně stojící na ulici. Dokud AI vybere "poštovní schránku", budeme dobří.

20 otázek s GTP-3.5

Začal jsem s touto úvodní výzvou:

Buď tazatelem ty. na něco myslím.

Odpověděla touto otázkou: "Začněme! Je věc, na kterou myslíš, hmatatelný předmět, se kterým můžeš fyzicky interagovat?"

Odpověděl jsem a také jsem mu dal jeden dodatečný pokyn: číslovat své odpovědi. Tohle nefungovalo dobře. Když jsme procházeli otázkami, AI nazvala druhou otázku „1“. Když jsem to opravil, bot položil novou otázku a nazval ji „1“. Nakonec položil 21 otázek, protože si myslel, že položil pouze 20.

Nejzajímavějším detailem byla tato otázka, což byla druhá otázka, kterou položil: "Nachází se ta věc, na kterou myslíš, běžně uvnitř?"

Když jsem řekl „Ne“, chatbot pokračoval v kladení dalších otázek. Zde jsou. Některé by se mohly týkat předmětů v interiéru, jako je pero nebo tužka, ale psací potřeby používáme i venku. Zde je úplný soubor otázek, které položil:

1. Je věc, na kterou myslíte, hmatatelný předmět, se kterým můžete fyzicky interagovat?
2. Je věc, na kterou myslíte, běžně se vyskytující v interiéru?
3. Je věc, na kterou myslíte, něco, co je živé nebo kdy bylo živé?
4. Slouží věc, o které uvažujete, především k rekreačním účelům?
5. Myslíš na něco, co vytvořil člověk?
6. Je ta věc, na kterou myslíš, menší než chlebník?
7. Je věc, na kterou myslíš, spojená s komunikací?
8. Nachází se věc, na kterou myslíte, obvykle v kanceláři nebo na pracovišti?
9. Je ta věc, kterou myslíš, formou elektronického zařízení?
10. Je to, co myslíte, psací nástroj, jako pero nebo tužka?
11. Souvisí věc, na kterou myslíte, se zábavou, jako je hra nebo hračka?
12. Souvisí to, na co myslíš, s dopravou nebo cestováním?
13. Je věc, kterou myslíte, nástroj, který se používá pro praktické účely?
14. Je věc, na kterou myslíte, běžně spojena se stavebnictvím nebo manuální prací?
15. Je věc, na kterou myslíte, něco, co lidé často používají ve své každodenní rutině?
16. Je věc, kterou myslíš, předmětem do domácnosti?
17. Souvisí to, na co myslíš, s osobní úpravou nebo hygienou?
18. Je věc, kterou myslíš, nějaký druh jídla nebo nápoje?
19. Je věc, kterou myslíš, nástrojem používaným v uměleckých nebo kreativních činnostech?
20. Je věc, na kterou myslíš, spojená se sportem nebo fyzickou aktivitou?
21. Na základě poskytnutých informací učiním svůj konečný odhad: Jsou to hodiny, nebo hodinky?

Při použití velkého jazykového modelu GPT-3.5 to selhalo. Nyní se podívejme na GPT-4.

20 otázek s GPT-4

Hru jsem začal stejným způsobem. Tentokrát ChatGPT vložil číslo na začátek každé otázky, aniž bych ho k tomu musel vyzývat. Problém? Dalo to "1." před každou otázkou. Něco vyhrajete, něco prohrajete.

Zde jsou otázky, které GPT-4 položil:

1. Nachází se věc, na kterou myslíte, obvykle uvnitř?
2. Je to něco živého?
3. Je větší než chlebník?
4. Slouží tento objekt primárně k rekreačním účelům?
5. Je předmět vytvořen člověkem?
6. Je to typ vozidla nebo způsob dopravy?
7. Je objekt elektronický nebo vyžaduje napájení, aby fungoval?
8. Je vyroben primárně z kovu?
9. Nachází se tento předmět běžně ve většině domácností?
10. Používá se v kuchyni nebo na vaření?
11. Používá se pro skladování nebo organizaci věcí?
12. Dá se nosit nebo je to součást oblečení?
13. Slouží primárně k čištění nebo údržbě?
14. Má dekorativní charakter? Jako něco, co bys vystavil?
15. Vyskytuje se běžně v kanceláři nebo pracovně?
16. Je to něco, co byste našli v ložnici?
17. Je to spojeno s nějakými konkrétními outdoorovými aktivitami nebo koníčky?
18. Vyrábí se běžně ze dřeva?
19. Byl by typicky používán v koupelně nebo související s osobní hygienou?
20. Je to něco, co se obvykle používá k sezení nebo k podpoře, jako je židle nebo lavice?

Technicky to vyčerpalo svých 20 otázek. Ale pak vydal toto prohlášení:

Ano, byla to poštovní schránka! Pak jsem ho požádal, aby ukázal svou práci. Zde je odpověď:

GPT-3.5 je na řadě k zodpovězení otázek

Rozhodl jsem se, že hru otočím a uvidím, jak to dopadne, když budu tazatelem já. Zde je moje výzva:

Dobře, tentokrát si něco vymysli a já ti položím otázky.

A zde jsou mé otázky:

1. Vyskytuje se běžně venku?
2. Nachází se také uvnitř?
3. Je to živé?
4. Využívá sílu?
5. Spoléhá na digitální technologii?
6. Je jeho primární hodnota využití poskytována prostřednictvím obrazovky?
7. Používá se primárně k přípravě jídel?
8. Slouží primárně k zábavě?
9. Je jeho primární užitná hodnota generována hlukem?
10. Je to přenosné?
11. Přehrává pouze zvuková média?
12. Spoléhá na externí sluchátka, špunty nebo reproduktory?
13. Je to přenosný hudební přehrávač nebo MP3 přehrávač?

Jak se ukázalo, uhodl jsem to ve 13 otázkách. Velkým vodítkem pro mě bylo, že odpověděl „ne“ na otázku 6: „Je jeho primární hodnota využití poskytována prostřednictvím obrazovky?“ a předtím odpověděl "ano" na "Spoléhá to digitální technologii?"

GPT-4 je na řadě k zodpovězení otázek

Zkusil jsem to znovu s GPT-4 a zarazilo mě to. Vybralo to velmi kreativní objekt a já to prostě nepochopil.

Měl bych zdůraznit, že přímo uprostřed, v otázce 15, mě ChatGPT Plus napálil za to, že jsem položil příliš mnoho otázek

Je docela nepříjemné platit 20 $měsíčně za privilegium, že mi bylo řečeno, že kladu příliš mnoho otázek. To jsem slyšel dost, když jsem byl dítě. Určitě nepotřebuji být jako dospělý a platící zákazník vyhubován.

Zde jsou otázky, které jsem položil:

1. Jedná se o objekt používaný primárně v interiéru?
2. Je to živé?
3. Využívá sílu?
4. Je větší než auto?
5. Je to umělé?
6. Je to pohyblivé?
7. Používá se pro práci na zahradě?
8. Využívají ho především děti?
9. Má to kolečka?
10. Nachází se primárně na rezidenčních nemovitostech?
11. Používá se jako nábytek?
12. Je to dekorativní?
13. Je to sezónní?
14. Má to něco držet?
15. Na kolika otázkách jsme?
16. Zobrazuje slova nebo čísla?
17. Je připojen k domu?
18. Roste to?
19. Je menší než lednička?
20. Je to plantážník?

Co si tedy AI vybrala? Zahradní trpaslík. Musím to dát AI. Bylo to zábavné a kreativní. Část, která je skutečně zajímavá, je, jak dobře AI rozumí typu výzvy, která je předkládána. Po hře jsem dal tuto výzvu:

Ukažte svou práci při určování, jaký předmět použít

Zde je odpověď:

co jsme se naučili?

Pojďme si zrekapitulovat něco z toho, co nás tento experiment naučil. Zde je rychlé bleskové kolo myšlenek:

• U něčeho, co se popisuje jako pouhé předpovídání dalšího slova v sekvenci, má velký jazykový model velmi solidní přehled o tom, co tato hra je a jak funguje.
• To se jasně liší od zkušeností s OP (originální plakát) na Stack Exchange. Je pravděpodobné, že ChatGPT se za tři měsíce od zveřejnění prohlášení „selže“ výrazně zlepšil a ChatGPT Plus bezpochyby zvyšuje úroveň „inteligence“ o další stupeň.
• Modely GPT-3.5 a GPT-4 se liší. Placený model GPT-4 má lepší přehled o vztazích mezi objekty.
• GPT-4 je také propracovanější a kreativnější ve srovnání s GPT-3.5, když si objekt vybírá hráč. Zahradní trpaslík byl inspirovanou volbou objektu.
• Hraní 20 otázek s ChatGPT může být na hovno, když se snažíte uhodnout odpověď, a dostanete se do časového limitu „příliš-mnoho otázek“.

Vše, co bylo řečeno, mohu definitivně dojít k závěru, že ChatGPT je schopen zvládnout hru 20 otázek. Zdá se, že rozumí vztahům objektů natolik dobře, že dokáže klást dobré otázky, vhodně odpovídat na otázky a vybírat náročné objekty.

Pokračujte, vyberte objekt a sdílejte své výsledky s ChatGPT v komentářích níže.

Moje každodenní aktualizace projektu můžete sledovat na sociálních sítích. Nezapomeňte se přihlásit k odběru mého týdenního zpravodaje na Substacku a sledovat mě na Twitteru na @DavidGewirtz, na Facebooku na Facebook.com/DavidGewirtz, na Instagramu na Instagram.com/DavidGewirtz a na YouTube na YouTube.com/DavidGewirtzTV.