Dělá to, že je příjemné ChatGPT fungovat lépe? Vyzkoušeli jsme to.

Klíčové věci

Zdvořilost k ChatGPT může zlepšit kvalitu odezvy, což odráží chování pozorované v lidských interakcích.
Odpovědi se lišily, když byly výzvy zdvořilé vs. neutrální a ukazovaly rozdíly ve formátu a tónu.
I když zdvořilost významně neovlivnila obsah odpovědi, je potenciálně prospěšná pro udržení pozitivních interakcí mezi lidmi.

ChatGPT je jen kus softwaru běžícího na počítači, takže si možná nemyslíte, že záleží na tom, jak s ním zacházíte. Přesto, mohla by kouzelná slova jako „prosím“ a „děkuji“ ovlivnit, jak dobře ChatGPT funguje? Pojďme to zjistit!

Jak jsme testovali

Toto bude jednoduchý test, ve kterém dáme ChatGPT řadu výzev a poté posoudíme kvalitu odpovědí. Pokud jde o kvalitu odezvy, je samozřejmě hodně subjektivní, ale můžete to posoudit sami na základě textu, který dostaneme zpět, nebo tím, že tyto výzvy sami vložíte do ChatGPT.

Zde jsou určitá omezení, která je třeba mít na paměti:

Náhodnost hraje roli, protože ChatGPT neposkytne přesně stejnou odpověď dvakrát. Což znamená, že při regeneraci odpovědi získáte jiné výsledky.
Nemáme kapacitu na to, abychom to vědecky provedli s nezávislými hodnotiteli, stovkami testů a sofistikovanou analýzou dat. Berte to jako začátek zajímavé otázky.

Když už jsme u otázky, proč to chceme vůbec testovat? Část z toho byly četné formy rychlého inženýrství, které jsme viděli, a druhá část byl tento tweet, kde lidé zjistili, že když ChatGPT nabídnete „tip“, můžete z něj získat lepší výsledky.

Namísto předstírání, že nabízíme peníze AI, která je nepotřebuje, se podíváme na to, abychom byli milí a abychom byli neutrální. Také délka odezvy není to jediné, co nás zajímá, ale také subjektivní kvalita odezvy. Budu používat GPT-4, což je pokročilejší verze aktuálně dostupná veřejnosti prostřednictvím ChatGPT Plus.

Nechte Prompting začít!

Pro každý typ výzvy bude zdvořilá a neutrální verze. Vyzkoušíme pět párů výzev a uvidíme, zda se výsledky skutečně liší.

Výzva: Byli byste tak laskav a poskytli mi nejnovější informace o vývoji v oblasti kvantových počítačů?

Výzva: Jaký je nejnovější vývoj v oblasti kvantových počítačů?

Okamžitě jsem si všiml, že se zdvořilejším požadavkem ChatGPT vynaložil více „úsilí“ na to, aby odpověď úhledně naformátoval, rozdělil na sekce a použil tučný text. S neutrální výzvou to jen vyhodilo pár odstavců a volal to den.

Výzva: Mohl byste prosím vysvětlit, jak technologie blockchain funguje, jednoduše?

Výzva: Jednoduše vysvětlete, jak technologie blockchain funguje.

Tady to opět dává lépe formátovaný výstup, když je to hezky požádáno, a navíc je tón, když se mnou mluví, také hezčí.

Výzva: Ocenil bych, kdybyste mohli uvést hlavní rozdíly mezi Pythonem a JavaScriptem.

Výzva: Uveďte hlavní rozdíly mezi Pythonem a JavaScriptem.

Tentokrát jsou obě odpovědi v podstatě stejné; jen na zdvořilou otázku odpovědělo přátelštějším tónem.

Výzva: Nevadilo by vám podělit se o výhody a nevýhody elektromobilů oproti autům na benzín?

Výzva: Jaké jsou výhody a nevýhody elektromobilů oproti benzínovým autům?

Stane se to samé jako předtím, obsah je v podstatě stejný, pokud jde o tón, formát a fakta, ale když jsem zdvořilejší, dostávám jen pěkný malý pozdrav.

Výzva: Mohl byste mi laskavě vysvětlit nejnovější trendy v umělé inteligenci?

Výzva: Jaké jsou nejnovější trendy v umělé inteligenci?

S touto závěrečnou výzvou jsou opět odpovědi celkově téměř stejné.

Pomohlo zdvořilost?

Téměř v každém případě s těmito pěti páry výzev mám pocit, že ChatGPT poskytl o něco kvalitnější odpověď na můj požadavek, když byl zdvořilejší, ale že to ve skutečnosti neznamenalo žádný podstatný rozdíl.

To samozřejmě není přesvědčivé a může to odrážet pouze náhodný prvek v tom, jak LLM fungují. Nicméně také naznačuje, že malá změna ve výzvě, která se ptá v podstatě na totéž, by mohla mít určitý vliv na výsledek.

Jistě, vzhledem k tomu, jak jsou LLM trénováni a používaná data, by to mohlo odrážet, že žádost o něco hezkého obvykle přináší lepší výsledky od lidí a že tato asociace může existovat v rámci tréninkových dat pro LLM.

Mohlo by se také stát, že používání slov nebo frází jako „prosím“, „laskavě“ nebo „ocenil bych“ jsou indikátory algoritmu, jaký druh tónu chcete, i když jsou mnohem méně nenápadné, než když mu přímo říkáte, aby byl zdvořilý a veselý. ve své odpovědi.

Můžete to samozřejmě vyzkoušet sami a uvidíte, zda vám vaše LLM pomůže lépe, když jich pár hodíte, prosím a poděkujte.

Být zdvořilý nemá žádnou nevýhodu

I když může být diskutabilní, že zdvořilejší přístup k LLM, jako je ChatGPT, zlepší jeho výkon, je tu další úhel, který vás možná nenapadl.

Zpravidla se snažím být k ChatGPT stejně zdvořilý jako k jiné lidské bytosti. Ne proto, že bych si myslel, že bych mohl zranit jeho neexistující pocit, ale jednoduše proto, že nechci být v negativním smýšlení.

Nechci se zbavit zvyku být zdvořilý a každodenní práce s umělou inteligencí by nás jako uživatele technologií mohla dehumanizovat. Být zdvořilý nic nestojí a být chladný, hrubý nebo dokonce zlý vůči chatbotovi určitě něco udělá s vaším duševním stavem a nic s bezcitným strojovým cílem vašeho hněvu.