Gemini Advanced neuspěli v těchto jednoduchých testech kódování, které ChatGPT zvládly. Tady je to, co se pokazilo

Google si za to účtuje 20 $měsíčně? Zjistěte, kde zaostává umělá inteligence Google, od vytvoření pluginu WordPress po jednoduché opravy kódování.

K velkému smutku Shakespearových punčů po celém světě Google přejmenoval Barda na Gemini. Google také přišel s schopnější, pokročilejší a dražší verzí Gemini s názvem Gemini Advanced. Gemini a Gemini Advanced jsou zhruba obdobou základního modelu ChatGPT a služby ChatGPT Plus nabízené za příplatek.

Ve skutečnosti si Google i OpenAI účtují 20 $měsíčně za přístup ke svým chytřejším a výkonnějším nabídkám.

V rámci svého testovacího procesu za poslední rok jsem vystavil generativní AI různým problémům s kódováním. ChatGPT si opakovaně vedl docela dobře, zatímco Bard od Googlu selhal ve dvou různých příležitostech.

Provedl jsem stejnou sadu testů proti Meta's Code Llama AI, o které Meta tvrdí, že je docela super úžasné pro kódování (a přesto není).

Aby bylo jasno, nejde o nijak zvlášť těžké testy. Jedním z nich je požadavek na napsání jednoduchého pluginu WordPress. Jedním z nich je přepsat funkci řetězce. A jedním z nich je pomoci najít chybu, kterou jsem měl původně problém najít.

Minulý týden, po použití stejných testů na Code Llama, mě oslovil čtenář a zeptal se mě, proč stále používám stejné testy. Usoudil, že AI by mohly uspět, kdyby dostaly různé výzvy.

To je spravedlivá otázka, ale moje odpověď je také spravedlivá. Jsou to super jednoduché testy. Používám PHP, což není zrovna náročný jazyk. A spouštím nějaké skriptovací dotazy přes AI. Použitím přesně stejných testů jsme schopni přímo porovnávat výkon.

Ale je to také jako učit někoho řídit. Pokud se nemohou dostat z příjezdové cesty, nebudete je pouštět v rychlém autě na přeplněné dálnici.

ChatGPT si vedl docela dobře se vším, co jsem na něj hodil, takže jsem toho hodil víc. Nakonec jsem provedl testy s ChatGPT ve 22 samostatných programovacích jazycích, 12 moderních a 10 neznámých. Kromě některých zmatených hlaviček v rozhraní pro snímky obrazovky ChatGPT zvládl všechny testy.

Ale protože Bard, alespoň ještě v květnu, nemohl bezpečně sjet z příjezdové cesty, nehodlal jsem ho podrobovat dalším testům, dokud nezvládne základy.

Ale teď jsme zpět. Bard je Gemini a já mám Gemini Advanced. Pojďme se na pár jednoduchých testech podívat, co všechno ten výpočetní výkon Google dokáže.

Test 1: Napište jednoduchý WordPress plugin

Toto byl můj úplně první test s ChatGPT a Bard v něm dvakrát neuspěl. Úkolem bylo napsat jednoduchý WordPress plugin, který poskytuje jednoduché uživatelské rozhraní. Má seřadit a odstranit soubory odeslaných řádků.

Zde je výzva:

Napište plugin WordPress kompatibilní s PHP 8, který poskytuje pole pro zadávání textu, do kterého lze vložit seznam řádků, a tlačítko, které po stisknutí náhodně uspořádá řádky v seznamu a zobrazí výsledky v druhém poli pro zadávání textu bez prázdného místa. řádků a zajišťuje, aby vedle sebe nebyly dva identické záznamy (pokud není jiná možnost)... přičemž počet odeslaných řádků a počet řádků ve výsledku jsou vzájemně shodné. Pod prvním polem zobrazte text „Řádek k náhodnému výběru: “ s počtem prázdných řádků ve zdrojovém poli. Pod druhým polem zobrazte text „Řádky, které byly náhodně rozděleny: “ s počtem neprázdných řádků v cílovém poli.

Jedna věc, kterou je třeba mít na paměti, je, že jsem záměrně nespecifikoval, zda je tento nástroj dostupný na frontendu (pro návštěvníky webu) nebo na back-endu (pro správce webu). ChatGPT to napsal jako back-end funkci, ale Gemini Advanced to napsal jako front-end funkci.

Gemini Advanced se také rozhodl psát kód PHP i JavaScript. Chcete-li spustit plugin, je třeba do hlavního textu ukázkové stránky umístit krátký kód, jako je tento:

Jakmile jsem stránku uložil, prohlížel jsem si ji jako návštěvník webu. To představuje Gemini Advanced.

První pokus Gemini Advanced

Je to určitě daleko od toho, jak ChatGPT prezentoval stejnou funkci, ale ChatGPT to napsal pro back-end.

ChatGPT je první pokus

Jedna další poznámka: Jakmile jsem vložil jména a klikl na Randomize pomocí front-end verze kódu vygenerované Gemini, nic se nestalo.

Rozhodl jsem se, že dám Gemini Advanced druhou šanci. Změnil jsem první řádek na:

Napište plugin WordPress kompatibilní s PHP 8, který poskytuje následující rozhraní pro řídicí panel

To selhalo, protože Gemini Advanced znovu trval na tom, že mi dá krátký kód. Dokonce navrhl, abych vložil krátký kód do "vhodné oblasti řídicího panelu." Takto ovládací panel WordPress nefunguje.

Abych byl upřímný, pořád tu bylo trochu prostoru pro to, jak by AI mohla interpretovat moje pokyny. Takže jsem to upřesnil ještě jednou a změnil jsem začátek výzvy na:

Napište plugin WordPress kompatibilní s PHP 8, který poskytuje novou nabídku pro správu a rozhraní pro správu s následujícími funkcemi:

Tentokrát Gemini Advanced vytvořilo funkční rozhraní. Bohužel stále nefungoval. Při vkládání sady jmen do horního pole a stisknutí tlačítka Randomize se nic nestalo.

Třetí pokus Gemini Advanced. V mém testu jsem zahrnul jména, ale vynechal jsem je na tomto snímku obrazovky, protože to byla skutečná jména z e-mailu toho dne. Po zásahu Randomize se ve spodním poli nic neukázalo.

Závěr: Ve srovnání s prvním pokusem ChatGPT je to stále neúspěšné. Ve skutečnosti je to horší než výsledky mého původního Bardova testu, ale ne tak špatné jako můj druhý Bardův test.

Test 2: Přepište funkci řetězce

V následujícím kódu jsem požádal ChatGPT, aby přepsal nějaký kód pro zpracování řetězců, který zpracovával dolary a centy. Můj počáteční testovací kód povoloval pouze celá čísla (tedy pouze dolary), ale cílem bylo povolit dolary a centy. Toto je test, který ChatGPT udělal správně. Bard zpočátku neuspěl, ale nakonec uspěl.

Zde je výzva:

A zde je vytvořený kód:

Tenhle je také neúspěch, ale je zároveň rafinovaný a nebezpečný. Vygenerovaný kód Gemini Advanced neumožňuje zadávání v desítkové soustavě. Jinými slovy, 1,00 je povoleno, ale 1 nikoli. Ani jedno není 20. Horší je, že se rozhodla omezit čísla na dvě číslice před desetinnou čárkou místo za desetinnou čárkou, což ukazuje, že nerozumí pojmu dolary a centy. Selže, pokud zadáte 100,50, ale povolí 99,50.

Závěr: Ach. To je opravdu snadný problém, ten druh věci, který dáváte studentům prvního ročníku programování. A je to selhání. Horší je, že je to druh selhání, který pro programátora nemusí být snadné najít, takže pokud jste důvěřovali Gemini Advanced, že vám tento kód poskytli, a předpokládali jste, že to funguje, můžete mít později řadu hlášení o chybách.

Test 3: Najděte chybu

Koncem loňského roku jsem se potýkal s broukem. Můj kód měl fungovat, ale nefungoval. Problém nebyl zdaleka hned zřejmý, ale když jsem se zeptal ChatGPT, poukázalo na to, že hledám na špatném místě.

Díval jsem se na počet předávaných parametrů, což se zdálo jako správná odpověď na chybu, kterou jsem dostával. Ale místo toho jsem potřeboval změnit kód v něčem, co se nazývá hák.

Bard i Meta šli stejnou mylnou a marnou cestou, kterou jsem tehdy měl, a chyběly jim podrobnosti o tom, jak systém skutečně fungoval. Jak jsem řekl, ChatGPT to dostal. Nyní je tedy načase zjistit, zda se Gemini Advanced může uplatnit - když dostane úplně stejné informace.

Gemini Advanced se podíval na kód. A zjistil, že existuje problém s parametry. Ale jeho doporučení je podívat se "pravděpodobně někde jinde v pluginu nebo WordPressu", abyste našli chybu.

Odpověď Gemini Advanced.

Naproti tomu toto je odpověď ChatGPT.

Odpověď ChatGPT. Kliknutím na čtvereček v rohu jej zvětšíte, pokud si ho chcete přečíst celý.

Podívejte se na podrobnosti uvedené ve druhém odstavci. ChatGPT správně identifikoval, kde přesně došlo k chybě a jak ji opravit. To je mnohem užitečnější, než doporučovat, abych se podíval někde jinde v pluginu.

Závěr: Gemini Advanced prostě nebyl tak užitečný. Nic z toho, co mi řeklo, nebylo nic, co bych nevěděl. A nic z toho, co mi řeklo, nepomohlo problém vyřešit.

No, to je průšvih

Pravidelně používám ChatGPT k urychlení mého kódování. V mnoha ohledech to bylo úžasné. U jednoho projektu jsem přesvědčen, že mi to umožnilo postavit něco za víkend, co by mi jinak zabralo měsíc nebo déle.

Ale Gemini Advanced? Neexistuje způsob, jak bych dokonce otevřel jeho rozhraní. Nejen, že selže, ale některé z jeho selhání jsou natolik jemné, že si jich zpočátku nemusíme všimnout, což po uvolnění kódu způsobuje nejrůznější problémy.

To je důvod, proč musíte být velmi opatrní, když používáte jakoukoli AI jako pomocníka při kódování. Ale s Gemini Advanced je mým doporučením se tomu jednoduše vyhnout. Nevidím nic, co by dělalo to, co bys sám o sobě nemohl udělat lépe. A rozhodně nedrží svíčku nad hvězdným výkonem ChatGPT.

A účtují si za to 20 $měsíčně?

Zkoušeli jste kódování s Gemini, Gemini Advanced, Bard nebo ChatGPT? Jaké máte zkušenosti? Dejte nám vědět v komentářích níže.

Moje každodenní aktualizace projektu můžete sledovat na sociálních sítích. Nezapomeňte se přihlásit k odběru mého týdenního zpravodaje na Substacku a sledujte mě na Twitteru na @DavidGewirtz, na Facebooku na Facebook.com/DavidGewirtz, na Instagramu na Instagram.com/DavidGewirtz a na YouTube na YouTube.com/DavidGewirtzTV.