Umělá inteligence Perplexity Pro naprosto zvládla mé testy kódování - ale má to háček

Stojí Perplexity Pro za předplatné? To může záviset na tom, k čemu jej používáte, ale mělo by vám to dobře pomáhat s programováním. Zde je důvod.

Před několika týdny jsem provedl svou standardní sadu programovacích testů proti bezplatné verzi chatbota Perplexity.ai. Na konci článku jsem nabídl provedení testů proti verzi 20 $/mě Pro, pokud bude mít zájem dostatek z vás. Dostal jsem nějaké žádosti, takže to tady děláme.

Stejně jako většina ostatních profesionálních verzí, abyste mohli používat Perplexity Pro, musíte si vytvořit účet. Můžete se přihlásit pomocí metod ověření Google nebo Apple nebo pomocí přihlášení SAML. Případně si můžete vytvořit účet pomocí své e-mailové adresy, což jsem udělal já.

Bohužel se nezdá, že by vám stránka neposkytovala žádný způsob, jak nastavit heslo nebo jakoukoli formu vícefaktorové autentizace. Byl vám zaslán e-mail s kódem a je to. Nevadí mi dostávat e-mailový kód, ale opravdu mě znepokojují webové aplikace, které se spoléhají pouze na e-mailový kód, alespoň bez hesla. Ale to je to, co Perplexity.AI dělá.

Dalším zajímavým aspektem Perplexity Pro je hojnost modelů AI. Jak můžete vidět na obrázku níže, můžete si vybrat mezi řadou různých modelů v závislosti na druhu práce, kterou máte. Vybral jsem Výchozí, abych viděl, co to udělalo s testy. Po provedení testů jsem se zeptal Perplexity Pro, jaký model pro ně používá, a řekl mi ChatGPT GPT-4.

A s tím provedeme nějaké testy.

1. Psaní pluginu WordPress

Tato výzva je poměrně jednoduchým programovacím úkolem pro každého, kdo má minimální zkušenosti s webovým programováním. Představuje uživatelské rozhraní v administračním panelu se dvěma poli: jedno je seznam jmen, která mají být náhodně rozdělena, a druhé je výstup.

Jediný skutečný problém je v tom, že seznam jmen může mít duplikáty, a spíše než odstranění dalších jmen, je v jeho pokynech zajistit, aby byla duplicitní jména od sebe oddělena.

Toto byla skutečná požadovaná funkce, kterou moje žena potřebovala použít pro svůj web elektronického obchodu. Každý měsíc se protočí kolo a někteří lidé se kvalifikují pro více vstupů.

Pomocí výchozího modelu Perplexity Pro se AI podařilo vygenerovat funkční uživatelské rozhraní a funkční kód, který poskytuje jak blok PHP, tak blok JavaScript pro ovládání textových oblastí a logiky randomizace.

Zde jsou souhrnné výsledky tohoto a předchozích testů:

• Perplexity Pro: Rozhraní: dobré, funkčnost: dobré
• Složitost: Rozhraní: dobré, funkčnost: dobré
• Claude 3.5 Sonnet: Rozhraní: dobré, funkčnost: selhání
• ChatGPT pomocí GPT-4o: Rozhraní: dobré, funkce: dobré
• Microsoft Copilot: Rozhraní: dostatečné, funkčnost: selhání
• Meta AI: Rozhraní: dostatečné, funkčnost: selhání
• Llama s metakódem: Úplné selhání
• Google Gemini Advanced: Rozhraní: dobré, funkce: selhání
• ChatGPT pomocí GPT-4: Rozhraní: dobré, funkce: dobré
• ChatGPT pomocí GPT-3.5: Rozhraní: dobré, funkce: dobré

2. Přepsání funkce řetězce

Pro každý test otevřu novou relaci s AI. V tomto testu žádám AI, aby přepsala blok kódu, který měl chybu. Kód byl navržen pro ověření vstupu dolarů a centů, které by měly obsahovat určitý počet číslic před desetinnou čárkou, možnou desetinnou čárku a dvě číslice za desetinnou čárkou.

Bohužel kód, který jsem poslal, povoloval pouze celá čísla. Po několika uživatelských hlášeních jsem se rozhodl předat kód AI k přepsání. Můj kód používá regulární výrazy, které představují vzorový způsob určení formátu. Regulární výrazy samy o sobě jsou zábavné, ale jejich ladění nikoli.

V případě tohoto testu odvedl Perplexity Pro dobrou práci. Výsledný ověřovací kód správně označil položky, které neodpovídaly formátu pro dolary a centy, přičemž za desetinnou čárkou byly povoleny až dvě číslice.

Zde jsou souhrnné výsledky tohoto a předchozích testů:

• Perplexity Pro: Úspěšné
• Zmatenost: Úspěšné
• Claude 3.5 Sonnet: Nezdařilo se
• ChatGPT pomocí GPT-4o: Úspěšné
• Microsoft Copilot: Selhalo
• Meta AI: Nezdařilo se
• Llama s metakódem: Úspěšné
• Google Gemini Advanced: Nezdařilo se
• ChatGPT pomocí GPT-4: Úspěšné
• ChatGPT pomocí GPT-3.5: Úspěšné

3. Nalezení nepříjemného bugu

Tento test mě na několik hodin zarazil. Než to byl test, byla to chyba v kódu skutečného produktu. Problém byl v tom, že cokoli se pokazilo, nesouviselo s žádným zjevným logickým nebo jazykovým problémem.

Protože jsem byl vážně frustrován, rozhodl jsem se nakrmit ChatGPT kódem i výpisem chyb a požádat ho o pomoc. Naštěstí zjistil, co jsem udělal špatně, a dal mi návod, co mám opravit.

Důvod, proč to zařazuji do sady testů, je ten, že chyba nebyla v jazyce nebo logice, ale ve znalosti frameworku WordPress. Zatímco WordPress je populární, rámcové znalosti jsou obecně považovány za folklór programovacího prostředí, něco předávaného z vývojáře na vývojáře, spíše než něco, co by se důsledně naučila znalostní báze.

Nicméně ChatGPT, stejně jako Perplexity a nyní Perplexity Pro, problém našly. Chyba byla způsobena problémem s voláním parametrů pohřbeným v samotném rámci. Zřejmá odpověď, na kterou byste mohli přijít striktně čtením chybových zpráv generovaných kódem, byla ve skutečnosti špatná.

Aby to umělá inteligence vyřešila, musela prokázat hlubší pochopení toho, jak všechny systémy spolupracují, což se s Perplexity Pro úspěšně povedlo.

Zde jsou souhrnné výsledky tohoto a předchozích testů:

• Zmatenost: Úspěšné
• Perplexity Pro: Úspěšné
• Claude 3.5 Sonnet: Úspěšné
• ChatGPT pomocí GPT-4o: Úspěšné
• Microsoft Copilot: Selhalo
• Meta AI: Úspěšné
• Llama s metakódem: Nezdařilo se
• Google Gemini Advanced: Nezdařilo se
• ChatGPT pomocí GPT-4: Úspěšné
• ChatGPT pomocí GPT-3.5: Úspěšné

4. Psaní scénáře

No, to je zajímavé. Perplexity Pro prošel tímto testem, ale bezplatná verze Perplexity selhala, když jsem ji testoval před pár týdny. Takže jo!

Ale pojďme se do toho trochu ponořit. Výzva spočívá v tom, že žádám umělou inteligenci, aby napsala skript, který protíná tři prostředí: Chrome DOM (model objektu dokumentu), AppleScript (nativní skriptovací jazyk Apple) a Keyboard Maestro (velmi skvělý automatizační nástroj pro Mac, který je poměrně obskurní, ale pro mě kritické).

Většina AI selhala, protože neměly žádné informace o Keyboard Maestro ve svých znalostních bázích a jako takové neposkytly potřebný kód pro skript, aby udělal to, co jsem chtěl.

Tímto testem dosud prošly pouze Gemini Advanced a ChatGPT používající GPT-4 a GPT-4o. V odpovědi na otázku poskytl Perplexity Pro zobrazení Pro Search. Jak můžete vidět, zobrazení Pro Search provedlo vyhledávání „Keyboard Maestro AppleScript Google Chrome tabs“. Jako zdroj také použil hlavní fórum Keyboard Maestro, které je nejlepším zdrojem pro získání pomoci s kódováním Keyboard Maestro.

Výsledkem byl úspěch.

Zde jsou souhrnné výsledky tohoto a předchozích testů:

• Perplexity Pro: Úspěšné
• Zmatenost: Nezdařilo se
• Claude 3.5 Sonnet: Nezdařilo se
• ChatGPT pomocí GPT-4o: Úspěšné, ale s výhradami
• Microsoft Copilot: Selhalo
• Meta AI: Nezdařilo se
• Llama s metakódem: Nezdařilo se
• Google Gemini Advanced: Úspěšné
• ChatGPT pomocí GPT-4: Úspěšné
• ChatGPT pomocí GPT-3.5: Nezdařilo se

Celkové výsledky

Zde jsou celkové výsledky čtyř testů:

• Perplexity Pro: 4 ze 4 uspěli
• Zmatenost: 3 ze 4 byly úspěšné
• Claude 3.5 Sonnet: 1 ze 4 uspěl
• ChatGPT pomocí GPT-4o: 4 ze 4 uspěli , ale s výhradou
• Microsoft Copilot: 0 ze 4 úspěšných
• Meta AI: 1 ze 4 bylo úspěšné
• Llama s metakódem: 1 ze 4 uspěl
• Google Gemini Advanced: 1 ze 4 uspěl
• ChatGPT pomocí GPT-4: 4 ze 4 byly úspěšné
• ChatGPT pomocí GPT-3.5: 3 ze 4 byly úspěšné

Jak můžete vidět, Perplexity Pro se připojuje pouze k ChatGPT s GPT-4 a GPT-4o, protože má perfektní skóre 4 ze 4 úspěšných. Po provedení testů jsem zkontroloval AI Perplexity Pro a informovalo mě, že k analýze a reakci na mé testy používá GPT-4.

Vzhledem k tomu, že GPT-4/4o je jediná umělá inteligence, která zvládla všechny čtyři mé předchozí testy, dává to smysl. Zatím jsem nenašel žádný jiný model, který by dokázal plně a správně projít všemi čtyřmi programátorskými testy.

Pokud si vyberete Perplexity Pro, mohu s jistotou prohlásit, že by měl být schopen odvést dobrou práci a pomoci vám programovat.

Zkoušeli jste kódování pomocí Perplexity, Copilot, Meta AI, Gemini nebo ChatGPT? Jaké máte zkušenosti? Dejte nám vědět v komentářích níže.

Moje každodenní aktualizace projektu můžete sledovat na sociálních sítích. Nezapomeňte se přihlásit k odběru mého týdenního zpravodaje a sledujte mě na Twitteru/X na @DavidGewirtz, na Facebooku na Facebook.com/DavidGewirtz, na Instagramu na Instagram.com/DavidGewirtz a na YouTube na YouTube.com/DavidGewirtzTV.