Pokud se váš kód vygenerovaný umělou inteligencí pokazí, kdo čelí největší odpovědnosti?

Kód Hyena je schopen zpracovat množství dat, kvůli nimž technologii ve stylu GPT dojde paměť a selže.

Hyena Hierarchy Stanford a MILA je technologie pro spojování položek dat, ať už jde o slova nebo pixely v digitálním obrazu. Technologie může dosáhnout podobné přesnosti v benchmarkových úlohách umělé inteligence jako stávající „zlatý standard“ pro velké jazykové modely, mechanismus „pozornosti“, ale s až 100krát nižším výpočetním výkonem.

Přes veškerou touhu nad programem AI chatbotů známým jako ChatGPT od OpenAI a jeho nástupnickou technologií GPT-4 jsou programy na konci dne jen softwarové aplikace. A stejně jako všechny aplikace mají technická omezení, která mohou způsobit, že jejich výkon nebude optimální.

V článku zveřejněném v březnu vědci z umělé inteligence (AI) ze Stanfordské univerzity a kanadského institutu MILA pro AI navrhli technologii, která by mohla být mnohem efektivnější než GPT-4 - nebo něco podobného - při hltání obrovského množství dat a přeměnit ji na odpověď.

Technologie známá jako Hyena je schopna dosáhnout ekvivalentní přesnosti při srovnávacích testech, jako je odpovídání na otázky, při použití zlomku výpočetního výkonu. V některých případech je kód Hyena schopen zpracovat množství textu, kvůli kterému technologie ve stylu GPT jednoduše dojde paměť a selže.

„Naše slibné výsledky na stupnici submiliardových parametrů naznačují, že pozornost nemusí být vše, co potřebujeme,“ píší autoři. Tato poznámka odkazuje na název přelomové zprávy o umělé inteligenci z roku 2017, „Pozor je vše, co potřebujete“. V tomto dokumentu vědec společnosti Google Ashish Vaswani a jeho kolegové představili světu program Transformer AI společnosti Google. Transformer se stal základem pro každý z posledních velkých jazykových modelů.

Transformer má ale velkou chybu. Využívá něco, co se nazývá „pozornost“, kde počítačový program vezme informace v jedné skupině symbolů, jako jsou slova, a přesune tyto informace do nové skupiny symbolů, jako je odpověď, kterou vidíte z ChatGPT, která je výstupem.

Tato operace pozornosti - základní nástroj všech velkých jazykových programů, včetně ChatGPT a GPT-4 - má "kvadratickou" výpočetní složitost (Wiki "časová složitost" počítání). Tato složitost znamená, že doba potřebná k tomu, aby ChatGPT vytvořila odpověď, se zvyšuje s druhou mocninou množství dat, která jsou dodávána jako vstup.

V určitém okamžiku, pokud je příliš mnoho dat - příliš mnoho slov ve výzvě nebo příliš mnoho řetězců konverzací během hodin a hodin chatování s programem - pak program buď uvízne a poskytuje odpověď, nebo musí dostávat stále více čipů GPU, aby běžely rychleji a rychleji, což vede k nárůstu požadavků na výpočetní techniku.

V novém dokumentu „Hyena Hierarchy: Towards Larger Convolutional Language Models“, uveřejněném na předtiskovém serveru arXiv, hlavní autor Michael Poli ze Stanfordu a jeho kolegové navrhují nahradit funkci pozornosti Transformeru něčím subkvadratickým, a to Hyena.

Autoři nevysvětlují název, ale lze si představit několik důvodů pro program "Hyena". Hyeny jsou zvířata žijící v Africe, která dokážou lovit na míle a míle. V jistém smyslu by velmi silný jazykový model mohl být jako hyena, lovící kilometry a míle, aby našla potravu.

Ale autoři se skutečně zabývají „hierarchií“, jak název napovídá, a rodiny hyen mají přísnou hierarchii, podle níž mají členové místního klanu hyen různé úrovně postavení, které zakládá dominanci. Nějakým analogickým způsobem program Hyena používá spoustu velmi jednoduchých operací, jak uvidíte, znovu a znovu, takže se spojí a vytvoří jakousi hierarchii zpracování dat. Je to ten kombinatorický prvek, který dává programu jméno Hyena.

Mezi autory příspěvku patří osobnosti ze světa AI, jako je Yoshua Bengio, vědecký ředitel MILA, který je držitelem Turingovy ceny za rok 2019, což je počítačový ekvivalent Nobelovy ceny. Bengio je široce uznáván za vývoj mechanismu pozornosti dlouho předtím, než jej Vaswani a tým upravili pro Transformer.

Mezi autory je také docent informatiky Stanfordské univerzity Christopher Ré, který v posledních letech pomohl prosadit pojem AI jako „software 2.0“.

Aby našli subkvadratickou alternativu k pozornosti, Poli a tým se pustili do studia toho, jak mechanismus pozornosti dělá to, co dělá, aby zjistili, zda by tato práce mohla být provedena efektivněji.

Nedávná praxe ve vědě AI, známá jako mechanická interpretovatelnost, přináší poznatky o tom, co se děje hluboko uvnitř neuronové sítě, uvnitř výpočetních „obvodů“ pozornosti. Můžete si to představit jako rozebrání softwaru způsobem, jakým byste rozebrali hodiny nebo počítač, abyste viděli jejich části a zjistili, jak fungují.

Jedna práce citovaná Poli a týmem je soubor experimentů výzkumníka Nelsona Elhage ze startupu AI Anthropic. Tyto experimenty rozebírají programy Transformer, aby se zjistilo, co dělá pozornost.

Elhage a tým v podstatě zjistili, že pozornost funguje na své nejzákladnější úrovni pomocí velmi jednoduchých počítačových operací, jako je kopírování slova z nedávného vstupu a jeho vkládání do výstupu.

Pokud například začnete zadávat do velkého jazykového modelového programu, jako je ChatGPT, větu z Harryho Pottera a Kámen mudrců, jako „Pan Dursley byl ředitelem firmy jménem Grunnings…“, stačí napsat „D-u-r-s“, začátek jména může stačit k tomu, aby program vyzval k dokončení jména „Dursley“, protože jméno viděl v předchozí větě Kamene mudrců. Systém je schopen zkopírovat z paměti záznam znaků "l-e-y" pro automatické doplňování věty.

Operace pozornosti však naráží na problém kvadratické složitosti, protože množství slov roste a roste. Více slov vyžaduje více toho, co je známé jako "váhy" nebo parametry, aby bylo možné spustit operaci upozornění.

Jak píší autoři: "Blok Transformer je mocný nástroj pro sekvenční modelování, ale není bez omezení. Jedním z nejpozoruhodnějších jsou výpočetní náklady, které rychle rostou s rostoucí délkou vstupní sekvence."

Zatímco technické detaily ChatGPT a GPT-4 nebyly zveřejněny OpenAI, má se za to, že mohou mít bilion nebo více takových parametrů. Spuštění těchto parametrů vyžaduje více čipů GPU od společnosti Nvidia, což zvyšuje náklady na výpočet.

Aby se snížily tyto kvadratické výpočetní náklady, Poli a tým nahradili operaci pozornosti tím, co se nazývá „konvoluce“, což je jedna z nejstarších operací v programech AI, zdokonalená v 80. letech 20. století. Konvoluce je pouze filtr, který dokáže vybrat položky v datech, ať už jde o pixely na digitální fotografii nebo slova ve větě.

Poli a tým dělají jakousi mash-up: vezmou práci Stanfordského výzkumníka Daniela Y. Fu a jeho týmu, aby aplikovali konvoluční filtry na sekvence slov, a spojili to s prací vědce Davida Romera a kolegů z Vrije Universiteit Amsterdam. což umožňuje programu měnit velikost filtru za běhu. Tato schopnost flexibilního přizpůsobení snižuje počet nákladných parametrů nebo hmotností, které program musí mít.

Hyena je kombinací filtrů, které na sobě staví, aniž by došlo k obrovskému nárůstu parametrů neuronové sítě.

Výsledkem mash-up je, že konvoluce může být aplikována na neomezené množství textu, aniž by bylo potřeba více a více parametrů, aby bylo možné kopírovat stále více dat. Je to „bezpozorný“ přístup, jak se vyjádřili autoři.

"Operátoři hyeny jsou schopni výrazně zmenšit mezeru v kvalitě s pozorností ve velkém měřítku," píší Poli a tým, "dosahují podobné zmatenosti a následného výkonu s menším výpočtovým rozpočtem." Zmatenost je technický termín odkazující na to, jak sofistikovaná je odpověď, kterou generuje program, jako je ChatGPT.

Aby autoři prokázali schopnosti Hyeny, testují program proti řadě benchmarků, které určují, jak dobrý je jazykový program v různých úlohách umělé inteligence.

Jedním z testů je The Pile, 825gigabajtová sbírka textů, kterou v roce 2020 dala dohromady Eleuther.ai, nezisková organizace pro výzkum AI. Texty jsou shromážděny z „kvalitních“ zdrojů, jako jsou PubMed, arXiv, GitHub, americký patentový úřad a další, takže zdroje mají rigoróznější podobu než například jen diskuse na Redditu.

Klíčovou výzvou pro program bylo vytvořit další slovo, když jako vstup dostane spoustu nových vět. Program Hyena byl schopen dosáhnout ekvivalentního skóre jako původní program GPT OpenAI z roku 2018 s o 20 % méně výpočetních operací - „první bezpozorná, konvoluční architektura, která odpovídá kvalitě GPT“ s menším počtem operací, píší výzkumníci.

Hyena dokázala porovnat původní program GPT OpenAI s o 20 % méně výpočetních operací.

Dále autoři testovali program na logických úlohách známých jako SuperGLUE, které v roce 2019 představili učenci z New York University, Facebook AI Research, DeepMind společnosti Google a University of Washington.

Když například dostanete větu: „Moje tělo vrhá stín na trávu“ a dvě alternativy příčiny, „vycházelo slunce“ nebo „tráva byla posekána“, a požádáni, aby si vybral jednu nebo druhou, program by měl generovat "slunce vycházelo" jako příslušný výstup.

Ve více úkolech program Hyena dosáhl skóre na úrovni nebo blízko skóre verze GPT, zatímco byl trénován na méně než polovičním množství tréninkových dat.

Ještě zajímavější je, co se stalo, když autoři zvýšili délku frází použitých jako vstup: více slov znamenalo lepší zlepšení výkonu. S 2 048 „žetony“, které si můžete představit jako slova, potřebuje Hyena k dokončení jazykového úkolu méně času než přístup pozornosti.

Autoři tvrdí, že při 64 000 tokenech „zrychlení Hyeny dosahují 100x“ - stonásobné zvýšení výkonu.

Poli a tým tvrdí, že nejenom zkusili jiný přístup s Hyenou, ale „prolomili kvadratickou bariéru“, což způsobilo kvalitativní změnu v tom, jak těžké je pro program vypočítat výsledky.

Naznačují, že v budoucnu také dochází k potenciálně významným posunům v kvalitě: „Prolomení kvadratické bariéry je klíčovým krokem k novým možnostem hlubokého učení, jako je použití celých učebnic jako kontextu, generování hudby v dlouhém formátu nebo zpracování obrázků v gigapixelovém měřítku. “ píšou.

Schopnost Hyeny používat filtr, který se efektivněji rozkládá na tisíce a tisíce slov, píší autoři, znamená, že „kontext“ dotazu na jazykový program nemůže být prakticky omezen. Ve skutečnosti by to mohlo vybavit prvky textů nebo předchozích rozhovorů, které jsou daleko od aktuálního vlákna rozhovoru - stejně jako hyeny lovící na míle daleko.

„Operátoři hyen mají neomezený kontext,“ píší. "Jmenovitě nejsou uměle omezeni např. lokalitou a mohou se naučit dlouhodobé závislosti mezi kterýmkoli z prvků [vstupu]."

Kromě toho lze program kromě slov použít i na data různých modalit, jako jsou obrázky a možná i video a zvuky.

Je důležité poznamenat, že program Hyena zobrazený v tomto článku je malý ve srovnání s GPT-4 nebo dokonce GPT-3. Zatímco GPT-3 má 175 miliard parametrů, neboli vah, největší verze Hyena má pouze 1,3 miliardy parametrů. Zbývá tedy vidět, jak dobře si Hyena povede v úplném přímém srovnání s GPT-3 nebo 4.

Pokud se však dosažená účinnost udrží ve větších verzích programu Hyena, mohlo by to být nové paradigma, které je stejně převládající, jako byla pozornost v posledním desetiletí.

Jak Poli a tým uzavírají: "Jednodušší sub-kvadratické návrhy, jako je Hyena, založené na sadě jednoduchých hlavních principů a hodnocení mechanistických měřítek interpretovatelnosti, mohou tvořit základ pro efektivní velké modely."