Jak plán IBM pro průmyslovou transformaci využívá umělou inteligenci, 5G a spolupráci
Navzdory posedlosti hlubokého učení velkými modely a obecnými přístupy Amazon ukazuje, že nejlepších výsledků lze dosáhnout s ekonomickými modely.
Jednoduchý úkol, zredukovat všechna slova v článku na kompaktní sekvenci slov, která vysvětluje ústřední myšlenku článku, patří mezi srovnávací úkoly v hlubokém učení. Vědci z Amazonu v oblasti umělé inteligence Alexa tvrdí, že zde mohou překonat úsilí mnohem větších počítačových programů od společností DeepMind, Google, Meta, OpenAI a dalších. Práce má důsledky pro spotřebu energie a účinnost uhlíkové stopy.
Strojovému učení v dnešní době silně dominují dvě směry výzkumu: učinit programy obecnějšími ve svém přístupu (aby zvládly jakýkoli potenciální úkol) a učinit je většími.
Největší neuronové sítě, měřené jejich parametry nebo "váhami", mají více než půl bilionu hmotností. Modely jako Pathways Language Model od Googlu nebo PaLM a Nvidia a Megatron-Turing NLG 530B od Nvidie a Microsoftu patří k největším s 540 miliardami a 530 miliardami parametrů. Čím více parametrů program obecně má, tím větší množství výpočetního výkonu spotřebuje na trénování a také na provádění předpovědí, což se nazývá inference.
Kromě článku napsal Soltan na toto téma příspěvek na blogu.
Práce Amazonu je součástí širokého trendu v současné literatuře, který se snaží najít alternativy k rostoucí velikosti. Dobrým příkladem je dokument vydaný minulý týden společností Meta (vlastníci Facebooku a Instagramu) s názvem "Učení několika snímků s rozšířenými jazykovými modely". Popisuje jazykový model nazvaný Atlas, který má pouze 11 miliard parametrů a je trénován pomocí pouhých 64 příkladů datových bodů.
Stejně jako u AlexaTM 20B program Atlas poráží PaLM s výrazným náskokem, píší autoři, a to i s pouhými 64 příklady. Klíčem k Atlasu je kombinace předem natrénovaného jazykového modelu se schopností získávat informace z online zdrojů, jako je Wikipedie, jako byste volali příteli a žádali ho o odpověď.
V případě AlexaTM 20B používají autoři Amazonu k dosažení svého skóre tři vylepšení.
Amazon 2022 AlexTM 20B Diagram
První zajímavou úpravou je návrat k základům a obnovení něčeho převzatého z nedávných obřích jazykových modelů. Základ AlexaTM 20B je stejný jako u PaLM a GPT-3 a dalších, kodér-dekodér Transformer - přístup, který v roce 2017 propagovali vědci společnosti Google Ashish Vaswani a jeho kolegové.
Transformer používá jednotky zvané "sebe-pozornost", aby přišel s skóre pravděpodobnosti toho, jak může být každé slovo nalezeno v kontextu jiných slov. Toto skóre se pak používá k vyplnění mezer při předpovídání slov do smysluplných textových bloků.
V případě AlexaTM 20B se Soltan a jeho kolegové zásadně odklánějí od PaLM a GPT-3 a dalších gigantických následovníků původního Transformeru. Tyto novější modely se obešly bez jedné poloviny Transformeru, kterému se říká enkodér (věc, která mapuje vstupní data do skrytých stavů, aby byla poté dekódována do odpovědi). Místo toho PaLM a GPT-3 sloučí vstup s dekodérem, aby vytvořily ořezaný program, který je modelem "pouze pro dekodér".
Tým Alexa vloží kodér zpět do programu. Jejich tvrzení je, že mít oba prvky pomáhá zlepšit přesnost v tom, co se nazývá "odstranění šumu", což znamená rekonstrukci původní věty, kde některá slova vypadla.
V modelu založeném pouze na dekodéru probíhá podmíněná pravděpodobnost předpovězeného textu pouze jedním směrem: každá další odpověď je založena pouze na tom, co bylo předtím. Naproti tomu ve verzi s plným kodérem-dekodérem model provádí odhad pravděpodobností v obou směrech: co předcházelo danému slovu a co následovalo To lépe slouží v úlohách, kde se nejen generuje další prvek ve větě, ale také se dělají věci, jako je porovnávání slovo od slova, například při překladových úlohách z jednoho jazyka do druhého.
Modely Amazon 2022 AlexTM 20B pouze s dekodérem
Jak píší: "AlexaTM 20B dosahuje nového stavu techniky 82,63 % v nastavení nulového výstřelu v režimu odšumování. Hlavním důvodem, proč režim odšumování pro tento úkol funguje lépe, je to, že v režimu odšumování se vstup opakuje v kodéru a dekodéru, což modelu umožňuje plně využít kodér i dekodér k nalezení nejlepší odpovědi."
Druhou věcí, kterou autoři přidávají, je trénovat model pomocí takzvaného "kauzálního jazykového modelování". CLM je zkráceně úloha, která se používá v GPT-3 a dalších Transformerech pouze s dekodérem. Specificky reprezentuje každé slovo jako závislé pouze na slovech, která byla před vámi - sekvenční, jednosměrná závislost, která je trénována tak, aby generovala věty na základě počáteční výzvy.
Autoři kombinují úlohu odstranění šumu s kauzální úlohou v tréninku AlexaTM 20B, přičemž odstranění šumu zabírá 80 % tréninkové aktivity a kauzální modelování zbývající pětinu.
Předností přidání kauzálního modelování je, že podobně jako GPT-3 pomáhá při tom, čemu se říká "in-context learning". In-context learning je široká rubrika pokrývající všechny modely, které jsou schopny provádět učení s nulovým nebo malým počtem záběrů. To znamená, že program nemá žádné znalosti specifické pro doménu; Stačí mu dát příkladovou výzvu a program vytvoří předpověď, která je v souladu s typem položené otázky.
Díky tomuto hybridnímu tréninkovému režimu si AlexTM 20B vede dobře nejen při rekonstrukci vět - což je úkol odstraňování šumu, ale je také "prvním vícejazyčným modelem seq2seq [sekvence k sekvenci] schopným kontextového učení," píší autoři. Jinými slovy, je to hybridní program.
Třetí zajímavou úpravou Soltana a jeho kolegů je enormní zvýšení počtu datových bodů, které jsou do programu vloženy během školení. Během tréninku vkládají jeden bilion "tokenů", jednotlivých částí dat; to je více než třikrát více, než kolik GPT-3 obdrží. Trénovací datové sady se v tomto případě skládají z položek na Wikipedii a také z toho, co se nazývá mC4, datová sada pro trénovací Transformers, kterou loni představil Linting Xue a kolegové z Googlu. Je založen na textu v přirozeném jazyce ve 101 jazycích z datových zdrojů Common Crawl Web-scraped.
Použití velmi velkého množství vstupních tréninkových dat je jedním z klíčových prvků práce Alexa. Soltan a jeho tým se rozhodli jít touto cestou, píší, na základě pozorování Jordana Hoffmana a kolegů z OpenAI, které bylo zveřejněno v článku z letošního března "Trénování výpočetně optimálních velkých jazykových modelů".
V tomto článku Hoffman a jeho kolegové dospěli k závěru, že "současné velké jazykové modely jsou výrazně nedostatečně trénovány, což je důsledek nedávného zaměření na škálování jazykových modelů při zachování konstantního množství trénovacích dat." Tím, že vezmeme širokou škálu jazykových modelů různých velikostí a otestujeme je všechny s různým množstvím vstupních tokenů, Autoři dospěli k závěru, že "pro výpočetně optimální trénování by měla být velikost modelu a počet trénovacích tokenů škálovány stejně".
AlexaTM 20B tedy není jen skoupý - jeho cílem je dokázat, že lze vyvážit méně parametrů s více tréninkovými daty, aby se vyrovnal přesvědčivému výkonu.
Mimochodem, autoři se také snaží tvarovat většinu vstupu jako přirozený mluvený text, vypouštějí velká písmena a interpunkci, což má v prostředí Alexy význam. "Zařazujeme více mluveného než psaného textu, abychom uspokojili naše interní případy použití," píší.
Některé z technologií týmu Alexa AI se používají v produktech Alexa, ačkoli Amazon v e-mailu pro ZDNet uvedl, že skupina "také provádí výzkum zaměřený na budoucnost". Model AlexaTM 20B, uvedl Amazon, "je v této fázi především výzkumným projektem".
Amazon dodal: "Je možné, že tento model bude v budoucnu nasazen do výroby, ale k vývoji funkcí a produktů Alexa bude použita pouze upravená verze se svodidly."
Autoři trénují model AlexaTM 20B "po dobu 120 dnů na 128 grafických procesorech [Nvidia] A100 pro celkem 500 tisíc aktualizací s kumulativní velikostí dávky 2 miliony tokenů (celkem 1 bilion aktualizací tokenů)," píší.
To může znít jako hodně, ale je to méně než PaLM, který byl vyškolen Googlem na dvou svých TPU Podech čtvrté generace, skládajících se z 3 072 TPU čipů v každém Podu, které jsou připojeny k 768 hostitelským počítačům.
Jak v dubnu poznamenali autoři Googlu Aakanksha Chowdhery a tým, jednalo se o "dosud největší popsanou konfiguraci TPU".
Výsledky jsou uvedeny ve specifických výsledcích testů. Soltan a jeho tým kladou zvláštní důraz na úspěch v konkrétních úkolech, na rozdíl od všech myslitelných úkolů. Soltan a jeho tým například pozorují, že "AlexaTM 20B funguje lépe nebo srovnatelně s dosud největším modelem pouze s hustým dekodérem (tj. PaLM 540B) v souhrnu jak v nastavení 1 snímku, tak v jemném doladění." To platí konkrétně v úloze shrnutí odstavců známé jako MLSum; v němčině, španělštině a francouzštině AlexaTM 20B hravě porazil PaLM.
Srovnávací test MLSum, zavedený v roce 2020 francouzským Národním centrem pro vědecký výzkum, zahrnuje 1,5 milionu článků z novin. Úkolem je, aby jazykový model vygeneroval několik vět textu, které vyjadřují myšlenku uvedenou v celém článku. To samozřejmě vyžaduje velkou redukci stovek slov na možná několik desítek.
Ve čtvrtém testu, XSum, provedeném v angličtině, byl model AlexaTM 20B těsně druhý a porazil verzi PaLM, která byla větší než AlexaTM 20B, ale menší než verze PaLM s 540 miliardami parametrů.
I když vyniká v sumarizaci, AlexTM 20B zaostává v některých dalších úkolech. Například program je testován na datových sadách "uvažování" (jako je MultiArith) a úlohách uvažování "řetězce myšlenek" (což jsou velmi jednoduché aritmetické problémy napsané v přirozeném jazyce), ale výrazně zaostává za tím, čeho dosahují mnohem větší modely, jako je GPT-3.
Soltan a jeho tým píší: "AlexaTM 20B funguje o něco lépe než modely podobné velikosti, ale nezaznamenali jsme zisk, který z takových speciálních výzev vykazují mnohem větší modely jako GPT3 175B," což znamená vodítka poskytnutá programu o dalším kroku v problému.
"Výsledky naznačují, že škálování parametrů modelu je zásadní pro dobré provádění úloh 'uvažování', jak bylo dříve prokázáno [...] v architekturách pouze s dekodéry pomocí modelů Instruct-GPT3."
Zaměříme-li se na úspěšné úkoly, jako je shrnutí, hlavním závěrem, ke kterému Soltan a jeho tým dospávají, je, že jejich smíšený přístup k tréninku programu - využívající jak cíle odstranění šumu, tak kauzální jazykové modelování - je klíčem k tomu, aby se věci zefektivnily.
"To naznačuje, že smíšený předtrénink, a ne nutně dodatečný multitaskingový trénink [...] je klíčem k trénování silných rozsáhlých jazykových modelů (LLM) založených na seq2seq," píší.
Abychom se vrátili k původní otázce velikosti, jak bylo uvedeno v mnoha kontextech, spotřeba energie stále větších programů umělé inteligence je etickým problémem v rámci postupů umělé inteligence. Autoři předkládají silné argumenty pro relevanci svého efektivnějšího přístupu.
Vzhledem k tomu, že AlexaTM 20B "je mnohem menší než modely jako GPT3 175B, přesto dosahuje podobného nebo lepšího výkonu v různých úlohách," píší, "trvalý dopad používání AlexaTM 20B pro inferenci na životní prostředí je mnohem nižší než u větších modelů (zhruba 8,7krát nižší)."
Dodávají: "Proto má AlexaTM 20B postupem času také nižší uhlíkovou stopu."
Autoři nabízejí tabulku statistik ukazujících relativní uhlíkovou stopu a v číslech je velký rozdíl.
Toto je srovnávací tabulka uhlíkové stopy Amazon 2022 AlexTM 20B.
Ta tabulka uhlíkových stop je možná nejzajímavějším aspektem toho všeho. Zdá se, že další výzkum hlubokého učení se bude snažit získat body pro hodnocení životního prostředí, aby ukázal, jak energeticky účinný může daný přístup být. To je v souladu s rostoucím zaměřením světa na "ESG", což znamená environmentální, sociální a správní faktory, a to ve všech věcech.
To může znamenat, že ekologický přístup se v některých ohledech stal součástí cíle hlavního proudu výzkumu umělé inteligence.