Kvantový průlom společnosti Google je "skutečně pozoruhodný" - ale je třeba udělat více
Na dnešní akci GTC společnosti Nvidia generální ředitel Jensen Huang oznámil, že společnost tvrdí, že má potenciál transformovat odvětví v hodnotě mnoha bilionů dolarů. Z oznámení si vybíráme vybrané a zaměřujeme se na hardwarovou a softwarovou infrastrukturu, která pohání aplikace, které se dostávají na titulní stránky novin.
GTC, vlajková loď společnosti Nvidia, je vždy zdrojem oznámení týkajících se všeho, co se týká umělé inteligence. Podzimní vydání 2021 není výjimkou. Huangova keynote zdůraznila to, co Nvidia nazývá Omniverse. Omniverse je platforma společnosti Nvidia pro simulaci virtuálního světa a spolupráci pro 3D pracovní postupy, která spojuje její technologie.
Na základě toho, co jsme viděli, bychom Omniverse popsali jako pojetí Metaverse společností Nvidia. Více o Omniverse si budete moci přečíst v reportáži Stephanie Condonové a Larryho Dignana zde na ZDNet. Co můžeme říci je, že skutečně, aby něco takového fungovalo, je zapotřebí souběh technologií.
Pojďme si tedy projít některé aktualizace v technologickém zásobníku Nvidie a zaměřit se na komponenty, jako jsou velké jazykové modely (LLM) a inference.
Viz též: Vše oznámeno na podzimním GTC společnosti Nvidia 2021.
NeMo Megatron, open source platforma pro velký jazykový model společnosti Nvidia
Společnost Nvidia představila to, co nazývá Nvidia NeMo Megatron framework pro trénování jazykových modelů. Kromě toho Nvidia dává k dispozici Megatron LLM, model s 530 miliardami, který lze trénovat pro nové domény a jazyky.
Bryan Catanzaro, viceprezident pro výzkum aplikovaného hlubokého učení ve společnosti Nvidia, uvedl, že "vytváření velkých jazykových modelů pro nové jazyky a domény je pravděpodobně dosud největší superpočítačovou aplikací a nyní jsou tyto možnosti pro světové podniky na dosah".
Zatímco LLM jistě zaznamenávají velkou trakci a rostoucí počet aplikací, užitečnost této konkrétní nabídky vyžaduje určité zkoumání. Za prvé, školení LLM není pro slabé povahy a vyžaduje hluboko do kapsy. Odhaduje se, že trénování modelu, jako je GPT-3 od OpenAI, stojí kolem 12 milionů dolarů.
OpenAI se spojila se společností Microsoft a zpřístupnila API kolem GPT-3, aby jej mohla komercializovat. A existuje řada otázek, které je třeba si položit kolem proveditelnosti školení vlastního LLM. Tou zřejmou je, zda si to můžete dovolit, takže řekněme, že Megatron není v tuto chvíli zaměřen na podniky obecně, ale na konkrétní podmnožinu podniků.
Druhá otázka by byla - proč? Opravdu potřebujete vlastní LLM? Catanzaro poznamenává, že LLMS "se ukázaly jako flexibilní a schopné, schopné odpovídat na hluboké otázky domény, překládat jazyky, chápat a shrnovat dokumenty, psát příběhy a výpočetní programy".
Výkon působivé umělé inteligence je založen na řadě softwarových a hardwarových pokroků a Nvidia řeší obojí.
Nešli bychom tak daleko, abychom řekli, že LLM například "rozumějí" dokumentům, ale uznejme, že LLM jsou dostatečně užitečné a budou se stále zlepšovat. Huang tvrdil, že LLM "budou největší mainstreamovou HPC aplikací vůbec".
Skutečná otázka zní - proč si budovat vlastní LLM? Proč nevyužít například API GPT-3? Konkurenční diferenciace může být legitimní odpovědí na tuto otázku. Funkce nákladů k hodnotě může být jiná, v další inkarnaci odvěké otázky "koupit versus postavit".
Jinými slovy, pokud jste přesvědčeni, že potřebujete LLM pro své aplikace a plánujete používat GPT-3 nebo jakýkoli jiný LLM s podobnými podmínkami použití, dostatečně často, může být ekonomičtější trénovat si vlastní. Nvidia zmiňuje případy použití, jako je vytváření chatbotů specifických pro doménu, osobních asistentů a dalších aplikací AI.
K tomu by dávalo větší smysl začít od předem vyškoleného LLM a přizpůsobit jej vašim potřebám prostřednictvím transferového učení, než ho trénovat od nuly. Nvidia poznamenává, že NeMo Megatron staví na vylepšeních Megatronu, open-source projektu vedeného výzkumníky společnosti Nvidia, kteří studují efektivní trénování jazykových modelů velkých transformátorů ve velkém měřítku.
Společnost dodává, že rámec NeMo Megatron umožňuje podnikům překonat výzvy spojené s trénováním sofistikovaných modelů zpracování přirozeného jazyka. Zdá se tedy, že hodnotová nabídka je - pokud se rozhodnete investovat do LLM, proč nevyužít Megatron? I když to zní jako rozumný návrh, měli bychom poznamenat, že Megatron není jedinou hrou ve městě.
Nedávno společnost EleutherAI, kolektiv nezávislých výzkumníků v oblasti umělé inteligence, zveřejnila svůj model GPT-j s 6 miliardami parametrů. Kromě toho, pokud se zajímáte o jazyky mimo angličtinu, máme nyní velký evropský jazykový model, který plynně hovoří anglicky, německy, francouzsky, španělsky a italsky od Aleph Alpha. Wudao je čínský LLM, který je také největším LLM s 1.75 bilionu parametrů, a HyperCLOVA je korejský LLM s 204 miliardami parametrů. Navíc jsou tu vždy další, o něco starší/menší open source LLM jako GPT2 nebo BERT a jejich mnoho variant.
Zaměření na odvození modelu AI řeší celkové náklady na vlastnictví a provoz
Jednou z výhrad je, že pokud jde o LLM, větší (ve smyslu mít více parametrů) nemusí nutně znamenat lepší. Dalším je, že i se základem, jako je Megatron, na kterém lze stavět, jsou LLM drahé bestie na výcvik a provoz. Nabídka společnosti Nvidia je nastavena tak, aby řešila oba tyto aspekty tím, že se také konkrétně zaměří na inferenci.
Nvidia poznamenává, že Megatron je optimalizován pro škálování napříč rozsáhlou akcelerovanou výpočetní infrastrukturou Nvidia DGX SuperPOD.™ NeMo Megatron automatizuje složitost školení LLM pomocí knihoven pro zpracování dat, které přijímají, spravují, organizují a čistí data. Pomocí pokročilých technologií pro paralelizaci dat, tenzorů a kanálů umožňuje trénování velkých jazykových modelů, které lze efektivně distribuovat mezi tisíce GPU.
Ale co odvozování? Koneckonců, alespoň teoreticky, trénujete LLM pouze jednou, ale model se používá mnohokrát, aby se odvodilo - přineslo výsledky. Fáze inference provozu představuje přibližně 90 % celkových nákladů na energii na provoz modelů AI. Takže mít inferenci, která je rychlá a ekonomická, je prvořadá důležitost a to platí i mimo LLM.
Nvidia to řeší oznámením velkých aktualizací svého Triton Inference Serveru, protože 25 000+ společností po celém světě nasazuje inferenci Nvidia AI. Aktualizace zahrnují nové funkce v open source softwaru Nvidia Triton Inference Server™, který poskytuje inferenci napříč platformami na všech modelech a rámcích AI, a Nvidia TensorRT,™ která optimalizuje modely AI a poskytuje běhové prostředí pro vysoce výkonné inference na GPU Nvidia.
Nvidia představuje řadu vylepšení pro Triton Inference Server. Nejzřejmější vazbou na LLM je, že Triton má nyní multi-GPU multinode funkcionalitu. To znamená, že LLM založené na Transformeru, které se již nevejdou do jednoho GPU, lze odvodit napříč více GPU a serverovými uzly, což podle Nvidie poskytuje inferenční výkon v reálném čase.
90 % celkové energie potřebné pro modely umělé inteligence pochází z inference
Triton Model Analyzer je nástroj, který automatizuje klíčovou optimalizační úlohu tím, že pomáhá vybrat nejlepší konfigurace pro modely AI ze stovek možností. Podle Nvidie, Dosahuje optimálního výkonu a zároveň zajišťuje kvalitu služeb požadovaných pro aplikace.
RAPIDS FIL je nový back-end pro inferenci GPU nebo CPU modelů náhodných domén a rozhodovacích stromů zesílených gradientem, který poskytuje vývojářům jednotný engine nasazení pro hluboké učení i tradiční strojové učení s Tritonem.
V neposlední řadě na softwarové frontě nyní Triton přichází s integrací Amazon SageMaker, která uživatelům umožňuje snadno nasazovat multi-rámcové modely pomocí Tritonu v rámci SageMaker, plně spravované služby umělé inteligence AWS.
Na hardwarové frontě Triton nyní podporuje také procesory Arm a GPU Nvidia a procesory x86. Společnost také představila GPU Nvidia A2 Tensor Core, akcelerátor s nízkou spotřebou a malými nároky pro inferenci AI na okraji, o kterém Nvidia tvrdí, že nabízí až 20x vyšší inferenční výkon než procesory.
Triton poskytuje inferenci AI na GPU a CPU v cloudu, datovém centru, podnikovém okraji a vestavěném cloudu, je integrován do AWS, Google Cloud, Microsoft Azure a Alibaba Cloud a je součástí Nvidia AI Enterprise. Aby pomohl dodávat služby založené na technologiích umělé inteligence společnosti Nvidia na okraj, oznámil Huang Nvidia Launchpad.
Nvidia se aktivně snaží udržet si vedoucí postavení díky svému hardwarovému a softwarovému ekosystému
A to zdaleka není vše, co dnes Nvidia představila. Nvidia Modulus vytváří a trénuje fyzikálně orientované modely strojového učení, které se mohou učit a dodržovat fyzikální zákony. Grafy - klíčová datová struktura v moderní datové vědě - lze nyní promítat do rámců hlubokých neuronových sítí pomocí Deep Graph Library neboli DGL, nového balíčku Pythonu.
Huang také představil tři nové knihovny: ReOpt, pro logistický průmysl v hodnotě 10 bilionů dolarů. cuQuantum pro urychlení výzkumu kvantových počítačů. A cuNumeric, pro urychlení NumPy pro vědce, datové vědce a výzkumníky strojového učení a umělé inteligence v komunitě Pythonu. A Nvidia na GTC představuje 65 nových a aktualizovaných SDK.
Takže, co si o tom všem myslet? I když jsme si vybrali jen jednu z těchto položek, každá z těchto položek by si pravděpodobně zasloužila vlastní analýzu. Celkový obrázek je takový, že Nvidia opět postupuje proaktivně, aby si udržela své vedení ve společném úsilí propojit svůj hardware se svým softwarem.
LLM se v tuto chvíli může zdát pro většinu organizací exotické. Přesto Nvidia sází na to, že se dočká většího zájmu a praktických aplikací a postaví se jako platforma LLM, na které mohou ostatní stavět. Ačkoli existují alternativy, kurátorství, podpora a propojení se softwarovým a hardwarovým ekosystémem a značkou Nvidia se bude mnoha organizacím pravděpodobně zdát jako atraktivní nabídka.
Totéž platí pro zaměření na inferenci. Tváří v tvář rostoucí konkurenci řady dodavatelů hardwaru postavených na architekturách navržených speciálně pro pracovní zátěže AI, Nvidia zdvojnásobuje inferenci. Jedná se o část operace modelu AI, která hraje největší roli v celkových nákladech na vlastnictví a provoz. A Nvidia to opět dělá ve svém charakteristickém stylu - využívá hardware a software do ekosystému.