Mohla by z vás umělá inteligence v roce 2025 udělat miliardáře?

Software je klíčem k rozšíření dosahu umělé inteligence a velká část z něj se vrací k desítky let starým přístupům v technologii kompilátorů.

"Trénování největších modelů vyžaduje milion dolarů, jsou ekvivalentem superpočítače," říká generální manažer Intelu pro umělou inteligenci a analytiku Wei Li. "To není udržitelné, nebude to široce použitelné, pokud každý musí platit deset milionů dolarů za trénování modelu s biliony parametrů."

V kruzích hlubokého učení umělé inteligence se objevil konsensus o několika základních pojmech. 

Jednou z představ je, že trend zvětšování a zvětšování neuronových sítí bude v dohledné budoucnosti pokračovat, s několika výjimkami. 

Dalším konsenzuálním názorem je, že potenciál hlubokého učení spočívá v softwarových inovacích, a to navzdory šíření nového hardwaru.

Dohromady, co tyto dvě věci znamenají?

Mohou znamenat, že softwarové inovace jsou jedinou věcí, která zpřístupní hluboké učení všem, kteří by umělou inteligenci používali, nejen těm, kteří vlastní největší a nejdražší počítače. 

"Dnešní umělá inteligence je skutečně o superpočítačích, když se do nich ponoříme hlouběji," říká Wei Li, který je viceprezidentem a generálním manažerem pro umělou inteligenci a analytiku čipového giganta Intel. 

"Největší modely stojí milion dolarů na trénování, jsou ekvivalentem superpočítače."

To staví velkou část umělé inteligence mimo dosah obyčejných smrtelníků, řekl Li v rozhovoru pro ZDNet. 

"Byli jsme velmi úspěšní při zavádění umělé inteligence ve výzkumné laboratoři, kde doktorandi ze Stanfordu vytvářejí algoritmy rozpoznávající kočky a psy a poskytovatelé cloudových služeb dělají spoustu věcí," řekl Li. 

"To není udržitelné, nebude to široce použitelné , pokud každý musí zaplatit deset milionů dolarů za trénování modelu s biliony parametrů," řekl Li. "Pokud chcete jít široce - a to je příležitost, mít umělou inteligenci všude - most ještě není úplně tam."

Můstek je podle Liova názoru software. Software je schopnost vzít průlomové objevy laboratoře a distribuovat je do velkých i malých organizací, na různých druzích počítačového hardwaru, včetně CPU a GPU a všech nových druhů exotických akceleračních čipů. 

"Považuji software za most, který se všude dostane k umělé inteligenci," řekl Li.

Pro Li je současná slepá ulička velmi známá. V 90. letech získal doktorát z počítačových věd na Cornellově univerzitě, kde rozvíjel techniky překladačů, softwaru, který umožňuje programům běžet na daném kusu hardwaru. Jeho práce se tehdy konkrétně zaměřovala na to, jak spouštět pracovní zátěže napříč mnoha výpočetními zdroji.

"Úžasné je, že věci, které jsem se tehdy naučil, byly o rychlém běhu a zpracování velkého množství dat," přemítá Li.

Po Cornellovi byl Li před 25 lety přijat do Intelu, když společnost dělala svůj skok z primárně výrobce PC čipů na předního dodavatele serverových čipů. Jeho odborné znalosti byly využity při vývoji kompilátorů pro servery. "Vždycky jsem byl na špičce Intelu," přemítá, "díky tomu je moje práce zábavná."

Jak už to v technice bývá, vše staré je opět nové. Najednou, říká Li, se všechno v hlubokém učení vrací k dřívějším inovacím kompilátorů.

"Kompilátory se v posledních letech staly irelevantními," řekl, což je oblast počítačové vědy považovaná za z velké části vyřešenou. "Ale díky hlubokému učení se kompilátor vrací," řekl. "Jsme uprostřed tohoto přechodu." 

Ve své doktorské disertační práci na Cornellově univerzitě Li vyvinul kompilátorový rámec pro zpracování kódu ve velmi rozsáhlých systémech s tím, co se nazývá "nejednotný přístup do paměti" neboli NUMA. Jeho program přetvořil kódové smyčky pro co největší množství paralelního zpracování. Udělal však také něco jiného obzvláště důležitého: rozhodl, který kód by měl běžet v závislosti na tom, ke kterým pamětem kód potřeboval v daném okamžiku přistupovat. 

Dnes, říká Li, se hluboké učení blíží k bodu, kdy budou dominovat tytéž problémy. Potenciál hlubokého učení není z velké části omezen tím, kolik násobení matic lze vypočítat, ale tím, jak efektivně může program přistupovat k paměti a šířce pásma.  

"V raných fázích [hlubokého učení] to bylo všechno o těchto primitivech, můžete rychle spouštět násobení matic, můžete rychle spouštět konvoluce," řekl Li. 

"Posuneme-li se vpřed, primitiva jsou pouze prvním krokem," řekl Li. Problém se stává rozhodovacím problémem, který je strategičtější. "Jak spustíte graf [výpočetních operací] na všech heterogenních strojích, které máme," řekl . "Chcete to distribuovat, chcete to určitým způsobem paralelizovat, chcete pracovat s paměťovými hierarchiemi určitým způsobem - to všechno jsou optimalizace kompilátoru."

Některé věci jsou těžší než jiné. "Naším úkolem je vybrat graf a rozdělit ho na tyto výpočetní jednotky - to je ta snadná část," řekl Li. Počítačový programátor může kreslit diagramy výpočetního hardwaru, různých uzlů, procesorů a přemýšlet o tom, jak rozdělit prováděcí smyčky. 

Mnohem obtížnější a ne tak snadno vykreslitelné jsou paměti a komunikace, zejména u stále větších modelů neuronových sítí.

"Obtížná část je hierarchie pamětí, je to mnohem těžší než jednoduchá paralelizace, a to je klíč," řekl Li. "Obtížná část je propojovací šířka pásma, organizace komunikace."

"Nemáme dobrý způsob, jak modelovat pohyb dat," poznamenal. "Většina práce je o správě dat - nejtěžší část optimalizace kompilátoru je o správě dat efektivním způsobem." Konkrétně "lokalita dat je velmi důležitá," řekl Li, což znamená, že jedna operace funguje na daném kusu dat a "doufejme, že tento kus dat stále zůstává v nejbližší paměťové vrstvě." nebo možná někde tu kešku."

Rozsah problému se zvyšuje s určitými typy hlubokého učení, jako jsou grafové neuronové sítě, které se používají v doporučovacích systémech například pro komerční aplikace. 

"Na základní úrovni je podobnost, mluvíme o násobení matic, konvoluci, ale pak je tu rozmanitost, když jdete nad to," řekl Li. V systémech počítačového vidění mohou být miliony obrázků, které je třeba zpracovat, ale "když se podíváte na grafy, množství dat je obrovské". Každá osoba propojená s každou jinou osobou, jako v sociální síti, znamená kvalitativně odlišné výzvy pro zpracování.

"Když se zamyslíte nad LinkedIn, kolik miliard lidí - to jsou miliardy a miliardy uzlů - to jsou opravdu velká data."

Jak zacházet s pamětí a propojovat opravdu velká data "se vrací k paralelizaci kompilátorů," řekl Li. 

"Ve skutečnosti potřebujeme spoustu lidí na kompilátory, protože všechno se vrací zpět ke kompilátorům."

Intel již podnikl kroky k tomu, aby do týmu přivedl více odborníků na kompilátory. V červnu společnost oznámila, že koupí startup CodePlay z Edinburghu ve Skotsku, dodavatele paralelních kompilátorů. 

CodePlay je součástí snahy Intelu mít k dispozici široký softwarový stack pro všechny optimalizace, o kterých Li diskutuje. Jako jedno z možných řešení je Li zastáncem sady softwarových nástrojů a platformy, kterou Intel pomohl vyvinout s názvem oneAPI, jejíž zdrojový kód je zveřejněn na GitHubu. Intel dodává svou vlastní implementaci open-source specifikace od prosince 2020.

oneAPI nabízí knihovny, jako je oneDNN, pro zrychlení maticových multiply primitiv. Zahrnuje také programovací jazyk, který Intel zamýšlí být multiplatformním paralelizačním jazykem, nazvaným DPC++. Jazyk je adaptací jazyka SYCL vyvinutého společností Khronos Group. CodePlay již měl svůj vlastní pokus analogický DPC++, nazvaný ComputeC++.

Na otázku ohledně pokroku oneAPI Li řekl: "Adopce se blíží a toto jsou místa, kde se nám dostává docela dobrého přijetí ze strany hlubokého učení."

"Je před námi ještě dlouhá cesta," dodal. "Zavedení standardu v komunitě a ekosystému není snadná věc."

Specifikace oneAPI vyžaduje programovací jazyk, DPC++ a různé knihovny pro optimalizaci aplikací hlubokého učení pro různý hardware. 

Intel může poukázat na některé praktické úspěchy. Jedna z technologií oneAPI, OneDNN, přístup ke zrychlení výkonu neuronové sítě, se stala výchozím nastavením v TensorFlow a PyTorch. Knihovnu Intelu nazvanou BigDL, která dokáže automaticky restrukturalizovat neuronovou síť vyvinutou na jediném uzlu tak, aby se škálovala na tisíce uzlů, převzaly velké společnosti, jako je MasterCard.

Gigant v licencování procesorů ARM implementoval oneAPI do svých návrhů procesorů. "ARM ve skutečnosti používá stejné rozhraní OneAPI a je jedním z velkých přispěvatelů k našemu OneDNN," řekl Li. "Mají implementaci oneDNN na ARM, a tak se rychleji dostanou ke své hodnotě."

"Nakonec uvidíme velké zvýšení výkonu díky optimalizaci, kterou provádíme," řekl Li. "Vidíme 10násobné rozšíření, vidíme 100násobný nárůst výkonu" díky použití oneAPI, řekl.

Součástí bitvy o Li je neustálé zdůrazňování důležitosti softwaru, což je něco, co může být zastíněno ve světě, kde většinu pozornosti přitahují nejnovější hardwarové akcelerátory od startupů, jako jsou Cerebras Systems, Graphcore a SambaNova. 

"Dokonce i v tomto odvětví existuje, můžete to nazvat, odpojení," řekl Li. "Poměrně často lidé mluví o tom, jak máte data, máte algoritmy, máte výpočetní prostředky - pojem software je mnohem, mnohem méně pochopen, ale ve skutečnosti hraje software klíčovou roli při vytváření umělé inteligence."

Jakkoli může být software důležitý, diskuse o akceleraci umělé inteligence se vždy vrátí k roli Intelu jako největšího nezávislého výrobce procesorů a k bitvě mezi ním a mladými rivaly, jako je Cerebras, a úřadujícím čipovým gigantem AI, Nvidií. 

Intel přímo konkuruje startupům s Habana, výrobcem čipů, kterého koupil v roce 2019 a který nadále přináší konkurenceschopná zlepšení výkonu s následujícími generacemi. Intel má břemeno staršího kódu, který musí podporovat všichni jeho uživatelé x86, což je něco, co startupy nemají. V jistém smyslu, říká Li, však startupy musí také podporovat dědictví - dědictví rámců umělé inteligence, jako jsou TensorFlow a PyTorch, které dominují tvorbě neuronových sítí. 

"Jak zapojíte svou jedinečnou věc do něčeho, co už tam je?" tak formuluje Li problém. "To je výzva, kterou mají všichni a je to výzva i pro nás.

"To je důvod, proč mám tým, který pracuje na Pythonu, mám tým pracující na TensorFlow," řekl. "Proto je naší strategií v mnoha ohledech softwarový ekosystém."

Intel si rozděluje trh s velkoobjemovými čipy AI se společností Nvidia, přičemž Nvidia dominuje školení, počáteční fáze, kdy je vyvinuta neuronová síť, a Intel má většinu trhu pro inferenci, kdy trénovaná neuronová síť provádí předpovědi. Intel má také konkurenci na okraji v podobě společnosti Qualcomm, která prosazuje vlastní softwarový stack, který by mohl být považován za alternativu k oneAPI.

Rozšíření procesorů v čipové roadmapě Intelu - GPU pro datová centra s kódovým označením Ponte Vecchio, neustálé vylepšování serverového CPU Xeon o schopnosti násobení matic, nová programovatelná hradlová pole (FPGA) a další - znamená, že existuje velmi rozsáhlý Vennův diagram, kde Intel soutěží s Nvidií, AMD a Qualcommem a startupy.  

"V CPU dnes máme většinu inferenčního trhu, a to je místo, kde hrajeme, a vstupujeme na trh školení kvůli dalším akcelerátorům, které zde děláme," řekl Li. 

Obecně se má za to, že společnost Nvidia má silnou kontrolu nad tréninkovým trhem, a to nejen díky svým objemovým dodávkám GPU, ale také proto, že její programovací nástroje CUDA existují déle než cokoli jiného. 

"Otázka CUDA je zajímavá, protože opravdu závisí na tom, jak nízko lidé půjdou," řekl Li. Pouze malé publikum se skutečně zajímá o zápis do knihoven CUDA a programovacího jazyka CUDA, tvrdí Li. Drtivá většina lidí, které se Intel snaží oslovit pomocí oneAPI, jsou masy: datoví vědci, kteří pracují na úrovni frameworků. 

"Když mluvíme o umělé inteligenci všude, máte miliony vývojářů, ale toto jsou vývojáři většinou na nejvyšší úrovni," řekl. "Nebudou na úrovni programování CUDA, budou na úrovni programování TensorFlow - to jsou lidé, kteří dostanou umělou inteligenci do měřítka, že?"

Má Intel šanci prolomit náskok Nvidie mezi výzkumníky hlubokého učení? Li se zdržuje velkolepých předpovědí. Místo toho řekl: "Myslím, že je to dobré pro celý trh, protože to poskytuje alternativu," čímž myslel oneAPI.

"Mým cílem je, abychom náš produkt dobře vyvíjeli a nechali produkt mluvit na trhu sám za sebe," řekl. "Intel má podle mého názoru dobrou pozici k tomu, aby vedl tuto cestu k tomu, aby se dostal k umělé inteligenci všude, zejména na straně softwaru."

Existuje ještě jedna skupina, se kterou Intel soutěží, ale se kterou také spolupracuje, poskytovatelé cloudových služeb, Amazon, Alphabet a Microsoft. Všechny tři mají své vlastní křemíkové programy. V případě TPU (Tensor Processing Unit) společnosti Alphabet je rodina čipů nyní ve své čtvrté generaci a získává značný vzestup jako specializovaný tahoun v cloudu Google. Čip "Trainium" od Amazonu je v tuto chvíli jako ekosystém méně vyvinutý.

Zatímco dodavatelé cloudu nakupují tuny procesorů od Intelu, jejich domácí součástky mohou být považovány za překážku jak pro Intel, tak pro jeho obchodní konkurenty Nvidia a AMD. Interní čipy mohou odebrat pracovní zátěž z nabídek obchodníků.

Na jedné straně Intel tvrdě pracuje na tom, aby zůstal v kontaktu s tím, co cloudoví giganti potřebují. "Je zajímavé, že zpočátku byla umělá inteligence jen o počítačovém vidění a kočkách a psech," řekl Li. "Ale když jsme začali spolupracovat s CSP [poskytovateli cloudových služeb], zjistili jsme, že cyklus číslo jedna, největší množství výpočetních prostředků, které spalují, není počítačové vidění, ale ve skutečnosti systémy doporučení." 

Startupy nemohou držet krok s tímto tempem, tvrdí Li. "Můžete si představit, že před pěti lety byl startup všude, a ten stroj navrhl pouze pro AlexNet," neuronovou síť, která provádí široce používaný test ImageNet. "Dnes už nepodnikají, protože prostě nedokázali zvládnout trend v CSP."

Zároveň "cloud je pro nás prioritou, ale umělá inteligence všude na světě ve skutečnosti přesahuje rámec cloudu, do podniků." 

Tito podnikoví zákazníci "mají různou skupinu lidí, mají různé požadavky a různé typy aplikací." Mezi tyto podniky by mohl patřit Facebook, poznamenal Li, nebo by to mohl být maloobchodník.

Aplikace IoT a edge computingu mohou vyžadovat jinou citlivost než cloudové operace AI, tvrdí Li.

"Budu mluvit s několika velkými maloobchodníky, kteří mají jiné aplikace než cloud," řekl Li. "Mohou mít v obchodě nějakou věc strojového učení, která se bude mírně lišit od té cloudové."

"Tyto věci se mění, pokud jde o rozmanitost věcí, které se dělají," poznamenal Li o pracovních zátěžích umělé inteligence, "a proto si myslím, že Intel je v dobré pozici, protože Intel má rozsah." Trvá na tom, že portfolio čipů a objem, který Intel dodává, znamená, že zvládne rozmanitost.

"Intel je velký, máme portfolio vysoce kvalitního hardwaru navrženého a vyrobeného na široké škále trhů," řekl, "a poměrně často jsou propojeny," jako v případě okrajových pracovních zátěží, které se připojují ke cloudovým datovým centrům.

Pokud jde o velmi velké neuronové sítě, Li tvrdí, že techniky jako destilace a přenosové učení umožní, aby se plody těchto superpočítačových neuronových sítí dostaly k běžným uživatelům. 

"Řekl bych, že to bude pyramida, kde na vrcholu pyramidy jsou všechny modely, kde jen několik bohatých společností může pokračovat v prosazování těchto věcí," poznamenal Li. "A pak tam bude šířka, převážná část, a najdete více ekonomických modelů - vezměte velký model a najděte ekvivalentní malý model, který dělá totéž.

"Ale na vrcholu lidé vždy půjdou po superpočítačovém typu věci."