Cerebras právě postavil obrovský počítačový systém s 27 miliony „jádry“ AI
Galaxie Condor je první fází partnerství Cerebras s G42 z Abu Dhabi, u kterého se očekává, že v konečném důsledku povede ke stovkám milionů dolarů za seskupený systém pokrývající několik kontinentů.
Spoluzakladatel a generální ředitel Cerebras Andrew Feldman zde viděl, jak stojí na balicích bednách pro systémy CS-2 před jejich instalací v hostitelském zařízení partnera Colovore v Santa Clara v Kalifornii.
Vášeň kolem umělé inteligence „není záležitostí Silicon Valley, není to ani záležitost USA, je nyní po celém světě - je to globální fenomén,“ říká Andrew Feldman, spoluzakladatel a generální ředitel společnosti AI computing. spuštění Cerebras Systems.
V tomto duchu Cerebras ve čtvrtek oznámil, že uzavřel smlouvu na vybudování toho, co nazývá „největší světový superpočítač pro AI“, jménem Condor Galaxy, jménem svého klienta, G42, pět let staré investiční společnosti se sídlem v Abu Dhabi. Spojené arabské emiráty.
Stroj je zaměřen na „trénink“ neuronových sítí, část strojového učení, kdy je třeba vyladit nastavení neuronové sítě, její „parametry“ nebo „váhy“ na úroveň, která stačí pro druhý stupeň. , vytváření předpovědí, známé jako fáze „inference“.
Galaxie Condor je výsledkem, řekl Feldman, měsíce spolupráce mezi Cerebras a G42 a je prvním významným oznámením jejich strategického partnerství.
Počáteční kontrakt má pro Cerebras hodnotu více než sto milionů dolarů, řekl Feldman ZDNET v rozhovoru. To se nakonec několikanásobně rozšíří na stovky milionů dolarů příjmů, protože Cerebras staví galaxii Condor v několika fázích.
Galaxie Condor je pojmenována podle kosmologického systému nacházejícího se 212 milionů světelných let od Země. Ve své počáteční konfiguraci, nazvané CG-1, se stroj skládá z 32 speciálních počítačů AI Cerebras, CS-2, jejichž čipy, „Wafer-Scale-Engine“ neboli WSE, společně obsahují celkem 27 milionů výpočetních jader, 41 terabajtů paměti a 194 bilionů bitů za sekundu šířky pásma. Dohlíží na ně 36 352 serverových procesorů AMD EPYC x86.
32 strojů CS-2 se propojilo jako CG-1.
Stroj běží rychlostí 2 exa-flopy, což znamená, že dokáže zpracovat miliardu miliard operací s pohyblivou řádovou čárkou za sekundu.
Velikost je nejnovějším příkladem velikosti společnosti Cerebras, kterou v roce 2016 založili zkušení podnikatelé a inovátoři v oblasti polovodičů a sítí. Společnost ohromila svět v roce 2019 odhalením WSE, největšího čipu, jaký byl kdy vyroben, čipu zabírajícího téměř celý povrch 12palcového polovodičového waferu. Je to WSE-2, představený v roce 2021, který pohání stroje CS-2.
CS-2 v CG-1 jsou doplněny speciálním „látkovým“ přepínačem Cerebras, Swarm-X, a jeho vyhrazeným paměťovým rozbočovačem, Memory-X, které se používají k seskupení CS-2.
Tvrzení, že je největším superpočítačem pro AI, je poněkud hyperbolické, protože neexistuje žádný obecný registr pro velikost počítačů AI. Běžné měřítko superpočítačů, seznam TOP500, vedený společností Prometeus GmbH, je seznam konvenčních superpočítačů používaných pro takzvané vysoce výkonné výpočty.
Tyto stroje nejsou srovnatelné, řekl Feldman, protože pracují s tím, čemu se říká 64bitová přesnost, kde každý operand, hodnota, se kterou má počítač pracovat, je pro počítač reprezentována šedesáti čtyřmi bity. Systém Cerebras představuje data v jednodušší formě nazvané „FP-16“ a používá pouze šestnáct bitů pro každý systém.
V 64bitových strojích přesné třídy je Frontier, superpočítač v národní laboratoři Oak Ridge National Laboratory amerického ministerstva energetiky, nejvýkonnějším superpočítačem na světě s rychlostí 1,19 exa-flops. Ale nelze to přímo srovnávat s CG-1 na 2 exa-flopy, řekl Feldman.
Jistě, naprostý výpočet CG-1 je na rozdíl od mnoha počítačů na planetě, na které si člověk může myslet. „Představte si jeden počítač s vyšším výpočetním výkonem než půl milionu Apple MacBooků, které spolupracují na řešení jediného problému v reálném čase,“ nabídl Feldman.
Stroj Condor Galaxy není fyzicky v Abu Dhabi, ale spíše instalován v zařízeních společnosti Colovore se sídlem v Santa Clara v Kalifornii, poskytovatele hostingu, který na trhu cloudových služeb soutěží s Equinixem. Cerebras již dříve v listopadu oznámila partnerství s Colovore pro modulární superpočítač s názvem 'Andromeda' pro urychlení velkých jazykových modelů.
Statistiky CG-1 ve fázi 1
Statistiky CG-1 ve fázi 2
V rámci víceletého partnerství se Condor Galaxy rozšíří o verzi CG-9, řekl Feldman. Fáze 2 partnerství, očekávaná ve čtvrtém čtvrtletí tohoto roku, zdvojnásobí stopu CG-1 na 64 CS-2 s celkem 54 miliony výpočetních jader, 82 terabajty paměti a šířkou pásma 388 teraflopů. Tento stroj zdvojnásobí propustnost na 4 exa-flopy výpočtu.
Když to vše dáme dohromady, ve fázi 4 partnerství, které má být dodáno v druhé polovině roku 2024, Cerebras spojí dohromady to, co nazývá „souhvězdí“ devíti vzájemně propojených systémů, z nichž každý běží na 4 exa-flops, celkem tedy 36 exa-flopů kapacity na místech po celém světě, aby bylo možné vytvořit to, čemu se říká „největší propojený superpočítač s umělou inteligencí na světě“.
„Toto je první ze čtyř strojů exa-flop, které stavíme pro G42 v USA,“ vysvětlil Feldman, „a pak postavíme dalších šest po celém světě, celkem devět vzájemně propojených, čtyři exa. -flop stroje produkující 36 exa-flopů."
Stroj je poprvé, kdy Cerebras nejen buduje seskupený počítačový systém, ale také jej provozuje pro zákazníka. Partnerství ve výsledku poskytuje Cerebras několik cest k výnosům.
Partnerství se rozšíří na stovky milionů dolarů v přímých prodejích G42 ze strany Cerebras, řekl Feldman, když prochází různými fázemi partnerství.
"Nejenže je tento kontrakt větší než všechny ostatní startupy, které prodaly dohromady za dobu své existence, ale jeho záměrem je překročit nejen sto milionů [dolarů], na kterých je nyní, ale dvakrát nebo třikrát přes to," řekl. naráží na konkurenční startupy s umělou inteligencí včetně Samba Nova Systems a Graphcore.
Kromě toho „Společně prodáváme přebytečnou kapacitu prostřednictvím našeho cloudu“, což znamená, že umožňujeme ostatním zákazníkům Cerebras pronajmout si kapacitu v CG-1, když ji G42 nevyužívá. Partnerství „samozřejmě dává našemu cloudu zcela nový rozměr,“ řekl, takže „nyní máme příležitost využívat specializované superpočítače AI jako službu“.
To znamená, že kdo chce cloudovou výpočetní kapacitu AI, bude moci „naskočit na jeden z největších superpočítačů na světě na den, týden, měsíc, pokud chcete“.
Ambice pro AI se zdají být stejně velké jako stroj. "Během příštích 60 dnů oznámíme několik velmi, velmi zajímavých modelů, které byly trénovány na CG-1," řekl Feldman.
G42 je globální konglomerát, poznamenává Feldman, s přibližně 22 000 zaměstnanci ve 25 zemích a s devíti provozními společnostmi, které zastřešuje. Dceřiná společnost G42 Cloud společnosti provozuje největší regionální cloud na Blízkém východě.
„Společná vize G42 a Cerebras je, že galaxie Condor bude použita k řešení nejnaléhavějších výzev společnosti v oblasti zdravotnictví, energetiky, klimatických opatření a dalších,“ řekl Talal Alkaissi, generální ředitel G42 Cloud, v připravených poznámkách.
Společný podnik mezi G42 a partnerskou investiční firmou z Abu Dhabi Mubadala Investments. Co., M42, je jedním z největších genomických sekvenátorů na světě.
„Jsou určitými průkopníky ve využívání AI a zdravotnických aplikací v celé Evropě a na Středním východě,“ poznamenal Feldman z G42. Společnost za poslední 3 roky vydala 300 publikací o AI.
„Chtěli [G42] někoho, kdo měl zkušenosti s budováním velmi velkých superpočítačů AI a kdo měl zkušenosti s vývojem a implementací velkých modelů AI a kdo měl zkušenosti s manipulací a správou velmi rozsáhlých souborů dat,“ řekl Feldman, „A to jsou všechno věci, které , za posledních devět měsíců jsme tak nějak opravdu vypilovali."
Stroje CG-1, zdůraznil Feldman, se budou moci škálovat na větší a větší modely neuronové sítě, aniž by vyžadovaly mnohonásobek dodatečného množství potřebného kódu.
„Jedním z klíčových prvků této technologie je to, že umožňuje zákazníkům, jako je G42 a jejich zákazníkům, jaksi rychle získat výhody z našich strojů,“ řekl Feldman.
V prezentaci zdůraznil, jak lze neuronovou síť s 1 miliardou parametrů, jako je GPT od OpenAI, umístit na jediný čip GPU Nvidia s 1200 řádky kódu. Ale pro škálování neuronové sítě na model s 40 miliardami parametrů, který běží na 28 415 GPU Nvidia, množství kódu potřebného k nasazení balónků na téměř 30 000 řádků, řekl Feldman.
Pro systém CS-2 však lze spustit model se 100 miliardami parametrů se stejnými 1200 řádky kódu.
Cerebras tvrdí, že se může škálovat na větší a větší modely neuronových sítí se stejným množstvím kódu oproti explozi kódu potřebného k propojení GPU Nvidia.
"Pokud chcete vložit 40miliardový nebo stomiliardový parametr nebo 500miliardový parametr, použijete přesně stejných 1200 řádků kódu," vysvětlil Feldman. "To je opravdu základní odlišení, je to, že to nemusíte dělat," napsal další kód, řekl.
Pro Feldmana nepředstavuje rozsah nejnovějšího výtvoru jen velikost jako takovou, ale i pokus o kvalitativně odlišné výsledky přechodem od největšího čipu k největším seskupeným systémům.
"Víte, když jsme zakládali společnost, myslíte si, že můžete pomoci změnit svět tím, že postavíte skvělé počítače," přemítal Feldman. „A během posledních sedmi let jsme postavili větší a větší a větší počítače a některé z největších.
"Nyní jsme na cestě stavět, tak nějak, nepředstavitelně velké, a to je úžasné, projít se datovým centrem a vidět, jak vaše zařízení hučí stojan za stojanem."