Meta říká, že brzy bude mít nejrychlejší superpočítač s umělou inteligencí na světě
Společnost dříve známá jako Facebook chce systém AI Research SuperCluster, který by jí pomohl vyvinout umělou inteligenci pro metaverzum.
V polovině roku 2022 bude Meta řídit to, co považuje za nejrychlejší superpočítač s umělou inteligencí na světě. Systém nazvaný AI Research SuperCluster (RSC) již běží a patří mezi nejrychlejší superpočítače s umělou inteligencí na světě, uvedla společnost v pondělním příspěvku na blogu.
Vývoj RSC stále probíhá, ale jakmile bude v druhé polovině letošního roku dokončena druhá fáze, bude systém poskytovat téměř 5 exaflops výpočtů se smíšenou přesností.
Společnost Meta, dříve známá jako Facebook, již superpočítač využívá k trénování velkých modelů v oblasti zpracování přirozeného jazyka (NLP) a počítačového vidění pro výzkum. Společnost využívá rozsáhlé modely umělé inteligence pro průběžné priority, jako je detekce škodlivého obsahu na svých sociálních platformách. V konečném důsledku však chce trénovat modely s biliony parametrů, které jí pomohou pohánět metaverzum - virtuální svět, který Meta hodlá podporovat svými platformami a produkty.
"Zkušenosti, které vytváříme pro metaverzum, vyžadují obrovský výpočetní výkon (kvintiliony operací za sekundu!) a RSC umožní nové modely umělé inteligence, které se dokážou učit z bilionů příkladů, rozumět stovkám jazyků a dalším," uvedl v prohlášení generální ředitel společnosti Meta Mark Zuckerberg.
V současné době RSC zahrnuje celkem 760 systémů Nvidia DGX A100 jako své výpočetní uzly, což představuje celkem 6 080 GPU. Grafické procesory komunikují prostřednictvím dvouúrovňové struktury Clos Nvidia Quantum 200 Gb/s InfiniBand, která nemá žádné nadměrné předplatné. Vrstva úložiště RSC má 175 petabajtů Pure Storage FlashArray, 46 petabajtů cache v systémech Penguin Computing Altus a 10 petabajtů Pure Storage FlashBlade.
Pro srovnání, superpočítač Perlmutter AI amerického ministerstva energetiky, který byl loni v létě představen jako nejrychlejší superpočítač s umělou inteligencí na světě, poskytuje s 6 159 grafickými procesory Nvidia A100 Tensor Core téměř čtyři exaflopy výkonu se smíšenou přesností.
V době, kdy bude RSC společnosti Meta dokončeno, propojí síťová struktura InfiniBand 16 000 GPU jako koncové body, což z ní učiní jednu z největších dosud nasazených takových sítí. Společnost Meta navíc navrhla systém ukládání do mezipaměti a úložiště, který dokáže obsluhovat 16 TB/s trénovacích dat. Společnost plánuje jeho zvětšení až na 1 exabyte, což odpovídá 36 000 letům vysoce kvalitního videa.
RSC nahrazuje starší infrastrukturu společnosti Meta navrženou v roce 2017, která má 22 000 grafických procesorů Nvidia V100 Tensor Core v jednom clusteru a provádí 35 000 trénovacích úloh denně. První benchmarky na RSC naznačují, že spouští pracovní postupy počítačového vidění až 20x rychleji než starý systém, více než 9x rychleji běží Nvidia Collective Communication Library (NCCL) a 3x rychleji trénuje rozsáhlé modely NLP.
Zatímco předchozí výzkumná infrastruktura umělé inteligence společnosti Meta používala pouze open source a další veřejně dostupné datové sady, RSC zahrnuje ovládací prvky ochrany soukromí a zabezpečení, které jí umožní učit modely s reálnými daty z produkčních systémů společnosti Meta.
RSC využívá šifrovaná data generovaná uživateli, která jsou dešifrována těsně před tréninkem. Systém nemá žádné přímé příchozí ani odchozí připojení k internetu a provoz může proudit pouze z produkčních datových center společnosti Meta. Celá datová cesta z úložných systémů společnosti Meta do GPU je end-to-end šifrována. Před importem dat do RSC musí projít procesem kontroly ochrany osobních údajů, aby se potvrdilo, že byla správně anonymizována. Data jsou poté zašifrována, než je lze použít k trénování modelů AI, a dešifrovací klíče jsou pravidelně mazány, aby se zajistilo, že starší data nebudou stále přístupná.