Nvidia odhaluje nový druh Ethernetu pro AI, Grace Hopper 'Superchip' v plné produkci
Ethernetový přepínač Spectrum-X nabízí „bezztrátový“ přenos prostřednictvím nového druhu řízení přetížení, říká Nvidia.
Generální ředitel Nvidie Jensen Huang předvedl první iteraci Spectrum-X, čip Spectrum-4, se stovkou miliard tranzistorů v matrici o rozměrech 90 x 90 mm.
Generální ředitel společnosti Nvidia Jensen Huang, který v pondělí vystoupil na zahajovací konferenci počítačové technologie Computex v Taipei na Tchaj-wanu, představil řadu nových produktů, včetně nového typu ethernetového přepínače určeného pro přesun velkých objemů dat pro umělou inteligenci (AI ) úkoly.
"Jak zavedeme nový ethernet, který je zpětně kompatibilní se vším, abychom z každého datového centra udělali generativní datové centrum AI?" pózoval Huang ve svém hlavním projevu. "Úplně poprvé přinášíme možnosti vysoce výkonných počítačů na ethernetový trh."
Spectrum-X, jak je rodina ethernetových produktů známá, je podle Nvidie „první vysoce výkonný ethernet na světě pro AI“. Klíčovým rysem této technologie je, že „nezahazuje pakety“, řekl Gilad Shainer, senior viceprezident pro sítě, na tiskové konferenci.
První iterací Spectrum-X je Spectrum-4, uvedla Nvidia, kterou nazvala „první 51Tb/s ethernetový přepínač na světě vytvořený speciálně pro sítě AI“. Přepínač funguje ve spojení s jednotkou Nvidia pro zpracování dat BlueField neboli DPU, čipy, které zpracovávají data a zařazování do fronty, a optickými transceivery Nvidia. Přepínač může směrovat 128 portů 400gigabitového ethernetu nebo 64 800gigabitových portů z jednoho konce na druhý, uvedla společnost.
Huang zvedl na pódiu stříbrný ethernetový přepínací čip Spectrum-4 a poznamenal, že je „gigantický“, skládající se ze sta miliard tranzistorů na matrici o rozměrech 90 mm x 90 mm, která je vyrobena procesní technologií „4N“ společnosti Taiwan Semiconductor Manufacturing. Část běží na 500 wattů, řekl Huang.
„Úplně poprvé přinášíme možnosti vysoce výkonných počítačů na ethernetový trh,“ řekl Huang.
Spectrum-4 je první v řadě Spectrum-X čipů.
Čip Nvidie má potenciál změnit trh ethernetových sítí. Převážnou většinu křemíku spínačů dodává výrobce čipů Broadcom. Tyto přepínače se prodávají výrobcům síťových zařízení Cisco Systems, Arista Networks, Extreme Networks, Juniper Networks a dalším. Tyto společnosti rozšiřují své vybavení, aby lépe zvládaly provoz AI.
Řada Spectrum-X je navržena tak, aby řešila rozdělení datových center do dvou forem. Jednou z forem je to, co Huang nazval „továrny na umělou inteligenci“, což jsou zařízení, která stojí stovky milionů dolarů za nejvýkonnější GPU založené na NVLink a Infiniband společnosti Nvidia, které se používají pro školení AI a obsluhují malý počet velmi velkých pracovních zátěží. .
Také: Hacky pro produktivitu ChatGPT: Pět způsobů, jak si pomocí chatbotů usnadnit život
Dalším typem zařízení datového centra je cloud AI, který je multitenant, založený na ethernetu a zvládá stovky a stovky pracovních zátěží pro zákazníky současně, a který se zaměřuje na věci, jako je poskytování předpovědí spotřebitelům AI, které bude obsluhovat Spectrum-X.
Spectrum-X, řekl Shainer, je schopno „nejlepším způsobem rozprostřít provoz po síti“ pomocí „nového mechanismu pro kontrolu přetížení“, který zabrání hromadění paketů, ke kterým může dojít v paměťové vyrovnávací paměti sítě. směrovače.
"Používáme pokročilou telemetrii, abychom pochopili latence v síti, abychom identifikovali aktivní body dříve, než cokoli způsobí, abychom ji udrželi bez přetížení."
Nvidia v připravených poznámkách uvedla, že „nejlepší světové hyperscalery přebírají NVIDIA Spectrum-X, včetně předních cloudových inovátorů“.
Nvidia ve svých izraelských pobočkách buduje testovací počítač s názvem Israel-1, „generativní AI superpočítač“, využívající servery Dell PowerEdge XE9680 složené z GPU H100 běžících data přes přepínače Spectrum-4.
Všechny novinky na Computexu jsou k dispozici v redakci Nvidie.
Kromě oznámení nové ethernetové technologie Huangova hlavní přednáška představovala nový model společnosti „DGX“ řady počítačů pro AI, DGX GH200, který společnost označuje za „novou třídu superpočítače s velkou pamětí AI pro giganty. generativní modely AI“.
Generativní umělá inteligence označuje programy, které produkují více než jen partituru, někdy jsou to text, někdy obrázky a někdy jiné artefakty, jako je ChatGPT od OpenAI.
GH200 je první systém dodávaný s tím, co společnost nazývá „superčip“, deskou Grace Hopper, která obsahuje na jedné desce s obvody GPU Hopper, a CPU Grace, CPU založený na instrukční sadě ARM, která má soutěžit s x86 CPU od Intel a Advanced Micro Devices.
„superčip“ Grace Hopper od Nvidie.
První iterace Grace Hopper, GH200, je „v plné výrobě“, řekl Huang. Nvidia v tiskové zprávě uvedla, že „globální hyperscalery a superpočítačová centra v Evropě a USA patří mezi několik zákazníků, kteří budou mít přístup k systémům poháněným GH200“.
DGX GH200 kombinuje 256 superčipů, uvedla Nvidia, k dosažení kombinovaného 1 exaflops - deset až 18, neboli jedna miliarda miliard operací s pohyblivou řádovou čárkou za sekundu - při využití 144 terabajtů sdílené paměti. Podle Nvidie je počítač 500krát rychlejší než původní stroj DGX A100 vydaný v roce 2020.
Klíčová slova také odhalila MGX, referenční architekturu pro tvůrce systémů pro rychlé a nákladově efektivní sestavení více než 100 variant serverů. Prvními partnery, kteří tuto specifikaci využijí, jsou ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT a Supermicro, přičemž QCT a Supermicro budou první na trhu se systémy v srpnu, uvedla Nvidia.
Také: ChatGPT vs. Bing Chat: Který AI chatbot byste měli použít?
Celou keynote lze vidět jako záznam z webu Nvidia.
MGX je referenční architektura pro výrobce počítačových systémů.