AWS odhaluje nový čip Trainium AI a Graviton 4, rozšiřuje partnerství Nvidia
Čip Trainium druhé generace je určen pro modely neuronových sítí s více než bilionem parametrů.
Čip Graviton 4, vlevo, je univerzální mikroprocesorový čip používaný společností SAP a dalšími pro velké pracovní zatížení, zatímco Trainium 2 je speciální akcelerační čip pro velmi rozsáhlé programy neuronové sítě, jako je generativní AI.
Na své výroční vývojářské konferenci AWS re:Invent v Las Vegas Amazon v úterý oznámil novou verzi Trainium 2, svého vyhrazeného čipu pro trénování neuronových sítí. Trainium 2 je vyladěno speciálně pro trénování takzvaných velkých jazykových modelů (LLM) a základních modelů - druhů generativních programů umělé inteligence, jako je OpenAI GPT-4.
Společnost také představila novou verzi svého vlastního mikroprocesoru, Graviton 4, a uvedla, že rozšiřuje své partnerství s Nvidií o provozování nejpokročilejších čipů Nvidie ve své cloudové službě.
Trainium 2 je navrženo tak, aby zvládlo neuronové sítě s biliony parametrů nebo neuronových vah, což jsou funkce algoritmu programu, které mu obecně dávají rozsah a výkon. Škálování na větší a větší parametry je středem zájmu celého odvětví umělé inteligence.
Počet bilionů parametrů se stal něco jako průmyslová posedlost, protože se věří, že lidský mozek obsahuje 100 bilionů neuronových spojení - díky čemuž se zdá, že program neuronové sítě s bilionem parametrů souvisí s lidským mozkem, ať už je nebo není v skutečnost je taková.
Čipy jsou „navrženy tak, aby poskytovaly až čtyřikrát rychlejší tréninkový výkon a třikrát větší kapacitu paměti“ než jejich předchůdce, „a přitom až dvojnásobně zlepšily energetickou účinnost (výkon/watt),“ uvedl Amazon.
Amazon zpřístupňuje čipy v instancích své cloudové služby EC2 známé jako instance „Trn2“. Instance nabízí 16 čipů Trainium 2 fungujících ve shodě, které lze rozšířit na 100 000 instancí, uvedl Amazon. Tyto větší instance jsou propojeny pomocí firemního síťového systému zvaného Elastic Fabric Adapter, který dokáže poskytnout celkem 65 exaFLOP výpočetního výkonu. (Jeden exaFLOP je miliarda, miliarda operací s pohyblivou řádovou čárkou za sekundu.)
V takovém rozsahu výpočtu, řekl Amazon, "zákazníci mohou trénovat 300 miliard parametr LLM v týdnech versus měsících."
Kromě poskytování služeb zákazníkům má Amazon další pobídky k tomu, aby pokračoval v prosazování hranic AI křemíku. Společnost investovala 4 miliardy dolarů do soukromě vlastněného generativního startupu Anthropic, skupiny, která se oddělila od OpenAI. Tato investice staví společnost do pozice konkurovat exkluzivní dohodě Microsoftu s OpenAI.
Čip Graviton 4, který je postaven na mikroprocesorovém duševním vlastnictví ARM Holdings, konkuruje procesorům Intel a Advanced Micro Devices založeným na starším čipovém standardu x86. Graviton 4 má „o 30 % lepší výpočetní výkon,“ uvedl Amazon.
Na rozdíl od čipů Trainium pro AI jsou procesory Graviton určeny pro běžnější pracovní zátěže. Amazon AWS uvedl, že zákazníci - včetně Datadog, DirecTV, Discovery, Formula 1, Nielsen, Pinterest, SAP, Snowflake, Sprinklr, Stripe a Zendesk - používají čipy Graviton „k provozování široké škály pracovních zátěží, jako jsou databáze, analýzy. , webové servery, dávkové zpracování, zobrazování reklam, aplikační servery a mikroslužby."
SAP v připravených poznámkách uvedl, že byl schopen dosáhnout „o 35 % lepšího cenového výkonu pro analytické úlohy“ provozováním své in-memory databáze HANA na čipech Graviton, a že „se těšíme na vyhodnocení Graviton4 a na výhody, které může přinést. našim společným zákazníkům."
Nové čipy následují dva roky po představení Graviton 3 a původního Trainia v roce 2021.
Novinky Amazonu následují po tom, co Microsoft minulý týden představil své první čipy pro AI. Google společnosti Alphabet, další cloudový titán vedle Amazonu a Microsoftu, předběhl oba v roce 2016 prvním cloudovým čipem pro AI, TPU nebo Tensor Processing Unit, kterých od té doby nabízí několik generací.
Kromě dvou nových čipů Amazon uvedl, že prodloužil své strategické partnerství s gigantem AI čipů Nvidia. AWS bude první cloudovou službou, která bude provozovat chystaný multičipový produkt GH200 Grace Hopper od Nvidie, který kombinuje CPU na bázi Grace ARM a čip GPU Hopper H100.
Čip GH200, který by se měl začít dodávat příští rok, je další verzí kombinovaného čipu Grace Hopper, oznámeného začátkem tohoto roku, který se již ve své původní verzi dodává do počítačů od společnosti Dell a dalších.
Čipy GH200 budou hostovány na AWS prostřednictvím účelových počítačů Nvidia s umělou inteligencí, DGX, které obě společnosti uvedly, že urychlí trénování neuronových sítí s více než bilionem parametrů.
Nvidia uvedla, že udělá z AWS „primárního poskytovatele cloudu pro výzkum a vývoj ML“.