Jak plán IBM pro průmyslovou transformaci využívá umělou inteligenci, 5G a spolupráci
Přístup založený na stavebních blocích dokáže výrazně snížit výpočetní čas ve srovnání s GPU v přímé úměře k tomu, kolik strojů je propojeno.
Andromeda je cluster 16 počítačů CS-2 AI společnosti Cerebras, které jsou propojeny přes vyhrazený přepínač Fabric a jsou řízeny paměťovým strojem, který aktualizuje nastavení neuronové sítě. Cerebras říká, že naprogramování stroje pro běh velkých jazykových modelů je začátkem vlny clusterových výpočtů v AI.
Současná móda programů strojového učení, které zpracovávají obrovské množství vstupů v přirozeném jazyce, posouvá hranice výpočetní techniky a podporuje svůj vlastní druh superpočítačových závodů ve zbrojení.
Tam, kde kdysi byly superpočítače určeny pouze pro vědecké problémy, vývoj programů umělé inteligence známých jako velké jazykové modely neboli LLM podněcuje podniky, aby hledaly stejnou koňskou sílu, jakou mají špičkové výzkumné laboratoře na světě.
Například společnost Nvidia, která je standardem v oblasti čipů pro umělou inteligenci, v září oznámila cloud computing zařízení věnované velkým jazykovým modelům, které si podniky budou moci pronajmout jako službu.
V pondělí Cerebras Systems, 6 let starý startup se sídlem v Sunnyvale v Kalifornii, který patří mezi skupinu společností zpochybňujících dominanci Nvidie, představil superpočítač s názvem Andromeda, který provádí biliard matematických operací s plovoucí desetinnou čárkou za sekundu, stejně jako špičkový superpočítač na světě, Frontier, a který může dosáhnout dramatického zrychlení úkolů, jako jsou LLM, které přesahují možnosti tisíců čipů GPU.
CS-2 jsou propojeny speciálním datovým přepínačem, který Cerebras představil v loňském roce, nazvaným Swarm-X, který spojuje CS-2 s třetím počítačem, Memory-X. Memory-X funguje jako centrální úložiště pro neuronové "váhy" nebo parametry, které jsou vysílány do každého CS-2. Výsledek násobení matice v každém CS-2 je pak předán zpět přes Swarm-X do Memory-X jako gradientní aktualizace vah a Memory-X provede práci na přepočítání vah a cyklus začíná znovu.
Galaxie Andromeda byla sestavena jako stavební blok kombinací 16 počítačů CS-2 AI společnosti Cerebras propojených přepínačem nazvaným Swarm-X, který komunikuje s centrálním koordinačním počítačem, který aktualizuje nervové váhy nazvané Memory-X.
Cluster Andromeda je instalován jako cloudově dostupný stroj společností Colovore se sídlem v Santa Claře v Kalifornii, která na trhu hostingových služeb konkuruje společnostem jako je Equinix.
Tajemství modulárního designu spočívá v tom, že stroje CS-2 mohou být organizovány jako jeden systém bez exotického paralelního programovacího úsilí, které je obvykle vyžadováno pro superpočítače. Maximálně 192 CS-2 může pracovat společně najednou a software Cerebras se stará o nízkoúrovňové funkce rozdělení výpočtů na každou CS-2 a řízení hmotnosti a gradientního provozu napříč strukturou Swarm-X.
"Na rozdíl od tradičních superpočítačů můžete posílat svou práci, jako by to byla jediná úloha na jediném procesoru," řekl Feldman přímo z notebooku Jupyter. "Jediné, co musíte udělat, je specifikovat čtyři věci: jaký model a jaké parametry; kolik CS-2 ze 16 chcete použít; kam chcete, aby byly výsledky odeslány, až budete hotovi; A jak dlouho chcete, aby model běžel - to je vše, žádné paralelní programování, žádná práce s distribuovanými výpočty."
Cerebras zdůrazňuje snadnost clusterování svých CS-2, což nevyžaduje psaní exotického paralle, distribuovaného programovacího kódu.
První uživatelé, jako je tým Argonne, dokazují, že přístup Andromedy může porazit některé superpočítače pomocí tisíců GPU Nvidia a dokonce provádět některé úkoly, které by na superpočítačích nemohly běžet kvůli omezením paměti.