Nvidia, Dell a Qualcomm zrychlují výsledky AI v nejnovějších srovnávacích testech

To pomůže zastavit vlnu rostoucích nákladů na výpočetní techniku pro provozování programů AI.

Grafické znázornění úkolů AI od Nvidie.

V nejnovějším benchmarkovém testu umělé inteligence přinesly Nvidia, Dell, Qualcomm a hromada startupů nové techniky, jak snížit výpočetní rozpočet na odpovědi na otázky a zároveň šetřit energii v tomto procesu.

To by mohlo pomoci zastavit příliv rostoucí výpočetní poptávky po provozování programů AI, jejichž velikost narůstá, jako jsou ChatGPT a GPT-4 od OpenAI.

V úterý představilo MLCommons, konsorcium, které provádí testy MLPerf, nejnovější benchmarkový test toho, jak rychle je možné spustit neuronovou síť pro předpovědi. Přední výrobci jako Nvidia, Dell, Qualcomm a Supermicro předložili počítačové systémy s různými konfiguracemi čipů, aby zjistili, které systémy získaly nejvyšší známky.

Soutěžilo se v tom, kdo dodá buď co nejvíce otázek, které bylo možné zodpovědět za sekundu, co nejkratší čas na odpověď, známý jako latence, nebo co nejmenší spotřebu energie - energetickou účinnost.

Zúčastnilo se také několik zajímavých startupů, včetně Neural Magic, xFusion, cTuning, Nettrix, Neuchips, Moffett a Krai.

Výsledky testu nazvané „MLPerf Inference 3.0“ emulují výpočetní operace, ke kterým dochází, když trénovaná neuronová síť dostává nová data a jako výstup musí vytvářet závěry.

Benchmark měří, jak rychle může počítač vytvořit odpověď na řadu úkolů, včetně ImageNet, kde je úkolem neuronové sítě použít jeden z několika štítků na fotografii popisující objekt na fotografii, jako je kočka nebo pes.

Výsledky testu následují MLPerf inference 2.1 oznámená v září.

MLCommons v tiskové zprávě uvedl, že výsledky předložené několika dodavateli ukazují „významné zvýšení výkonu o více než 60 % v některých benchmarkových testech“.

U srovnávacích testů soutěží tvůrci čipů a systémů o to, jak dobře dokážou na měření, jako je počet fotografií zpracovaných za jedinou sekundu nebo jak nízkou dokážou získat latenci, celkovou dobu zpětného odběru pro odeslání požadavku. do počítače a předpověď, která má být vrácena.

Hlášené výsledky se týkají počítačových systémů provozovaných v datových centrech a "hrana", což je termín, který se stal zahrnutím různých počítačových systémů jiných než tradiční stroje datových center. Tabulka uvádí výsledky pro všechny různé segmenty datového centra a Edge.

Výsledky ukázaly, že více organizací se zapojilo do benchmarkových testů. MLCommons uvedl, že „rekordních 25 předkládajících organizací“ předložilo „přes 6 700 výsledků výkonu a více než 2 400 měření výkonu a energetické účinnosti“. To je více než 5 300 měření výkonu a 2 400 měření výkonu v září.

Příspěvky jsou seskupeny do dvou kategorií: „uzavřené“ a „otevřené“. V první kategorii se různí zadavatelé řídí přísnými pravidly pro to, jak provozují software AI, což umožňuje nejpřímější srovnání systémů za rovných podmínek.

V druhém případě mohou zadavatelé používat unikátní softwarové přístupy, které neodpovídají standardním pravidlům pro benchmarky, a vytvářet tak nějaké nové inovace.

Jak už to tak bývá, Nvidia, dominantní dodavatel GPU používaných k provozování AI, získala mnoho ocenění za výkon ve většině testů. Systém společnosti Nvidia běžící na dvou procesorech Intel Xeon a osmi čipech GPU „Hopper“ společnosti Nvidia obsadil první místo v pěti ze šesti různých úloh benchmarku, včetně spuštění jazykového modelu Google BERT, předchůdce ChatGPT. V jedné ze šesti úloh se na nejvyšší příčce umístil systém Dell využívající téměř identickou konfiguraci čipů Intel a Nvidia.

Více o výsledcích Nvidie najdete v příspěvku na blogu společnosti.

Qualcommu se podařilo zvýšit propustnost dotazů pro jazykový program BERT trojnásobně oproti výsledkům v předchozím kole 2.1, uvedla společnost. Systém předložený společností Qualcomm využívající dva serverové čipy AMD EPYC a 18 akceleračních čipů AI „AI100“ společnosti Qualcomm získal nejvyšší skóre v otevřeném rozdělení počítačů datových center na úkolu BERT. Jeho výkon, propustnost 53 024 dotazů do sítě BERT za sekundu, byl jen o málo za nejlepším skóre Nvidie v uzavřené divizi.

Mezi nové účastníky patřila pařížská nezisková organizace cTuning, která vyvíjí open source nástroje pro programátory umělé inteligence, aby mohli reprodukovat výsledky benchmarkových testů na různých hardwarových platformách.

CTuning obsadil první místo pro nejnižší latenci, nejkratší dobu od odeslání dotazu do doby, kdy se vrátí odpověď, u čtyř z pěti úloh v benchmarku pro edge computing v rámci uzavřené kategorie.

Vracející se inferenční uchazeč Neural Magic, startup podporovaný rizikem, který spoluzaložil Nir Shavit, učenec z MIT, opět uvedl svůj speciální software, který dokáže zjistit, které „neuronové váhy“ neuronové sítě mohou zůstat nevyužité. nezpracovává počítačový čip, čímž se šetří výpočetní náročnost.

Software společnosti DeepSparse je schopen používat pouze hostitelský procesor, čip x86 od Intelu, AMD nebo v budoucnu čipy založené na ARM, bez jakékoli pomoci GPU Nvidia.

Při jazykovém testu BERT v otevřené divizi pro edge computing použil software DeepSparse společnosti Neural Magic dva serverové procesory AMD EPYC k získání 5 578 odpovědí za sekundu z neuronové sítě Google BERT. To bylo jen mírně za druhým místem, které ukázal počítač Supermicro v uzavřené divizi, která se skládala ze dvou procesorů Xeon a jednoho GPU Nvidia Hopper.

Společnost tvrdí, že spoléhání se na běžné x86 čipy namísto dražších GPU pomůže rozšířit AI do více společností a institucí snížením celkových nákladů na provoz programů.

"Z tohoto spotřebitelského hardwaru můžete získat mnohem více," řekl Michael Goin, vedoucí produktového inženýrství pro Neural Magic, v rozhovoru pro ZDNET. "Jsou to stejné čipy AMD, které společnosti již používají ve svých prodejnách nebo maloobchodních místech k prodeji, zásobování a logistice."

Více o přístupu Neural Magic najdete v příspěvku na blogu společnosti