Jak plán IBM pro průmyslovou transformaci využívá umělou inteligenci, 5G a spolupráci
Google se rozhodl soutěžit pouze v polovině benchmarků, zatímco Nvidia a její partneři opět dominovali výsledkům ve všech benchmarkových testech.
Ředitel MLCommons David Kanter poukázal na to, že vylepšení hardwarových architektur i softwaru pro hluboké učení vedla ke zlepšení výkonu umělé inteligence, které je desetkrát vyšší, než by se očekávalo od tradičních vylepšení škálování čipů.
Google a Nvidia si rozdělily nejlepší výsledky v srovnávacím testu školení programů umělé inteligence, který se koná dvakrát ročně, podle údajů zveřejněných ve středu MLCommons, průmyslovým konsorciem, které dohlíží na populární test výkonu strojového učení MLPerf.
Výsledky školení MLPerf verze 2.0 ukázaly, že Google získal nejlepší skóre z hlediska nejnižšího času na trénování neuronové sítě na čtyřech úlohách pro komerčně dostupné systémy: rozpoznávání obrazu, detekce objektů, jeden test pro malé a jeden pro velké obrázky a model zpracování přirozeného jazyka BERT.
Nvidia získala nejvyšší ocenění za další čtyři z osmi testů, a to za své komerčně dostupné systémy: segmentaci obrazu, rozpoznávání řeči, doporučovací systémy a vyřešení úlohy zpětnovazebního učení při přehrávání Go na datové sadě "mini Go".
Obě společnosti měly vysoké skóre v několika srovnávacích testech, nicméně Google neoznámil výsledky pro komerčně dostupné systémy pro další čtyři testy, pouze pro ty čtyři, které vyhrál. Společnost Nvidia oznámila výsledky všech osmi testů.
Srovnávací testy uvádějí, kolik minut trvá vyladění neuronových "vah" nebo parametrů, než počítačový program dosáhne požadované minimální přesnosti u daných úkolů, což je proces označovaný jako "trénování" neuronové sítě.
U všech dodavatelů se doba školení výrazně zlepšila díky vyššímu výkonu a chytřejším softwarovým přístupům. Výkonný ředitel MLCommons David Kanter na tiskové konferenci vysvětlil, že v hrubých rysech výsledky ukazují, že trénink zvýšil výkon lépe než Mooreův zákon, tradiční pravidlo, které říká, že zdvojnásobení tranzistorů čipu každých 18 až 24 měsíců zrychluje výkon počítače.
Například výsledky v úctyhodné úloze ImageNet, kde je neuronová síť trénována tak, aby přiřadila štítek klasifikátoru milionům obrázků, jsou dnes 9 až 10krát rychlejší, než by naznačovala jednoduchá vylepšení čipu, řekl Kanter.
"Udělali jsme to mnohem lépe než Moorův zákon," řekl Kanter. "Očekávali byste, že získáte asi třiapůlkrát lepší výkon, za předpokladu, že tranzistory lineárně souvisejí s výkonem; jak se ukázalo, dostáváme 10x Moorův zákon."
Výhody se přenášejí k "obyčejným mužům nebo ženám," řekl Kanter, "výzkumník s jedinou pracovní stanicí" obsahující pouhých 8 čipů.
Nvidia, která dominuje prodeji GPU čipů, které tvoří většinu výpočtů AI na světě, běžně předkládá výsledky většiny nebo všech testů. Poznamenal, že tyto jednotlivé pracovní stanice zaznamenávají vylepšení nebo 4 až 8krát jednodušší škálování tranzistorů. "Dáváme do rukou výzkumníků mnohem více schopností, což nám umožňuje provádět více experimentů a doufejme, že učiníme více objevů."
Google, jehož TPU je jedním z hlavních konkurentů čipů Nvidia, má s MLPerf mnohem méně konzistentní výsledky. V prosincové srovnávací zprávě společnost předložila pouze jedno číslo testu, a to pro experimentální použití svého TPU v testu BERT.
Google v připravených poznámkách uvedl: "Superpočítače ML TPU v4 [verze 4] od Googlu stanovily výkonnostní rekordy v pěti benchmarcích, s průměrným zrychlením 1,42x oproti druhému nejrychlejšímu odeslání mimo Google a 1,5x oproti našemu odeslání MLPerf 1.0."
Odkaz Googlu na pět srovnávacích testů zahrnuje hlášené nejlepší skóre v doporučovacích systémech pro výzkumný systém, který není komerčně dostupný.
Na otázku ZDNet, proč se Google rozhodl soutěžit s komerčními systémy ve čtyřech kategoriích a ne s ostatními čtyřmi, společnost v e-mailové odpovědi uvedla: "Naším záměrem je zaměřit se primárně na pracovní zátěže, které pro nás maximalizují výhody nad rámec MLPerf.
"Rozhodujeme se o tom, které modely předložíme, na základě jejich podobnosti s modely strojového učení používanými v rámci Googlu a zákazníky Google Cloud. Předkládání a ladění srovnávacích testů je značné množství práce, takže se zaměřujeme na maximalizaci výhod nad rámec MLPerf pro nás.
"S ohledem na to jsme zaměřili naše úsilí na čtyři benchmarky pro kategorii Cloud available - BERT, ResNet, RetinaNet, MaskRCNN."
Společnost Nvidia zdůraznila komplexní rozsah podání sama a partnerů, včetně společností Dell a Lenovo. Počítače používající čipy Nvidia toho či onoho druhu byly zodpovědné za 105 systémů a 235 nahlásilo výsledky testů z celkových 264 hlášených výsledků.
"NVIDIA a její partneři nadále poskytovali nejlepší celkový výkon při trénování umělé inteligence a nejvíce odeslaných příspěvků ve všech benchmarcích, přičemž 90 % všech příspěvků pocházelo z ekosystému, jak vyplývá z dnes zveřejněných benchmarků MLPerf," uvedl v připravených poznámkách výkonný ředitel společnosti Nvidia Shar Narasimhan.
"Platforma NVIDIA AI pokryla všech osm benchmarků v kole MLPerf Training 2.0, což zdůrazňuje její špičkovou všestrannost."
Na jednom snímku Narasimhan ukázal to, co nazval "normalizovaným" měřením, které se snažilo dosáhnout výkonu na akcelerátor, vzhledem k tomu, že různé strojové podání používají různý počet čipů akcelerátoru. Toto měřítko, řekl Narasimhan, ukázalo, že Nvidia byla na vrcholu výkonu v 6 z 8 testů.
"Věříme, že tato konkrétní metodologie zobrazení nejvyššího výkonu normalizovaného na 1,0X a následné zobrazení všech zbývajících urychlovačů v podobném měřítku ve srovnání je nejspravedlivější způsob, jak všechny porovnat," řekl Narasimhan.
Kromě dalšího vývoje si test MLPerf nadále získával přívržence a získal více výsledků testů než v minulosti. Celkem 21 organizací nahlásilo 264 výsledků testů, což je nárůst oproti 14 organizacím a 181 hlášeným odesláním v prosincové zprávě verze 1.1.
Mezi nové účastníky patřily společnosti Asustek; Čínská akademie věd neboli CASIA; výrobce počítačů H3C; HazyResearch, jméno předložené jedním postgraduálním studentem; Krai, který se zúčastnil další soutěže MLPerf, inference, ale nikdy předtím v tréninku; a startup MosaicML.
Mezi pěti nejlepšími komerčními systémy byly Nvidia a Google následovány hrstkou zadavatelů, kterým se podařilo dosáhnout třetího, čtvrtého nebo pátého místa.
Cloudová jednotka Azure od Microsoftu se umístila na druhém místě v soutěži segmentace obrazu, na čtvrtém místě v soutěži detekce objektů s obrázky ve vysokém rozlišení a na třetím místě v soutěži v rozpoznávání řeči, a to vše pomocí systémů s procesory AMD EPYC a GPU Nvidia.
Výrobce počítačů H3C se umístil na pátém místě ve čtyřech testech, v soutěži v segmentaci obrazu, v soutěži v detekci objektů s vysokým rozlišením, v metodě doporučení a v hraní her Go, a dokázal se také dostat na čtvrté místo v rozpoznávání řeči. Všechny tyto systémy používaly procesory Intel XEON a GPU Nvidia.
Společnost Dell Technologies se umístila na čtvrtém místě v detekci objektů s obrázky s nižším rozlišením a na pátém místě v testu přirozeného jazyka BERT, a to jak se systémy využívajícími procesory AMD, tak s grafickými procesory Nvidia.
Výrobce počítačů Inspur se umístil na pátém místě v rozpoznávání řeči se systémem využívajícím procesory AMD EPYC a GPU Nvidia a držel si třetí a čtvrté místo v doporučovacích systémech se systémy založenými na XEONu a EPYC.
Graphcore, startup se sídlem v Bristolu v Anglii, který vyvíjí počítače s alternativním čipovým a softwarovým přístupem, se umístil na pátém místě v žebříčku ImageNet. Poskytovatel IT řešení Nettrix se umístil na čtvrtém místě v soutěži o segmentaci obrazu a na čtvrtém místě ve výzvě Go reinforcement learning.
Pět nejlepších zadavatelů v každém z osmi srovnávacích testů s počtem minut, které jim trvalo trénovat neuronové sítě uvedené pro uvedené úlohy. Menší počet znamená méně času na trénink, což je lepší.
Na briefingu pro novináře společnost Graphcore zdůraznila svou schopnost poskytovat konkurenceschopné skóre oproti Nvidii za nižší ceny pro své stroje BowPOD s různým počtem čipů akcelerátoru IPU. Společnost například vychvalovala svůj BowPOD256, který se umístil na pátém místě v rozpoznávání obrazu ResNet, byl desetkrát rychlejší než 8-way systém Nvidia DGX a přitom stál méně peněz.
"Nejdůležitější věcí je rozhodně ekonomika," řekl šéf softwaru Graphcore, Matt Fyles, na tiskovém brífinku. "V minulosti jsme měli trend, že stroje byly rychlejší, ale dražší, ale nakreslili jsme čáru do písku, nezdražíme to."
Ačkoli některé menší stroje Graphcore zaostávají za nejlepšími výsledky nebo Nvidia a Graphcore o kupu minut tréninkového času, "Žádného z našich zákazníků nezajímá pár minut, zajímá je, zda jste konkurenceschopní a pak můžete vyřešit problém, který je zajímá," řekl.
Fyles dodal: "Existuje spousta projektů s tisíci čipy, ale nyní se průmysl chystá rozšířit to, co dalšího můžete s platformou dělat, než jen to, že musíme vyhrát tuto srovnávací soutěž - to je závod ke dnu."
Stejně jako v minulých zprávách se Advanced Micro Devices chlubila Intelem. Serverové procesory AMD EPYC nebo ROME byly použity v 79 ze 130 zadaných systémů, což je větší podíl než u čipů Intel XEON. Navíc 33 ze 40 nejlepších výsledků v osmi srovnávacích testech byly systémy založené na AMD.
Stejně jako v minulosti, Intel kromě toho, že měl svůj procesor XEON v partnerských systémech, také provedl své vlastní vstupy se svou jednotkou Habana Labs, kde místo GPU Nvidia použil XEON spojený s akceleračním čipem Habana Gaudí. Intel zaměřil své úsilí pouze na test přirozeného jazyka BERT, ale nepodařilo se mu proniknout do první pětky.
Sedm z osmi srovnávacích testů bylo stejných jako v prosincové soutěži. Jediná nová položka byla náhradou za jednu z úloh detekce objektů, kde počítač musí obkreslit objekt na obrázku a připojit štítek k obrysu identifikující objekt.
V této nové verzi byla široce používaná datová sada COCO a neuronová síť SSD nahrazena novou datovou sadou OpenImages a novou neuronovou sítí RetinaNet.
OpenImages používá obrazové soubory, které jsou větší než 1 200 x 1 600 pixelů. Druhá úloha detekce objektů stále používá COCO, která používá obrázky s nižším rozlišením 640 x 480 pixelů.
Na tiskovém brífinku Kanter z MLCommons vysvětlil, že datová sada OpenImages je kombinována s novou referenční neuronovou sítí, kterou mohou předkladatelé používat. Předchozí síť byla založena na klasické neuronové síti ResNet pro rozpoznávání a segmentaci obrazu.
Alternativa použitá v novém testu, nazvaná RetinaNet, zvyšuje přesnost prostřednictvím několika vylepšení struktury ResNet. Přidává například to, co se nazývá "pyramida funkcí", která se dívá na všechny pohledy na kontext kolem objektu ve všech vrstvách sítě současně, spíše než pouze na jednu vrstvu sítě, která přidává kontext umožňující lepší klasifikaci.
"Pyramidy funkcí jsou technikou klasického počítačového vidění, takže se v některých ohledech jedná o riff na klasický přístup aplikovaný v doméně neuronových sítí," řekl Kanter.
Kromě pyramidy funkcí zvládá konvoluce s novou inovací na ResNetu základní architektura RetinaNetu, nazvaná ResNeXt. Klasický ResNet používá takzvané "husté konvoluce" k filtrování pixelů podle výšky a šířky obrázku a také podle kanálů RGB. ResNeXt rozděluje filtry RGB na samostatné filtry, které jsou známé jako "seskupené konvoluce". Tyto skupiny, pracující paralelně, se naučí specializovat na aspekty barevných kanálů. To také přispívá k větší přesnosti.
