Jak plán IBM pro průmyslovou transformaci využívá umělou inteligenci, 5G a spolupráci
Společnost OctoML oznamuje nejnovější verzi své platformy, která automatizuje nasazování modelů připravených k produkci v nejširší škále cloudů, hardwarových zařízení a modulů pro akceleraci strojového učení.
Srovnávajte a nasazujte své modely strojového učení na AWS, Azure a Google cloud, nebo na okraji sítě na hardwaru AMD, Arm, Intel a Nvidia. Zlepšete výkon a používejte open source architektury, jako jsou ONNX Runtime, TensorFlow a TensorFlow Lite a TVM.
To je v kostce nabídka OctoML. Myslíme si, že vykresluje reprezentativní obraz dnešního prostředí v nasazování aplikací AI , což je doména známá také jako MLOps. MLOps jsme identifikovali jako klíčovou součást probíhajícího přechodu k aplikacím založeným na strojovém učení a v březnu 2021 jsme představili OctoML u příležitosti jejich kola financování série B.
Nová verze OctoML, která byla dnes představena na konferenci TVMcon 2021 o open source frameworku Apache TVM pro akceleraci strojového učení, přináší řadu nových funkcí. Setkali jsme se s generálním ředitelem a spoluzakladatelem společnosti OctoML Luisem Cezem, abychom probrali pokrok společnosti OctoML jako zástupce pokroku MLOps jako celku.
Překonání očekávání
První věc, kterou je třeba v této zprávě o pokroku poznamenat, je, že OctoML překročil cíle stanovené společností Ceze v březnu 2021. Ceze tehdy poznamenal, že cílem společnosti bylo zvýšit počet zaměstnanců, expandovat na okraj a pokročit směrem k přidání podpory pro trénování modelů strojového učení, nad rámec inference, která je již podporována.
Všechny tyto cíle byly do určité míry splněny, přičemž podporou pro trénování modelů strojového učení se nedávno do hloubky zabýval Tiernan Ray ze ZDNet. Ceze uvedl, že OctoML na této frontě dosahuje dobrého pokroku, přičemž plánem je vydat jej na platformě OctoML někdy v roce 2022.
To, co nebylo nikdy uvedeno jako cíl, ale přesto se to stalo, bylo další kolo financování. To se uskutečnilo v listopadu 2021 a společnost OctoML obdržela 85 milionů dolarů v kole Series C. Jak poznamenal Ceze, je to znamení doby. V poslední době jsme doslova ztratili přehled o zdánlivě nekonečných kolech financování v oblasti umělé inteligence. Ceze řekl, že ačkoli se OctoML nesnažil získat více peněz, rozhodli se, že jim to pomůže rychleji růst.
A rostli. Společnost OctoML překonala své cíle z hlediska náboru, nyní má více než 100 zaměstnanců a stále roste. To je pozoruhodné, vzhledem k tomu, že je těžké najít kombinaci odborných znalostí v oblasti strojového učení a hardwaru, kterou OctoML hledá. Podívejme se, čeho dalšího OctoML dosáhl a jaké nové funkce dnes oznamuje.
Za prvé rozšířila výběr cílů nasazení tak, aby zahrnovala podporu cílů Microsoft Azure. OctoML nyní poskytuje výběr ve všech třech hlavních cloudech, včetně AWS a Google Cloud Platform, s procesory AMD a Intel a GPU Nvidia jako cílovými možnostmi v každém cloudu.
Růst směn OctoML lze považovat za zástupný ukazatel MLOps obecně
Zajímavé je, že OctoML nedávno zveřejnil nějaké experimenty také s procesorem Apple M1. Zeptali jsme se Čezeho, zda se chystá jeho podpora a zda je v plánu i podpora nadějných dodavatelů hardwaru jako Blaize, Graphcore nebo Samba Nova .
Ceze odpověděl, že cílem cvičení M1 bylo ukázat, že OctoML může snadno připojit jakýkoli hardwarový cíl, ať už se tak děje ve spolupráci s dodavatelem nebo nezávisle. Podpora pro M1 nebo pro jakýkoli jiný hardwarový cíl bude přidána na základě trhu. Většina začínajících dodavatelů ví o OctoML a mnoho z nich pinguje společnost, aby s nimi spolupracovala, nebo tak činí sami, dodal.
Další frontou, na které OctoML rozšiřuje svou podporu, je edge. OctoML má nyní podporu pro Nvidia, Jetson, AGX, Xavier a Jetson, Xavier NX, které jdou spolu s procesory Arm A-72 používajícími 32 a 64 bitové operační systémy. Ceze ověřil to, co jsme zaznamenali i my - dochází k obrovskému nárůstu poptávky po aplikacích edge machine learningu.
Více akceleračních motorů, větší výběr
Pokud jde o software, OctoML oznamuje rozšířenou podporu formátů modelů, která zahrnuje ONNX, TensorFlow Lite a několik formátů balení modelů TensorFlow, aby uživatelé mohli nahrávat své naučené modely bez konverze. Ale to není vše.
Kromě "nativní" podpory TVM OctoML jsou nyní podporovány příslušné nové akcelerační moduly - ONNX Runtime, TensorFlow a TensorFlow Lite. Tímto způsobem, řekl Ceze, mohou uživatelé porovnávat a porovnávat a vybrat si, který z nich chtějí použít.
To je odklon od toho, co bylo dříve těsným spojením mezi open source projektem Apache TVM a nabídkou OctoML. OctoML v podstatě nabízel verzi TVM typu software-as-a-service. Nyní OctoML nabízí také další možnosti, pokud jde o akcelerační motory. Uživatelé, poznamenal Ceze, mají nyní možnost provádět velmi komplexní benchmarking svých pracovních postupů:
"Nahrajete model a pak si můžete vybrat, jaké hardwarové cíle chcete v jednom jediném pracovním postupu, což může být proti všem cloudům nebo konkrétním okrajovým cílům. A pak provedeme optimalizaci nebo vyladění benchmarku balení a poskytneme vám tato komplexní data, která vám pomohou při rozhodování o tom, jak budete nasazovat v cloudu nebo na vašich edge zařízeních," řekl Čeze.
Kromě toho OctoML nyní přichází s tím, čemu říkají "předakcelerovaná modelová zoo". Jinými slovy, kolekce modelů strojového učení, která zahrnuje sadu počítačového vidění (klasifikace objektů a detekce obrazu), která zahrnuje Resnet, YOLO, Mobilenet, Inception a další, a také sadu zpracování přirozeného jazyka (NLP), která zahrnuje BERT, GPT-2 a další.
Pokud jde o komunitu Apache TVM, Ceze poznamenal, že ve srovnání s loňským rokem došlo k 50% růstu a dynamika se nezpomaluje. Ceze také zmínil některé zajímavé případy použití OctoML, včetně Microsoft Watch For a Woven Planet Holdings.
Celkově vzato, vzhledem k tomu, že od série B OctoML uplynulo pouhých 6 měsíců, byl růst pozoruhodný. Vidíme to jako příklad růstu MLOps jako celku a očekáváme, že to bude v dohledné budoucnosti pokračovat na této trajektorii.