Nvidia oznamuje řadu „NIM“ pro urychlení aplikací Gen AI
Čipový gigant také oznámil partnerství s Hugging Face pro inferenci-as-a-service.
Grafika hrdiny Nvidia pro její mikroslužby umělé inteligence NIM.
Čipový gigant Nvidia v pondělí na zahájení výroční konference o počítačové grafice SIGGRAPH oznámila řadu nabídek pro svůj kontejnerový software „NIM“ pro řadu funkcí a odvětví a cloudovou službu pro spouštění programů s názvem „Inference -as-a-service," ve spolupráci s webem nástrojů pro vývojáře Hugging Face.
Nové NIM zahrnují předpřipravený software pro spouštění modelů AI, které jsou optimalizovány pro použití jako „kopiloti“ a pro interakci s infrastrukturou generování rozšířeného vyhledávání neboli „RAG“, což je stále populárnější způsob připojení velkých jazykových modelů k externím databázím. a aplikace.
Z několika desítek NIM před rokem Nvidia rozšířila seznam na více než stovku NIM napříč různými odvětvími a případy použití, uvedl na tiskové konferenci Kari Briski, viceprezident generativního řízení softwarových produktů AI společnosti Nvidia.
NIM balí „nejlépe vybrané modely od modelových partnerů“ včetně Google, Meta, Microsoft a Snowflake a open-source modely „s příslušnými licencemi pro komerční produkci“.
("Model AI" je součástí programu AI, který obsahuje četné parametry neuronové sítě a aktivační funkce, které jsou klíčovými prvky fungování programu AI.)
Mezi nové NIM Nvidia patří ty, které provozují open-source modely umělé inteligence, jako je jazykový model Meta's Llama 3.1, představený minulý týden, a Mistral NeMo 12B, vyvinutý společně s Nvidií a francouzskou společností AI Mistral AI. K dispozici je také nový NIM, který má „přivést k životu“ chatboty přidáním řeči a je vytvořen pro model Parakeet pro automatické rozpoznávání řeči, vyvinutý společností Nvidia a AI startupem Suno.ai.
Další NIM se zaměřují na robotiku a digitální biologii. Nvidia má také nové NIM zaměřené na vývoj 3D produktů pro použití s „otevřeným univerzálním popisem scény“ neboli Open USD, standardem pro překlady mezi různými prostředími 3D simulace. Nvidia buduje Open USD ve spolupráci s dalšími průmyslovými giganty, včetně Applu.
Nvidia také upgradovala NIM orientovaný na vykreslování grafiky, Edify NIM, ve spolupráci s poskytovatelem fotografií Getty Images. Tento upgrade výrazně zlepšuje rychlost vykreslování Gettyho generativního vytváření obrázků AI.
V související poznámce Nvidia oznámila dostupnost první verze svého „Omniverse“ SDK pro headset Vision Pro od společnosti Apple. Omniverse je verze metaverse od Nvidie, zaměřená na úkoly související s produktivitou, jako je sdílení velkých 3D modelů mezi týmy vytvářejícími produkty.
NIM, zkratka pro Nvidia Inference Microservices, je softwarová infrastruktura součástí nabídky softwaru Nvidia AI Enterprise, poprvé představené v lednu 2023. NIM je model AI v aplikačním kontejneru, který běží na správci kontejnerů, jako je Kubernetes, a to je přístupný vývojáři přes API. Jako mikroservisní verze modelů umělé inteligence má být snadno „vhozen do“ aplikací.
Mezitím služba Hugging Face, která běží na vlastní infrastruktuře Nvidia DGX Cloud, poskytuje dramatické zvýšení výkonu, řekl Briski. Například nový model Llama 3.1 70B, který minulý týden představila společnost Meta, dokáže provádět operace odvození až pětkrát rychleji, než když běží na „běžném“ hardwaru, uvedla Nvidia.
Ačkoli Hugging Face nabízí asi 750 000 modelů, řekl Briski, odvození jako služba je prozatím omezeno na ty modely, které Nvidia "NIM-ified", jak společnost říká, což znamená, přeměnila na NIM.
NIM lze provozovat mimo službu Hugging Face, v jakémkoli prostředí, které si klient přeje, včetně on-prem, řekl Briski, pokud mají přístup ke GPU a pokud si předplatí nabídku předplatného Nvidia Enterprise. Předplatné Nvidia Enterprise stojí 4 500 USD za GPU ročně.