Váš počítač nezvládá nový model umělé inteligence Llama od Meta (pravděpodobně)

Meta vydala Llama 3.3 70B, upravenou verzi nejvýkonnějšího modelu umělé inteligence společnosti, kterou lze stáhnout a spustit na vašem vlastním hardwaru. Váš počítač na to pravděpodobně není připraven.

Stejně jako mnoho jiných velkých jazykových modelů (LLM) je generativní model umělé inteligence Meta's Llama dostupný v několika velikostech parametrů pro různé případy použití. Například nejmenší model Llama 3.2 1B zvládne základní úkoly s rychlým výkonem na průměrném smartphonu, zatímco větší verze 11B a 90B jsou výkonnější a potřebují počítače a servery vyšší třídy. Modely Llama jsou primárně určeny pro funkce textu a chatu, ale některé verze dokážou porozumět i obrázkům.

Nový model Llama 3.3 70B společnosti Meta má nabídnout stejný výkon jako největší model společnosti, verze 405B, ale s možností provozu na více počítačích a serverech. Viceprezident společnosti Meta pro generativní AI v příspěvku na sociálních sítích uvedl: „Využitím nejnovějších pokroků v technikách po školení, včetně online optimalizace preferencí, tento model zlepšuje výkon jádra za výrazně nižší náklady. “

I když se tento nový model 70B oproti původní verzi 405B výrazně zmenšil, stále budete potřebovat výkonný počítač nebo server, abyste jej mohli provozovat lokálně s přijatelným výkonem. Velikost souboru je 37,14 GB a LLM se obecně musí vejít do RAM, aby dobře fungovaly, takže budete pravděpodobně potřebovat počítač s 64 GB RAM. Pro provoz modelu byste také potřebovali výkonný GPU (nebo několik spárovaných dohromady).

Popis modelu vysvětluje: „Llama 3.3 je určena pro komerční a výzkumné použití ve více jazycích. Modely s vyladěným textem jsou určeny pro chat podobný asistentovi, zatímco předtrénované modely lze přizpůsobit pro různé úkoly generování přirozeného jazyka. Model Llama 3.3 také podporuje schopnost využít výstupy svých modelů ke zlepšení dalších modelů včetně generování syntetických dat a destilace. “

I když Llama 3.3 70B nepoběží na většině výpočetního hardwaru, menší 1B, 3B a 8B můžete provozovat na mnoha stolních počítačích a noteboocích s aplikacemi jako LM Studio nebo Nvidia's Chat With RTX. Můj 16GB M1 Mac Mini běží Llama 3.1 8B podobnou rychlostí jako cloudové chatboty s umělou inteligencí, ale s 8GB MacBookem Air používám menší 3B modely, protože mám k dispozici méně paměti RAM.

Llama 3.3 70B a další modely Lama si můžete stáhnout z webu Meta, Hugging Face, vestavěného vyhledávání v LM Studio a dalších úložišť.

Zdroj: TechCrunch