Pouze 4-8 GB RAM? Tyto místní LLM mohou pracovat přímo na vašem PC

Klíčové věci

• Používání místních chatbotů poháněných LLM posiluje soukromí dat, zvyšuje dostupnost chatbotů a pomáhá minimalizovat náklady na měsíční online předplatné AI.
• Místní chatboti DistilBERT, ALBERT, GPT-2 124M a GPT-Neo 125M s podporou LLM mohou dobře fungovat na počítačích se 4 až 8 GB RAM.

Místní chatboti s umělou inteligencí, pohánění velkými jazykovými modely (LLM), fungují pouze na vašem počítači po jejich správném stažení a nastavení. Obvykle potřebují hodně paměti počítače (RAM), aby dobře fungovaly. Několik skvělých modelů však může fungovat na počítačích s pouhými 4 GB RAM.

Proč používat místní chatboty LLM?

Online AI chatboti jsou výkonné nástroje, které mohou vážně zvýšit vaši každodenní efektivitu. Zadáte, co chcete, a tyto LLM vytvoří text na základě vašich pokynů. Pokud se s používáním chatbotů AI teprve seznamujete, prohlédněte si náš srovnávací článek o rozdílech mezi ChatGPT, Claude a Perplexity, abyste získali základní informace.

Proč byste mohli použít místního chatbota místo populární online možnosti? Za prvé, je prostě zábavné mít chatbota, se kterým můžete mluvit pouze vy. V konečném důsledku však záleží na tom, jak moc vám záleží na soukromí, dostupnosti a ceně.

I když to pro někoho může být trapné, příliš se nebojím, jestli se tvůrci online chatbotů mohou podívat na moji historii chatu a zjistit, že potřebuji vědět, jak dlouho trvá upéct krocana nebo jak si správně naleštit boty. Bez ohledu na to existují informace, které bych mohl chtít sdílet s chatbotem, který by měl vždy zůstat mezi námi.

Například jsem nejvíce spolupracoval s místním chatbotem GPT-Neo 125M poháněným LLM, který mi pomohl organizovat mé finance. Může se to docela zkomplikovat se splátkami studentských půjček, výpočty úroků a podobně. Je velmi užitečné mluvit o nápadech a ptát se místního chatbota, který nikdy nemůže uniknout z notebooku a prodat moje tajemství.

Musíte také vzít v úvahu, že úniky velkých dat jsou děsivě běžné. Proto je lepší uchovávat citlivé informace o sobě a svých blízkých na svém osobním počítači než v databázi nějaké velké společnosti zabývající se umělou inteligencí.

Podobně jsou někteří místní chatboti po instalaci zcela nezávislí na internetu, takže pro chatování nemusíte být připojeni k internetu. Ostatní budou pro aktualizace potřebovat občasný přístup k internetu. Přesto jsou místní chatboti spolehlivější než ti online, protože se nemusíte obávat výpadků služby v důležitých okamžicích.

A konečně, online chatboti generují svým společnostem stovky milionů dolarů na poplatcích za předplatné. OpenAI, společnost stojící za slavnými modely ChatGPT, si v současné době účtuje 20 dolarů měsíčně za přístup ke svému nejnovějšímu chatbotu. Jeho blízký rival, Anthropic, si také účtuje 20 dolarů měsíčně za své nejpokročilejší funkce. Pokud si předplatíte více služeb, budete muset utratit 240 $nebo více ročně.

Místní chatboti mohou pomoci zmírnit tyto náklady. Ne všechny jsou však zdarma. Některé vyžadují licenční poplatky nebo poplatky za používání, například GPT-3 OpenAI. Několik modelů místních chatbotů s otevřeným zdrojovým kódem je však zdarma ke stažení a práci s nimi. Ty by měly být použity strategicky pro jednodušší problémy. Upscale na nepochybně pokročilejší online tedy upgradujete pouze tehdy, když to absolutně musíte.

Tyto LLM Chatboty běží na počítačích s nízkou RAM

Musel jsem získat několik bezplatných chatbotů poháněných LLM pracujícími na počítačích s nízkou RAM především proto, že až donedávna to bylo vše, co jsem si mohl dovolit.

Zjistil jsem, že modely DistilBERT a ALBERT mají nejlépe ovladatelné nastavení, částečně proto, že jsou tak lehké. Nízká hmotnost znamená, že tyto modely jsou navrženy tak, aby byly vysoce efektivní, pokud jde o využití paměti a výpočetní výkon. To omezuje jejich schopnosti chatbotů pro složité úkoly, které by ostatní online chatboti mohli snadno zvládnout. Oba ale mohou pohodlně běžet pouze na 4GB RAM, což je velká zásluha jejich vývojářů z Hugging Face.

Pro DistilBERT vývojáři Hugging Face vložili spoustu síly do malého, efektivního modelu optimalizací jeho designu. Myslím, že DistilBERT je jeden z dosud dostupných, ne-li nejúčinnějších modelů.

ALBERT je navržen jinak než DistilBERT, protože funguje tak, že sdílí části modelu způsobem, který pomáhá zpracovávat data rychle bez použití velkého množství paměti.

Vřele doporučuji začít jako začátečník s DistilBERT a ALBERT, i když máte PC s velkou pamětí. Začátek s těmito dvěma modely mi umožnil naučit se základy, aniž bych byl ohromen složitostí větších modelů.

Pokud se cítíte ambiciózní nebo máte počítač s 8 GB nebo více, můžete přeskočit BERTy a pracovat s modely GPT-2 OpenAI. Které jsou jako švýcarské armádní nože místního světa umělé inteligence. Modely GPT-2 se dodávají v různých velikostech, některé jsou vhodnější pro počítače s nízkou RAM než jiné.

Verze s parametry 124M je nejlehčí. Navzdory tomu, že 124M je méně výkonný než jeho sourozenci online chatbot, má schopnost vytvářet jazyk a podle mých zkušeností je přinejmenším na stejné úrovni, ne-li více, schopen vytvářet jazyk než dva BERT.

Můj nejoblíbenější lehký LLM je GPT-Neo 125M kvůli jeho nastavitelným možnostem přizpůsobení. Byl vyvinut respektovanými vývojáři z EleutherAI a je jako open-source bratranec GPT-2.

Neo 125M je navržen tak, aby vyvážil požadavky na výkon a zdroje. Výkon tohoto modelu je na stejné úrovni jako GPT-2, ale je upraven tak, aby využíval paměť efektivněji. Je dostatečně výkonný pro mnoho úkolů, ale zároveň dostatečně lehký na to, aby běžel pouze s 8 GB, i když se potýká s čímkoli menším.

Jak začít s místními chatboty LLM

Provozování vlastního chatbota je jednodušší, než si myslíte. Nejprve musíte vědět, co váš počítač umí. Zkontrolujte, kolik paměti (RAM) máte a jak rychlý je váš počítač. Pomocí výše uvedených informací se ujistěte, že systém vašeho počítače může pracovat s požadovaným chatbotem.

Jakmile to budete vědět, můžete si stáhnout správný software. Možná budete potřebovat něco, co se nazývá Docker, nástroj, který vám pomůže spouštět aplikace ve speciálních krabicích zvaných kontejnery a zajistí, že budou fungovat stejně na jakémkoli počítači.

Hledejte software LLM na webech jako Hugging Face a GitHub. Nezapomeňte si přečíst pokyny pro každý model, který používáte, abyste pochopili, jak fungují. Pak si stáhněte a chatujte. Nezapomeňte také sledovat všechny možné aktualizace softwaru modelu.

Pokud váš počítač není příliš výkonný, měli byste začít s DistilBERT nebo ALBERT. Jak se dozvíte více, můžete vyzkoušet GPT-2 pomocí našeho komplexního průvodce instalací GPT-2 pro Windows nebo vyzkoušet desítky dalších modelů pomocí našeho průvodce LM Studio.

Budete mít otázky. Je pravděpodobné, že mnohé již byly zodpovězeny v online komunitách nebo fórech. Podívejte se na Reddit’s r/MachineLearning, komunitu Hugging Face nebo náš podrobný článek o tom, jak fungují LLM, pokud se kdykoli zaseknete.

Nedovolte, aby vám hardware zabránil vyzkoušet si místní chatboty LLM. Existuje spousta možností, které lze efektivně provozovat na systémech s nízkou pamětí. Vyzkoušejte je ještě dnes!