Generátor obrázků AI společnosti Meta říká, že jazyk může být vše, co potřebujete

Program CM3Leon dokáže generovat snímky s vysokým rozlišením se zlomkem výpočtů přístupů, jako je difúze.

S využitím zlomku výpočtu GPU dosahuje CM3Leon společnosti Meta obrázky se složitými kombinacemi objektů a obtížně vykreslitelnými věcmi, jako jsou ruce a text, a na úrovni, která dosahuje nového stavu ve srovnávacím skóre FID.

V posledních několika letech byl svět ohromen programy umělé inteligence, které generují obrázky, když napíšete frázi, programy jako Stable Diffusion a DALL*E, které vydávají obrázky v libovolném stylu, který chcete, a které lze jemně měnit pomocí různé vybídnuté fráze.

Tyto programy se obvykle spoléhaly na manipulaci s ukázkovými obrazy prováděním procesu komprese na ukázkových obrazech a jejich následnou dekomprimací, aby obnovily originál, čímž se naučily pravidla vytváření obrazu, což je proces označovaný jako difúze.

Také: Generativní umělá inteligence: Neříkejte tomu „umělec“, říkají učenci z časopisu Science

Práce Meta představená minulý týden naznačuje něco mnohem jednoduššího: s obrázkem lze zacházet jako s pouhou sadou kódů, jako jsou slova, a lze s ním zacházet podobně jako ChatGPT manipuluje s řádky textu.

Může se stát, že jazyk je vše, co v AI potřebujete.

Výsledkem je program, který si poradí se složitými tématy s více prvky („Plyšový medvídek s motocyklovou helmou a pláštěm jede na motorce v Rio de Janeiru s Doisem Irmãosem v pozadí.“) Dokáže vykreslit obtížné objekty, jako jsou ruce a text, věci, které mají tendenci být zkreslené v mnoha programech pro generování obrázků. Může provádět další úkoly, jako je podrobný popis daného obrázku nebo přesné změny daného obrázku. A lze to provést se zlomkem obvykle potřebného výpočetního výkonu.

V článku „Scaling Autoregressive Multi-Modal Models: Pre-training and Instruction Tuning“ od Lilu Yu a kolegů z Facebook AI Research (FAIR), zveřejněném na webu Meta's AI research site, je klíčovým poznatkem používat obrázky, jako by byly slova. Nebo spíše text a obrázek fungují společně jako souvislé věty pomocí "kódové knihy" k nahrazení obrázků tokeny.

„Náš přístup rozšiřuje rozsah autoregresivních modelů a ukazuje jejich potenciál konkurovat a překonávat difúzní modely, pokud jde o efektivitu nákladů a výkon,“ píší Yu a tým.

Myšlenka kódové knihy se vrací do práce od roku 2021 od Patricka Essera a kolegů z univerzity v Heidelbergu. Přizpůsobili dlouhotrvající druh neuronové sítě, nazývaný konvoluční neuronová síť (nebo CNN), která je expertem na zpracování obrazových souborů. Trénováním programu umělé inteligence zvaného generativní adversariální síť nebo GAN, který dokáže vytvářet obrázky, byla CNN vytvořena tak, aby spojila aspekty obrázku, jako jsou hrany, se záznamy v kódové knize."

Tyto indexy pak lze předvídat tak, jak slova v jazykovém modelu, jako je ChatGPT, předpovídají další slovo. Snímky s vysokým rozlišením se stávají sekvencemi předpovědí indexů spíše než předpovědí pixelů, což je operace mnohem méně náročná na výpočetní výkon.

Vstupem CM3Leon je řetězec tokenů, kde jsou obrázky redukovány pouze na další token v textové podobě, odkaz na záznam v číselníku.

Pomocí přístupu kódové knihy sestavili Yu z Meta a kolegové to, co se nazývá CM3Leon, vyslovované jako „chameleon“, neuronová síť, která je velkým jazykovým modelem schopným pracovat s obrázkovou kódovou knihou.

CM3Leon staví na předchozím programu, který minulý rok představila společnost FAIR - CM3 pro „kauzálně maskované multimodální modelování“. Je to jako ChatGPT v tom, že je to program ve stylu "Transformer", trénovaný k předpovídání dalšího prvku v sekvenci - "architektura transformátoru pouze pro dekodér" - ale kombinuje to s "maskováním" částí toho, co je napsáno, podobně do programu BERT společnosti Google, aby mohl také získat kontext z toho, co může přijít později ve větě.

CM3Leon staví na CM3 přidáním toho, co se nazývá vyhledávání. Vyhledávání, které je ve velkých jazykových modelech stále důležitější, znamená, že program může „zatelefonovat domů“, chcete-li, sáhnout do databáze dokumentů a získat to, co může být relevantní jako výstup programu. Je to způsob, jak získat přístup k paměti, aby váhy nebo parametry neuronové sítě nemusely nést břemeno přenášení všech informací nezbytných k předpovědím.

Podle Yu a týmu je jejich databáze vektorová „databanka“, ve které lze vyhledávat obrazové i textové dokumenty: „Multimodální dokument jsme rozdělili na textovou část a obrazovou část, zakódovali jsme je odděleně pomocí off-the -shelf zmrazené kodéry textu a obrázků CLIP a poté zprůměrovat tyto dva jako vektorovou reprezentaci dokumentu."

V novém zvratu vědci nepoužívají jako tréninkovou datovou sadu obrázky z internetu, ale sbírku 7 milionů licencovaných obrázků od společnosti Shutterstock, společnosti zabývající se fotografiemi. "Výsledkem je, že se můžeme vyhnout obavám souvisejícím s vlastnictvím obrázků a atribucí, aniž bychom obětovali výkon."

Snímky Shutterstock získané z databáze se používají ve fázi předtrénování CM3Leon k rozvoji schopností programu. Je to stejný způsob, jakým jsou ChatGPT a další velké jazykové modely předtrénovány. Poté se však odehraje další fáze, kdy jsou vstupy a výstupy předem vycvičeného CM3Leon přiváděny zpět do modelu za účelem jeho dalšího zdokonalování, což je přístup nazývaný „jemné ladění pod dohledem“ neboli SFT.

Výsledkem toho všeho je program, který dosahuje stavu techniky pro různé úlohy s textem a obrazem. Jejich primárním testem je Microsoft COCO Captions, datová sada publikovaná v roce 2015 Xinlie Chenem z Carnegie Mellon University a kolegy. Program se posuzuje podle toho, jak dobře replikuje obrázky v datové sadě, podle toho, co se nazývá skóre FID, což je míra podobnosti, kterou v roce 2018 představil Martin Heusel a kolegové na Univerzitě Johannese Keplera v Linci v Rakousku.

Napište Yu a tým: "Model CM3Leon-7B nastavuje nové nejmodernější skóre FID na 4,88, přičemž využívá pouze zlomek trénovacích dat a výpočtů jiných modelů, jako je PARTI." Část "7B" odkazuje na program CM3Leon, který má 7 miliard neurálních parametrů, což je běžná míra rozsahu programu.

Tabulka ukazuje, jak model CM3Leon získává lepší skóre FID (nižší je lepší) s mnohem menším počtem tréninkových dat a s menším počtem parametrů než jiné modely, což je stejné jako říkat nižší výpočetní náročnost:

Jeden graf ukazuje, jak CM3Leon dosahuje tohoto vynikajícího skóre FID pomocí méně tréninkových hodin na GPU Nvidia A100:

Jaký je celkový obraz? CM3Leon pomocí jediné fráze dokáže nejen generovat obrázky, ale může také identifikovat objekty v daném obrázku nebo generovat titulky z daného obrázku nebo dělat mnoho dalších věcí žonglováním s textem a obrázkem. Je jasné, že velmi populární praxe psaní věcí do výzvy se stává novým paradigmatem. Stejné gesto psaní lze široce použít pro mnoho úkolů se spoustou „modalit“, což znamená různé druhy dat - obraz, zvuk, zvuk atd.

Jak autoři uzavírají: "Naše výsledky podporují hodnotu autoregresních modelů pro širokou škálu textových a obrazových úloh, což podporuje další zkoumání tohoto přístupu."