Generativní AI daleko předčí to, co ChatGPT dokáže. Zde je vše o tom, jak technologie postupuje

Jaká je budoucnost generativní umělé inteligence? Multimodalita posune primitivní demo ChatGPT k mezilidské spolupráci, pokročilé robotice - a možná i snu umělé inteligence o neustálém učení.

Více než kterýkoli z mnoha hlavních úspěchů umělé inteligence - vyhrávání v šachu, předpovídání skládání proteinů, označování koček a psů - uchvátila globální představivost forma umělé inteligence známá jako generativní umělá inteligence.

ChatGPT se v lednu stal nejrychleji rostoucím softwarovým programem v historii a za necelé dva měsíce od svého uvedení na veřejnosti oslovil sto milionů uživatelů. Zplodil řadu soupeřů, a to jak proprietární programy, jako je Bard od Googlu, tak alternativy s otevřeným zdrojovým kódem, jako je Kalifornská univerzita v Berkeley Koala. Nával vzrušení vyvolal závody ve zbrojení mezi technologickými giganty Microsoft a Google a jejich vrstevníky a prudký nárůst v podnikání výrobce čipů AI Nvidia.

Vzrušení z velkých jazykových modelů vedlo k rozkvětu mnoha proprietárních a open-source programů rostoucího rozsahu pouze pro text. Diagram pochází z dokumentu „Emotional Intelligence of Large Language Models“ z roku 2023 od Xueny Wang a kolegů z univerzity Tsinghua.

Všechna tato horlivá aktivita má kořeny v prostém faktu, že na rozdíl od minulých programů umělé inteligence, které většinou produkovaly číselné skóre - „1“ pro obrázek kočky, „0“ pro obrázek psa - ChatGPT a obrázkové programy jako Stable Diffusion od Stability AI a DALL-E od OpenAI reprodukují něco ze světa.

Výstupem odstavce, obrázku nebo dokonce kostry počítačového programu tyto programy odrážejí výtvory společnosti.

Aspekt zrcadlení se ve velmi krátkém čase dramaticky zvýší.

Dnešní generativní programy se budou zdát primitivní ve srovnání se schopnostmi programů, které budou převládat na konci tohoto roku, protože vydávají mnohem více druhů věcí.

Přechod na více modalit

To, co počítačoví vědci nazývají smíšené modality nebo „multi-modalita“, se dostane do centra pozornosti, protože programy spojují text, obrázky, „mračna bodů“ fyzického prostoru, zvuky, video a celé funkce počítače jako chytré aplikace.

Smíšený způsob umožní mnohem schopnější programy a přispěje k dlouhodobému cíli neustálého učení. Může dokonce posunout cíl „vtělené AI“ tím, že pozdvihne robotiku.

"ChatGPT byl vytvořen pro zábavu a dělá spoustu věcí opravdu dobře, ale je to svým způsobem demo," řekl Naveen Rao, zakladatel AI startupu MosaicML, v rozhovoru pro ZDNET. "Teď musíme začít přemýšlet o tom, dobře, když to používám k nějakému účelu, jak to vylepším?"

Rao, jehož společnost získala Databricks pro její odborné znalosti v oblasti provozu programů AI, nyní působí jako viceprezident generativní AI ve společnosti Databricks.

Součástí tohoto vylepšení bude, že generativní umělá inteligence bude více než jen osobní „kopilot“, jako je GitHub Copilot společnosti Microsoft, který pomáhá jednomu jednotlivci při psaní výzvy k chatu. Programy se místo toho stanou týmy pro spolupráci, řekl Emad Mostaque, zakladatel a generální ředitel společnosti Stability AI, v rozhovoru pro ZDNET.

"Mnoho AI se používá pouze jako individuální záležitost, nebo je to autonomní agent," řekl Mostaque. "Nyní je to ve fázi iPhone 2G, kde je to jen jeden režim a vy vyjímáte a vkládáte, zatímco si myslím, že nejvíce vzrušující je, jak s ním můžeme lépe spolupracovat a vyprávět lepší příběhy, a to není osamocená snaha."

Jedna z věcí, která „zásadně chybí“, řekl Rao z Databricks, „je multimodálnost světa“, vzhledem k tomu, že „velké jazykové modely jsou velmi jednorozměrné v tom, že vidí svět pouze prostřednictvím textu“.

Modality odkazují na povahu vstupu a výstupu, jako je text, obrázek nebo video. Jsou možné různé modality a byly prozkoumány s rostoucí rozmanitostí, protože stejné základní koncepty, které řídí ChatGPT, lze použít na jakýkoli typ vstupu.

"Multi-modalita je rozhodně cesta," řekl Mostaque. "Budete potřebovat modely všech typů a možná, když je spojíte dohromady, bude to úžasné."

„Tyto věci, které se týkají pouze jazyků, byly hodně přitahované a vzrušující, a tak se na to média zaměřují, ale lidé vážně pracují na jiných věcech,“ řekl Jim Keller, renomovaný návrhář počítačových čipů, který je generálním ředitelem startupu Tenstorrent s umělou inteligencí. , v rozhovoru pro ZDNET. Keller sází svou společnost na vyhlídku, že manipulace se smíšenými modalitami bude jednou z velkých budoucích požadavků na umělou inteligenci.

Stroj pro jakýkoli druh dat

Ve velkém jazykovém modelu, který je srdcem technologie ChatGPT, je text přeměněn na token, kvantifikovanou matematickou reprezentaci. Stroj pak musí najít to, co chybí buď v maskovaných částech celé fráze, nebo v druhé části fráze. Je to akt rekreace, který přináší odstavce, které ChatGPT chrlí.

Podobně v případě obrázků široce používaný proces difúze - popularizovaný verzí Stable Diffusion od Stability AI - poškozuje obrázky šumem a akt opětovného vytvoření původního obrázku trénuje neuronovou síť, aby generovala obrázky s vysokou věrností.

Stejné procesy obnovy toho, co chybí nebo je poškozené, se rychle šíří do mnoha způsobů nebo typů dat. Například v nedávném vydání časopisu Nature biolog David Baker z Washingtonské univerzity a jeho tým narušili aminokyselinové sekvence proteinů prostřednictvím procesu, který nazýváme RFdiffusion. Tento proces vycvičí neuronovou síť k produkci proteinu, v simulaci, nového syntetického proteinu, který má požadované vlastnosti.

Taková syntéza může dramaticky snížit počet proteinů, které je třeba vynalézt a testovat, aby se získaly nové protilátky proti nemocem. (Článek Nature je za paywallem, ale bezplatná verze je zveřejněna na souborovém serveru bioRxiv. Více informací naleznete na webu Baker Lab.)

Proces RFdiffusion vyvinutý Bakerovou laboratoří Insitute for Protein Design na University of Washington kazí aminokyselinové sekvence, aby pak syntetizoval novou proteinovou strukturu podobně jako difúze obrazu vytváří obrázky.

"Máme laboratoře pro každou modalitu," řekl Mostaque ze Stability AI, který tvrdí, že jeho společnost a OpenAI jsou "jediné dvě nezávislé multimodální společnosti" mimo technologické giganty, jako je Google. Tato vícenásobná modalita zahrnuje laboratoř ve Stability AI pouze pro zvuk, řekl, laboratoř pouze pro generování kódu, dokonce i laboratoř pro biologii, která pracuje na věcech, jako je opětovné vytváření snímků fMRI pomocí technologie Stable Diffusion.

Kouzlo však nastane, když se zkombinuje více modalit. "Průlom," řekl Mostaque, přišel v loňském roce v práci Katherine Crowson a několika dalších výzkumníků, kteří vycvičili neuronovou síť generující obraz, aby neustále zdokonalovala svůj výstup, dokud výstup neuspokojil textovou výzvu. Zjistili, že přepracování obrázků tak, aby odpovídaly „sémantickému“ obsahu textu, zlepšilo kvalitu obrazu. Crowson je nyní ve Stability AI, poznamenal Mostaque.

Tato práce s obrazem a textem probíhá v mnoha institucích rychle. Výzkumníci AI z Meta navrhli kombinaci textových a obrazových strojů s názvem CM3Leon, která vyniká nejen v tom, že vydává text nebo obrázky, ale provádí úkoly, které zahrnují obojí současně, jako je identifikace objektů na daném obrázku nebo generování titulků z daný obrázek.

Neuronová síť CM3Leon od společnosti Meta míchá obrázky a text za účelem provádění různých úkolů, jako je podrobný popis daného obrázku nebo přesné úpravy daného obrázku. Je to podrobně popsáno v dokumentu z roku 2023 „Scaling Autoregressive Multi-Modal Models: Pre-training and Instruction Tuning“ od Lilu Yu a kolegů z Meta AI.

Bohatší obraz světa

Kombinace více modalit začíná vytvářet bohatší obraz světa pro neuronové sítě. Rao z Databricks cituje neurovědní koncept „stereognózy“, což znamená poznávat svět hmatem. Pokud se někdo zeptá, kolik drobných máte v kapse, můžete mince ohmatat a poznat podle velikosti a hmotnosti, aniž byste je viděli. "Mám reprezentaci světa a objektů, které jsou ve skutečnosti reprezentovány v několika modalitách," řekl. "Pokud se dokážu naučit koncepty, které zahrnují modality, pak jsme udělali něco zajímavého."

Myšlenka, že porozumění ztělesňují různé smysly, se odráží v prováděných multimodálních experimentech. Probíhá výzkum toho, jak vytvořit takzvané „páteřní“ neuronové sítě, které mohou kombinovat závratnou řadu modalit a vykazují zajímavé výkonnostní výhody.

Učenci z Carnegie Mellon University nedávno nabídli to, co nazývají „High-Modality Multimodal Transformer“, který kombinuje nejen text, obrázky, video a řeč, ale také databázové tabulky a data časových řad. Vedoucí autor Paul Pu Liang a jeho kolegové hlásí, že pozorovali „zásadní chování při škálování“ 10-módové neuronové sítě. "Výkon se neustále zlepšuje s každou přidanou modalitou a přechází na zcela nové modality a úkoly."

Papír Carnegie Mellon z roku 2023 „High-Modality Multimodal Transformer“ od Paula Lianga a kolegů kombinuje nejen text, obrázky, video a řeč, ale také databázové tabulky a data časových řad.

Vědci Yiyuan Zhang a kolegové z Multimedia Lab Čínské univerzity v Hong Kongu zvýšili počet modalit na tucet ve svém Meta-Transformeru. Jeho mračna bodů modelují 3D vidění, zatímco data z hyperspektrálního snímání představují elektromagnetickou energii odraženou zpět od země k přelétávacím snímkům krajiny.

Meta-Transformer je budoucností generativní umělé inteligence, se spoustou dat všech různých druhů, které jsou sloučeny, aby měly bohatší představu o tom, co se vyrábí jako výstup. Je zkoumána v dokumentu z roku 2023 „Meta-Transformer: Unified Framework for Multimodal Learning“ od Yiyuana Zhanga a kolegů z Multimedia Lab Čínské univerzity v Hong Kongu a OpenGVLab v Shanghai AI Laboratory.

Vytvoření pohádkové knihy z několika režimů

Okamžitým přínosem multimodality bude jednoduše obohatit výstup věcí, jako je ChatGPT, způsoby, které dalece přesahují „demo“ režim. Bezprostředním příkladem je dětská pohádková kniha, kniha s textovými pasážemi v kombinaci s obrázky ilustrujícími text. Kombinací atributů jazyka a obrázku lze druhy obrázků vytvořených procesem difúze jemněji ovládat z obrázku na obrázek.

Jak vysvětlili vědci z Googlu a hlavní autor Wan-Duo Kurt Ma z Victoria University of Wellington na Novém Zélandu, proces známý jako řízená difúze může pohybovat kočkou - nebo hradem nebo ptákem - přes různé scény a vytvářet série obrazů, které umožňují nejen větší kontrolu, ale také přechody jako ve vyprávění.

Technika zvaná řízená difúze může pohybovat entitou - kočkou, zámkem, ptákem - různými scénami a vytvářet sérii obrazů, které umožňují nejen větší kontrolu, ale také přechody jako ve vyprávění. Je to podrobně popsáno v dokumentu z roku 2023 „Directed Diffusion: Direct Control of Object Placement Through Attention Guidance“ od Wan-Duo Kurt Ma a kolegů z Victoria University of Wellington a Google Research.

Podobně Hyeonho Jeong z korejské univerzity Sungkyunkwan spolu s vědci z Korea Advanced Institute of Science & Technology přišli s dalším obratem v oblasti difúze - latentní difuzí - kterou podrobně popsali v nedávném článku. Tvrdí, že umožňuje přístup k mnohem více detailům v obrázku na nízké úrovni granularity.

Výsledkem je schopnost generovat knihy příběhů, kde se postava pohybuje v různých scénářích obrázek po obrázku, jako je přidávání knoflíků do textové výzvy pro vytáčení různých scénářů. Konzistence objektu napříč obrázky je to, co nazývají „Iterativní vstřikování koherentní identity“.

Technika zvaná latentní difúze rozšiřuje tvorbu obrázků o to, co její vynálezci nazývají „Identity Injection“, aby naskriptovali pohyb postavy prostřednictvím obrázků příběhové knihy.

Stejně jako u syntézy proteinů v Baker Lab se aplikace smíšené modality mohou stát pěkně divokými. Jiný nedávný článek Chenyu Tanga a kolegů z katedry inženýrství Cambridgeské univerzity navrhuje sestrojit „digitální dvojče“, počítačovou simulaci lidského těla se všemi orgány a tkáněmi vykreslenými a znázorněnými toky krve a podobně, a to kombinací dat. z více lékařských nástrojů ve stejném procesu jako stabilní difúze.

„Jak pohybové senzory (jako jsou akcelerometry, EMG senzory atd.), tak biochemické senzory (pro detekci biomarkerů odpovídajících onemocnění, jako jsou senzory slin, senzory potu atd.) mohou produkovat specifické výstupy pro pacienta,“ napsali autoři. "Ačkoli tyto výstupy mají odlišné vzorce, všechny odpovídají stejné nemoci."

„Digitální dvojče“ lidského těla by mohlo být umožněno kombinací dat z více lékařských přístrojů ve stejném procesu jako stabilní difúze. Diagram představuje „pětiúrovňový plán pro tělesné DT [digitální dvojče]“, jak je vidět v dokumentu „Human Body Digital Twin: A Master Plan“ z roku 2023 od Chenyu Tanga a kolegů z University of Cambridge.

Speciální modální mistři

To, jak budou modality sestaveny, bude stejně důležité jako které, řekl Mostaque ze Stability AI. „Posledním kouskem bude složení, protože tyto stavební bloky, které stavíme, jsou vloženy do správného softwaru, který je na prvním místě umělou inteligencí, který přetváří celé toto vytváření, spotřebu a tyto procesy plynou s těmito skvělými novými nástroji,“ řekl.

Zatímco některé masivní modely, jako je Google PaLM LLM nebo GPT-4, mohou být povolány, mnoho smíšených modalit se stane orchestrací komponent, řekl. "Jak můžete dát dohromady modely opravdu zajímavými způsoby a mít mnoho různých modelů, které spolupracují na dosažení výsledků, které chcete skutečně rozšířit?"

Přestože PaLM a GPT-4 mohou být výkonné, existuje dostatek důkazů, že "mnohem specializovanější modely mohou překonat" největší programy. V důsledku toho „budeme mít spoustu specializovaných modelů, myslím, napříč modalitami,“ řekl, proces „dekonstrukce“ technologie do jejích vhodných rolí, „a pak nějaké multimodální modely. kteří mohou dělat všechno a ve vhodnou dobu jsou povoláni k příslušné věci.“

Robotika je další hranicí umělé inteligence

Míchání modalit je pozoruhodné pro oblast ztělesněné umělé inteligence - ve formě robotiky.

Sergey Levine, docent na katedře elektrotechniky na University of California v Berkeley, řekl ZDNET, že pokud jde o generativní AI, systémy v robotice hrají významnou roli.

„Multimodální věci jsou docela vzrušující,“ dodal Levine, člen univerzitního výzkumného zařízení umělé inteligence v Berkeley, který také spolupracuje s týmy společnosti Google.

Zpracováním obrázků a textu je multimodální neuronová síť již schopna produkovat „příkazy robotů na vysoké úrovni,“ řekl. Kód, který by robotik běžně napsal, aby dal pokyn robotovi, může být „v podstatě plně automatizovaný,“ řekl Levine.

"To, co chceme, je schopnost rychle a snadno přikazovat robotům, aby něco dělali," řekl Levine. "Překlenutí této propasti je něco, v čem budou jazykové modely skvělé."

Levine pomohl dohlédnout na brzkou demonstraci ve společnosti Google, která byla nedávno zveřejněna, nazvanou PaLM-E, kterou výzkumníci Googlu nazývají „An Embodied Multimodal Language Model“. Robot je schopen se řídit řadou pokynů, jako je „přines mi rýžové lupínky ze zásuvky“, které jazykový model rozloží na atomické pokyny, jako „jdi do zásuvky“, „otevři zásuvku“, „vyber si sáček zelených rýžových lupínků“ atd.

Následná práce jednotky DeepMind společnosti Google nazvaná RT-2 staví na PaLM-E přidáním schopnosti generovat prostorové souřadnice pro robota. Levine tuto práci nazývá „významným pokrokem“.

Stejně jako u konceptu stereognóze Levine tvrdí, že rostoucí modality mohou přinést obohacený model světa a tím přinést některé základní schopnosti uvažování.

Pokud velké jazykové modely a modely difúze dokážou integrovat proces „pořizování předchozích obrázků a předvídání [textových] popisů a pořizování předchozích popisů a předvídání obrázků,“ řekl Levine, „teď by mohli začít, tak nějak, hlouběji v termínech jak chápou svět."

Primitivním příkladem světového poznání je robotický barman, na kterém Levine pracoval a který kontroluje lidem I.D. „Můžete vlastně říct jazykovému modelu, napsat mi nějaký kód pro robotického barmana a vygeneruje to nějakou logiku, aby to udělal, a pokud si někdo objedná šálek vody, není to alkoholický nápoj,“ a proto nevyžaduje I.D. šek.

Budeme potřebovat mnohem více paměti

Kombinace robotiky a multimodality má mnohem hlubší důsledky, protože dramaticky zvyšuje chuť k datům. Dnešní generativní AI, jako je ChatGPT, nemá žádnou explicitní paměť. Funguje pouze na poslední hromadě věcí, které jste zadali na výzvu, a po chvíli zapomene věci z dávné minulosti.

Použití smíšené modality, která zahrnuje mnohem více vzorků dat, donutí generativní umělou inteligenci vytvořit něco jako skutečnou paměť dat. „Když začneme přecházet na multimodální modely, začíná to být mnohem náročnější na kontext,“ řekl Levine, „protože současný prototyp tohoto modelu zachycuje jeden obrázek, ale možná mu chcete dát tisíc obrázků.

„Možná mu chcete ukázat prohlídku vašeho domu, aby vědělo, kde všechno ve vašem domě je, takže když ho požádáte, aby vám přinesl klíče od auta, mohlo si prozkoumat svou paměť a zjistit, kde jsou klíče od auta. jsou -- teď to vyžaduje mnohem delší kontext."

Video data mohou být stejně, ne-li důležitější, pro to, aby robot mohl vytvořit portrét světa. Tato videa spolu s textem a mračny bodů a dalšími modalitami se stávají simulátorem, pomocí kterého může robot postavit model světa, řekl Levine. "Pokud tyto modely v podstatě poskytují způsob, jak se naučit simulátory velmi vysoké věrnosti, mohlo by to mít v budoucnu velmi významný dopad."

Rozšíření na tisíce obrázků a možná hodiny videa, možná gigabajty point-cloud, 3D dat, pro trénování multimodálních programů, znamená ChatGPT a zbytek bude muset dramaticky rozšířit svůj přístup k datům prostřednictvím takzvané paměťové banky.

Probíhá mnoho úsilí o „rozšíření“ jazykových modelů o to, čemu se říká získávání z databáze. To lze vidět v programu CM3Leon společnosti Meta, který umožňuje softwaru ponořit se do databáze a najít relevantní obrázky.

Úsilí, jako je technologie Hyena na Stanfordské univerzitě a kanadský institut MILA, se pokoušejí dramaticky rozšířit to, co lze vložit do příkazového řádku programu, aby bylo možné vložit jakékoli množství dat jakékoli modality.

To znamená, že spolu se smíšenou modalitou budou následníci ChatGPT schopni žonglovat s mnohem širším kontextem - celými knihami, sériemi článků, filmů a záznamů fyzických struktur ve třech rozměrech. Znamená to také, že kontext pro jakýkoli úkol může být mnohem více přizpůsoben nabytým znalostem jednotlivce nebo skupiny. Mostaque řekl, že takové modely nepřinesou pouze obecné znalosti GPT-4, ale také specifické znalosti, stejně jako znalosti vašeho týmu, vaší společnosti a dalších.

"Myslím, že to je velký odblok, až to příští rok půjde do podnikání," řekl Mostaque s odkazem na bezprostřední populární přijetí generativní umělé inteligence v podnikovém prostředí.

„Samokontrolovaný paměťový systém“ vlastníka TikTok ByteDance může sáhnout do databanky stovek otočení dialogu a tisíců postav, aby poskytl možnosti libovolného jazykového modelu lepší než ChatGPT při odpovídání na otázky o minulých událostech. Je to ukázáno v dokumentu z roku 2023 „Uvolnění nekonečně dlouhé vstupní kapacity pro rozsáhlé jazykové modely se samořízeným paměťovým systémem“ od Xinniana Lianga a kolegů z ByteDance AI Lab.

Dosažitelné průběžné učení

Vzhledem k tomu, že se multimodalita rozšiřuje na video a audio a na cloudy bodů a vše ostatní, Keller, generální ředitel společnosti Tenstorrent, která vyrábí čipy pro umělou inteligenci, věří, že pokročilejší generativní modely, zejména ty, které pocházejí z komunity open-source softwaru, povedou k hlubokému změna v oboru rozlišování mezi školením a inferencí.

Trénink je, když je poprvé vyvinuta neuronová síť. Je to extrémně nákladný vědecký proces, při kterém se používají stovky nebo dokonce tisíce GPU. Inference je, když se hotová síť používá k předpovědím pro koncové uživatele, což je mnohem méně náročný proces, který je široce nasazován jako cloudová služba.

Ale "generativní modely ve skutečnosti využívají poměrně málo funkcí z tréninku inference," řekl Keller. Program, jako je Stable Diffusion od Stability AI, pro generování obrázků, aktualizuje svou neuronovou síť během inference, řekl. "Je to víceprůchodové: má zpětný průchod" a také typický proces předpovědí dopředu, takže "vypadá, jako by byl v tréninkovém režimu."

Z tohoto důvodu „Myslím, že AI engine budoucnosti... bude mít poměrně rozmanitou sadu schopností, které nebudou vypadat jako inference versus trénink“, ale spíše jako spojení obou.

Pokud má Keller pravdu, budoucí generativní modely by mohly být začátkem dlouhodobého cíle nepřetržitého učení pro strojové učení, také někdy nazývaného online učení, přičemž generativní neuronová síť není po natrénování fixována, ale neustále se vyvíjí, jak ji lidé více používají. .

"Myslím, že to tak bude," souhlasil Mostaque ze Stability AI. "Nepřetržité učení bude klíčové, protože způsob, jakým to děláme nyní, učit [model] stále dokola to samé, není vhodný."

Již nyní, řekl Mostaque, věci, jako je „Dream Booth“ od Stability AI, který umožňuje vytvořit přizpůsobenou verzi obrazu, překračují rigidní představu o přeškolování modelu jazyk-obrázek na něco plynulejšího. Řekl, že se z nich stanou osobní avatary - a během několika příštích měsíců - druh hyper-Dream Booth, který umožňuje personalizaci všech vašich obrázků v reálném čase.

"Proto bude kontinuální učení tak důležité: umožnit tomuto kontinuálnímu procesu, aby se vyvíjel."