Vlna více pohledů umělé inteligence se blíží a bude mocná

Vzestup více modalit dat bude spojen v mnohostranném pohledu na svět, což by mohl být důležitý krok směrem k programům, které provádějí „uvažování“ a „plánování“.

Takzvaný multi-view je způsob, jak propojit dva různé signály tím, že zváží informace, které sdílejí o stejném objektu navzdory rozdílům. Multi-view může otevřít cestu ke strojům, které mohou mít bohatší smysl pro strukturu světa, možná přispět k cíli strojů, které dokážou „uvažovat“ a „plánovat“.

Umělá inteligence ve své nejúspěšnější podobě - věci jako ChatGPT nebo DeepMind’s AlphaFold k předpovídání proteinů - byla uvězněna v jedné nápadně úzké dimenzi: AI vidí věci pouze z jedné strany, jako slovo, jako obraz, jako souřadnici v prostor -- jako jakýkoli typ dat, ale pouze po jednom.

Ve velmi krátké době se neuronové sítě chystají dramaticky expandovat sloučením datových forem, které budou nahlížet na život z mnoha stran. Je to důležitý vývoj, protože může dát neuronovým sítím větší základy ve způsobech, jakými jsou svět soudržné, způsoby, jak věci drží pohromadě, což by mohlo být důležitou fází v pohybu směrem k programům, které mohou jednoho dne provádět to, co byste nazvali „uvažováním“. “ a „plánování“ o světě.

Nadcházející vlna vícestranných dat má své kořeny v letech studia vědců zaměřených na strojové učení a obecně se nazývá „multi-view“ neboli fúze dat. Existuje dokonce akademický časopis věnovaný tomuto tématu, nazvaný Information Fusion, vydávaný vědeckým vydavatelským gigantem Elsevier.

Hluboká myšlenka datové fúze spočívá v tom, že cokoli na světě, který se člověk pokouší prozkoumat, má mnoho stran najednou. Například webová stránka obsahuje jak text, který vidíte pouhým okem, tak kotvící text, který na tuto stránku odkazuje, nebo ještě třetí věc, základní kód HTML a CSS, který tvoří strukturu stránky.

Obrázek osoby může mít jak štítek pro jméno osoby, tak také pixely obrázku. Video obsahuje snímek videa, ale také zvukový klip doprovázející tento snímek.

Dnešní programy umělé inteligence zacházejí s takovými proměnlivými daty jako s oddělenými informacemi o světě, mezi nimiž není žádné spojení. I když neuronové sítě zpracovávají více druhů dat, jako je text a zvuk, většinou zpracovávají tyto datové sady současně - nespojují explicitně více druhů dat s pochopením, že jde o pohledy na stejný objekt.

Například společnost Meta Properties - vlastník Facebooku, Instagramu a WhatsApp - v úterý představila své nejnovější úsilí v oblasti strojového překladu, tour de force v používání více modalit dat. Program SeamlessM4T je trénován na řečových i textových datech současně a může generovat text i zvuk pro jakýkoli úkol.

SeamlessM4T však nevnímá každou jednotku každého signálu jako aspekt stejného objektu.

Ten roztříštěný pohled na věc se začíná měnit. V článku, který nedávno zveřejnil odborný asistent na New York University a spolužák z fakulty Ravid Shwartz-Ziv, a hlavní vědec Meta's AI Yann LeCun, dvojice diskutuje o cíli použití více pohledů k obohacení neuronových sítí hlubokého učení reprezentací objektů z různých perspektiv. .

V dnešních hlubokých neuronových sítích jsou objekty rozděleny do nesouvisejících signálů. Přicházející vlna multimodality, využívající obrázky plus zvuky plus text plus mračna bodů, sítě grafů a mnoho dalších druhů signálů, může začít dávat dohromady bohatší model struktury věcí.

Ve vysoce technickém a spíše teoretickém článku zveřejněném na předtiskovém serveru arXiv v dubnu Shwartz-Ziv a LeCun píší, že „úspěch hlubokého učení v různých aplikačních doménách vedl k rostoucímu zájmu o hluboké multiview metody, které ukázaly slibné výsledky."

Multi-view směřuje k osudovému okamžiku, protože dnešní stále větší neuronové sítě - jako je SeamlessM4T - přebírají stále více modalit, známých jako „multimodální“ AI.

Budoucnost takzvané generativní umělé inteligence, programů jako ChatGPT a Stable Diffusion, spojí nepřeberné množství modalit do jediného programu, včetně nejen textu a obrázků a videa, ale také mračna bodů a znalostních grafů, dokonce i bioinformatická data. a mnoho dalších pohledů na scénu nebo předmět.

Mnoho různých modalit nabízí potenciálně tisíce „pohledů“ na věci, pohledů, které by mohly obsahovat vzájemné informace, což by mohlo být velmi bohatým přístupem k pochopení světa. Ale také přináší výzvy.

Klíčem k multi-view v hlubokých neuronových sítích je koncept, o kterém Shwartz-Ziv a další předpokládali, že je znám jako „informační úzké hrdlo“. Informační úzké hrdlo se stává problematickým s tím, jak se rozšiřuje počet modalit.

Informační úzké hrdlo je klíčovým konceptem strojového učení. Ve skrytých vrstvách hluboké sítě, jak se říká, se vstup sítě omezí na ty věci, které jsou nejdůležitější pro výstup rekonstrukce vstupu, formy komprese a dekomprese.

V informačním úzkém hrdle je více vstupů kombinováno v „reprezentaci“, která extrahuje významné detaily sdílené vstupy jako různé pohledy na stejný objekt. Ve druhé fázi je pak tato reprezentace zmenšena na komprimovanou formu, která obsahuje pouze základní prvky vstupu nezbytné k predikci výstupu, který odpovídá danému objektu. Tento proces shromažďování vzájemných informací a následného odstranění nebo komprimace všeho kromě toho podstatného je úzkým hrdlem informací.

Výzvou pro multi-view ve velkých multimodálních sítích je, jak zjistit, jaké informace ze všech různých pohledů jsou nezbytné pro mnoho úkolů, které bude obří neuronová síť provádět se všemi těmito různými modalitami.

Jako jednoduchý příklad lze uvést, že neuronová síť provádějící textový úkol, jako je ChatGPT, produkující věty textu, by se mohla porouchat, když musí také, řekněme, vytvářet obrázky, pokud byly detaily relevantní pro druhý úkol během procesu vyřazeny. kompresní stupeň.

Jak píší Shwartz-Ziv a LeCun, „[S]rozdělení informací do relevantních a irelevantních komponent se stává náročným, což často vede k neoptimálnímu výkonu.“

Na tento problém zatím neexistuje jasná odpověď, prohlašují učenci. Bude to vyžadovat další výzkum; konkrétně předefinování multi-pohledu z něčeho, co zahrnuje pouze dva různé pohledy na objekt, na možná mnoho pohledů.

"Abychom zajistili optimalitu tohoto cíle, musíme rozšířit předpoklad více pohledů tak, aby zahrnoval více než dva pohledy," píší. Tradiční přístup k více pohledům zejména předpokládá, že „relevantní informace jsou sdíleny všemi různými pohledy a úkoly, což může být příliš omezující,“ dodávají. Je možné, že pohledy sdílejí v některých kontextech pouze některé informace.

"V důsledku toho," uzavírají, "je nezbytné definovat a analyzovat rafinovanější verzi tohoto naivního řešení."

Není pochyb o tom, že vzestup multimodality přiměje vědu o více pohledech k vymýšlení nových řešení. Exploze multimodality v praxi povede k novým teoretickým průlomům pro AI.