Co přesně je AI PC? A měli byste si ho koupit v roce 2025?

Tím, že se Meta vyhýbá výstupům specifickým pro data ve prospěch interních reprezentací, usiluje o obecnější druh umělé inteligence.

Závod o vytvoření jedné neuronové sítě, která dokáže zpracovávat více druhů dat - obecnější umělé inteligence, která nerozlišuje typy dat, ale místo toho je dokáže všechny zpracovat v rámci stejné základní struktury.

Velmi obecný Transformer se stává tím, co se nazývá předtrénink, který pak může být aplikován na konkrétní neuronové sítě, aby bylo možné provádět konkrétní úkoly. Autoři například používají data2vec jako předtrénink pro vybavení toho, co se nazývá "ViT", "vision Transformer", neuronová síť speciálně navržená pro úlohy vidění, kterou loni představil Alexej Dosovitskiy a kolegové z Googlu. 

Společnost Meta ukazuje nejlepší výsledky v uznávané soutěži ImageNet v rozpoznávání obrázků.

Při použití na systému ViT k vyřešení standardního testu rozpoznávání obrazu ImageNet jsou jejich výsledky na vrcholu balíčku s přesností 84,1 %. To je lepší než skóre 83,2 %, které získal tým v Microsoftu, který v loňském roce předškolil ViT vedený Hangbo Bao .

A stejný data2vec Transformer vydává výsledky, které jsou nejmodernější pro rozpoznávání řeči a které jsou konkurenceschopné, ne-li nejlepší, pro učení přirozeného jazyka:

Experimentální výsledky ukazují, že data2vec je efektivní ve všech třech modalitách, nastavuje nový stav techniky pro ViT-B a ViT-L na ImageNet-1K, zlepšuje nejlepší předchozí práci v oblasti zpracování řeči na rozpoznávání řeči a dosahuje srovnatelného výkonu RoBERTa v benchmarku porozumění přirozenému jazyku GLUE. 

Podstatné je, že se to děje bez jakékoli úpravy neuronové sítě tak, aby byla o obrázcích, a to samé pro řeč a text. Místo toho každý typ vstupu vstupuje do stejné sítě a plní stejný velmi obecný úkol. Jedná se o stejný úkol, který vždy používají sítě Transformer, známý jako "maskovaná predikce". 

Způsob, jakým data2vec provádí maskovanou predikci, je však přístup známý jako "self-supervisioned" učení. V prostředí pod vlastním dohledem je neuronová síť trénována nebo vyvíjena tak, že musí projít několika fázemi. 

Za prvé, síť zkonstruuje reprezentaci společné pravděpodobnosti vstupu dat, ať už jde o obrázky, řeč nebo text. Druhá verze sítě pak má některé z těchto vstupních datových položek "maskované", ponechané neodhalené. Musí rekonstruovat společnou pravděpodobnost, kterou první verze sítě vytvořila, což ji nutí vytvářet stále lepší reprezentace dat tím, že v podstatě vyplňuje mezery. 

Přehled přístupu data2vec.

Dvě sítě, jedna s plným vzorcem společné pravděpodobnosti a druhá s neúplnou verzí, kterou se snaží dokončit, se nazývají, dost rozumně, "Učitel" a "Student". Studentská síť se snaží rozvinout svůj smysl pro data, chcete-li, rekonstrukcí toho, čeho Učitel již dosáhl.

Kód modelů si můžete prohlédnout na Githubu.

Jak neuronová síť funguje jako učitel a student pro tři velmi odlišné typy dat? Klíčové je, že "cílem" společné pravděpodobnosti ve všech třech datových případech není konkrétní výstupní datový typ, jako je tomu ve verzích Transformeru pro konkrétní datový typ, jako je BERT od Googlu nebo GPT-3 od OpenAI. 

Data2vec spíše uchopuje spoustu vrstev neuronové sítě, které jsou uvnitř neuronové sítě, někde uprostřed, a které reprezentují data předtím, než jsou vytvořena jako konečný výstup. 

Jak píší výzkumníci: "Jedním z hlavních rozdílů naší metody [...] kromě provádění maskovaných predikcí je použití cílů, které jsou založeny na zprůměrování více vrstev z učitelské sítě." Konkrétně "regresujeme více reprezentací vrstev neuronové sítě namísto pouze horní vrstvy", takže "data2vec předpovídá latentní reprezentace vstupních dat".

Dodávají: "Obecně používáme výstup FFN [dopředné sítě] před posledním zbytkovým spojením v každém bloku jako cíl," kde "blok" je ekvivalentem Transformeru vrstvy neuronové sítě.

Jde o to, že každý datový typ, který se dostane dovnitř, se pro studentskou síť stává stejnou výzvou k rekonstrukci něčeho uvnitř neuronové sítě, kterou učitel vytvořil.

Toto průměrování se liší od jiných nedávných přístupů k budování jedné sítě pro zpracování všech dat. Například loni v létě nabídla jednotka DeepMind společnosti Google to, co nazývá "Perceiver", svou vlastní multimodální verzi Transformeru. Trénování neuronové sítě Perceiver je standardnější proces vytváření výstupu, který je odpovědí na označenou úlohu pod dohledem, jako je ImageNet. V přístupu pod vlastním dohledem data2vec tyto štítky nepoužívá; Je to jen snaha rekonstruovat vnitřní reprezentaci dat v síti. 

Ještě ambicióznější snahy jsou v zákulisí. Jeff Dean, vedoucí úsilí společnosti Google v oblasti umělé inteligence, v říjnu škádlil "Pathways" a nazval je "architekturou umělé inteligence nové generace" pro multimodální zpracování dat.

Nezapomeňte, že velmi obecný přístup data2vec k jedné neuronové síti pro více modalit má stále mnoho informací o různých datových typech. Obraz, řeč a text jsou připraveny předběžným zpracováním dat. Tímto způsobem se multimodální aspekt sítě stále spoléhá na vodítka o datech, která tým označuje jako "malé modálně specifické vstupní kodéry".

Ještě nejsme ve světě, kde je neuronová síť trénována bez jakéhokoli smyslu pro typy vstupních dat. Také nejsme v bodě, kdy neuronová síť může vytvořit jednu reprezentaci, která kombinuje všechny různé datové typy, takže neuronová síť se učí věci v kombinaci.

Tato okolnost vyplývá z výměny názorů mezi společností ZDNet a výzkumnými pracovníky. ZDNet oslovil Baevského a jeho tým a zeptal se: "Jsou latentní reprezentace, které slouží jako cíle, kombinovaným kódováním všech tří modalit v daném časovém kroku, nebo jsou obvykle jen jednou z modalit?"

Baevski a jeho tým odpověděli, že se jedná o druhý případ a jejich odpověď je natolik zajímavá, že ji lze dlouze citovat:

Latentní proměnné nejsou kombinovaným kódováním pro tyto tři modality. Pro každou modalitu trénujeme samostatné modely, ale proces, kterým se modely učí, je identický. To je hlavní inovace našeho projektu, protože dříve existovaly velké rozdíly v tom, jak jsou modely trénovány v různých modalitách. Neurovědci také věří, že lidé se podobným způsobem učí o zvucích a vizuálním světě. Náš projekt ukazuje, že učení pod vlastním dohledem může fungovat stejným způsobem i pro různé modality.

Vzhledem k omezením data2vec specifickým pro modality zůstává neuronová síť, která by skutečně mohla být One Network To Rule Them All, technologií budoucnosti.