Jak plán IBM pro průmyslovou transformaci využívá umělou inteligenci, 5G a spolupráci

Základní problémy se vymykají mnoha kmenům hlubokého učení, říká LeCun, včetně záhady, jak měřit informace.

"Myslím, že systémy umělé inteligence musí být schopny uvažovat," říká Yann LeCun, hlavní vědec společnosti Meta v oblasti umělé inteligence. Dnešní populární přístupy umělé inteligence, jako jsou Transformers, z nichž mnohé staví na jeho vlastní průkopnické práci v této oblasti, nebudou stačit. "Musíte udělat krok zpět a říct si: Dobře, postavili jsme tento žebřík, ale chceme letět na Měsíc a neexistuje způsob, jak nás tam tento žebřík dostane," říká LeCun.

 (Článek je aktualizován o protiargumenty Garyho Marcuse a Jürgena Schmidhubera v kontextu.)

Yann LeCun, hlavní vědec umělé inteligence ve společnosti Meta, majitel Facebooku, Instagramu a WhatsAppu, si pravděpodobně odškrtne spoustu lidí ve svém oboru. 

Zveřejněním článku na serveru Open Review v červnu LeCun nabídl široký přehled přístupu, který je podle něj slibný pro dosažení inteligence strojů na úrovni člověka. 

V článku je naznačeno, ne-li vyjádřeno, tvrzení, že většina dnešních velkých projektů v oblasti umělé inteligence nikdy nebude schopna dosáhnout tohoto cíle na lidské úrovni.

V diskusi tento měsíc s ZDNET prostřednictvím Zoomu LeCun jasně řekl, že se na mnohé z nejúspěšnějších směrů výzkumu v oblasti hlubokého učení dívá v současnosti s velkou skepsí.

"Myslím, že jsou nezbytné, ale ne dostatečné," řekl držitel Turingovy ceny ZDNET o snahách svých vrstevníků. 

Patří mezi ně velké jazykové modely, jako je GPT-3 založený na Transformeru a jim podobné. Jak to LeCun charakterizuje, odživci Transformeru věří: "Všechno tokenizujeme a trénujeme gigantickémodely, aby dělaly diskrétní předpovědi, a nějakým způsobem se z toho vynoří umělá inteligence."

"Nemýlí se v tom smyslu, že by to mohla být součást budoucího inteligentního systému, ale myslím si, že mu chybí základní části."

Je to překvapivá kritika toho, co se zdá fungovat, pocházející od vědce, který zdokonalil použití konvolučních neuronových sítí, praktické techniky, která byla neuvěřitelně produktivní v programech hlubokého učení. 

LeCun vidí nedostatky a omezení v mnoha dalších velmi úspěšných oblastech této disciplíny. 

Zpětnovazební učení také nikdy nebude stačit, tvrdí. Výzkumníci jako David Silver z DeepMind, který vyvinul program AlphaZero, který zvládl Chess, Shogi a Go, se zaměřují na programy, které jsou "velmi akční", poznamenává LeCun, ale "většinu učení, které děláme, neděláme tím, že skutečně podnikáme akce, ale děláme to pozorováním." 

Dvaašedesátiletý Lecun nicméně z perspektivy desetiletí úspěchů vyjadřuje naléhavou potřebu postavit se tomu, co považuje za slepé uličky, do nichž se mnozí mohou řítit, a pokusit se přimět svůj obor směrem, kterým by se podle něj věci měly ubírat. 

"Vidíme spoustu tvrzení o tom, co bychom měli udělat, abychom se posunuli vpřed směrem k umělé inteligenci na lidské úrovni," říká. "A existují myšlenky, které jsou podle mě špatně nasměrované."

"Nejsme v bodě, kdy by naše inteligentní stroje měly tolik zdravého rozumu jako kočka," poznamenává Lecun. "Tak proč nezačneme tam?" 

Opustil svou dřívější víru v používání generativních sítí ve věcech, jako je předpovídání dalšího snímku ve videu. "Bylo to naprosté selhání," říká. 

LeCun odsuzuje ty, které nazývá "náboženskými pravděpodobnostníky", kteří "si myslí, že teorie pravděpodobnosti je jediný rámec, který můžete použít k vysvětlení strojového učení". 

Čistě statistický přístup je podle něj neřešitelný. "Je příliš žádat o to, aby byl model světa zcela pravděpodobnostní; Nevíme, jak to udělat."

Nejen akademici, ale i průmyslová umělá inteligence potřebuje hluboké přehodnocení, tvrdí LeCun. Dav samořiditelných aut, startupy jako Wayve, byl "trochu příliš optimistický," říká, když si myslel, že mohou "házet data na" velké neuronové sítě "a vy se můžete naučit v podstatě cokoli."

"Víte, myslím si, že je docela možné, že budeme mít autonomní auta páté úrovně bez zdravého rozumu," říká s odkazem na "ADAS", pokročilé asistenční systémy pro řidiče pro autonomní řízení, "ale budete to muset sakra zkonstruovat."

Věří, že taková překonstruovaná technologie autonomního řízení bude něco stejně skřípavého a křehkého jako všechny programy počítačového vidění, které byly nahrazeny hlubokým učením.

"Nakonec bude existovat uspokojivější a možná i lepší řešení, které bude zahrnovat systémy, které odvádějí lepší práci při pochopení toho, jak svět funguje."

LeCun nabízí některé zdrcující názory svých největších kritiků, jako je profesor NYU Gary Marcus - "nikdy ničím nepřispěl k umělé inteligenci" - a Jürgen Schmidhuber, spoluředitel Institutu pro výzkum umělé inteligence Dalle Molle - "je velmi snadné dělat vztyčování vlajek".

Kromě kritiky je důležitějším LeCunovým tvrzením, že celá umělá inteligence čelí určitým základním problémům, zejména jak měřit informace.

"Musíte udělat krok zpět a říct si: Dobře, postavili jsme tento žebřík, ale chceme letět na Měsíc a neexistuje způsob, jak nás tam tento žebřík dostane," říká LeCun o své touze podnítit přehodnocení základních konceptů. "V podstatě to, co zde píšu, je, že potřebujeme stavět rakety, nemohu vám dát podrobnosti o tom, jak vyrábíme rakety, ale zde jsou základní principy."

Článek a LeCunovy myšlenky v rozhovoru lze lépe pochopit, když si přečtete LeCunův rozhovor z počátku tohoto roku pro ZDNET, ve kterém argumentuje pro učení založené na energii pod vlastním dohledem jako cestu vpřed k hlubokému učení. Tyto úvahy dávají představu o základním přístupu k tomu, co doufá, že vybuduje jako alternativu k věcem, o kterých tvrdí, že se nedostanou do cíle. 

Následuje lehce upravený přepis rozhovoru.

ZDNET: Předmětem našeho rozhovoru je tento článek "Cesta k autonomní strojové inteligenci", jehož verze 0.9.2 je dochovanou verzí, že?

Yann LeCun: Ano, považuji to svým způsobem za pracovní dokument. Tak jsem to zveřejnil na Open Review, čekal jsem, až lidé udělají komentáře a návrhy, možná další odkazy, a pak vytvořím revidovanou verzi. 

ZDNET: Vidím, že Juergen Schmidhuber už přidal nějaké komentáře k Open Review.

YL: No, ano, vždycky to dělá. Cituji jeden z jeho článků ve svých novinách. Myslím si, že argumenty, které uvedl na sociálních sítích, že si to všechno v podstatě vymyslel v roce 1991, jak to dělal v jiných případech, prostě neplatí. Chci říct, že je velmi snadné udělatvýsadbu vlajky a napsat nápad bez jakýchkoli experimentů, bez jakékoli teorie, prostě navrhnout, že byste to mohli udělat tímto způsobem. Ale víte, je velký rozdíl mezi tím, když prostě máte nápad a pak ho necháte pracovat na problému s hračkami, a pak ho necháte pracovat na skutečném problému, a pak uděláte teorii, která ukáže, proč to funguje, a pak ji nasadíte. Je tam celý řetězec a jeho představa vědeckého kreditu je, že je to úplně první člověk, který o tom měl nápad, který by měl získat všechny zásluhy. A to je směšné. 

(Aktualizace: Jürgen Schmidhuber odpovídá: "LeCun tvrdí, že moje 'představa vědeckého kreditu je, že je to úplně první člověk, který to tak nějak pochopil, kdo by měl dostat všechny zásluhy.' V žádném vesmíru to není pravda. Jak jsem napsal [DLC]: "Vynálezce důležité metody by měl získat uznání za její vynález. Nemusí to být vždy ona, kdo ji popularizuje. Pak by popularizátor měl získat uznání za jeho popularizaci (ale ne za jeho vynalezení)." LeCun se však zjevně nespokojí s uznáním za popularizaci vynálezů jiných; chce také uznání vynálezce  . Zdvojnásobuje svou neudržitelnou pozici , která je neslučitelná se základními univerzálně uznávanými pravidly vědecké integrity [T22].")

ZDNET: Nevěřte všemu, co slyšíte na sociálních sítích. 

YL: Chci říct, že hlavní článek, který říká, že bych měl citovat, nemá žádnou z hlavních myšlenek, o kterých mluvím v článku. Udělal to i s GAN a dalšími věcmi, které se neukázaly jako pravdivé. Je snadné udělat výsadbu vlajky, je mnohem těžší přispět. A mimochodem, v tomto konkrétním článku jsem výslovně řekl, že se nejedná o vědecký článek v obvyklém smyslu tohoto slova. Je to spíš poziční dokument o tom, kam by se tahle věc měla ubírat. A je tam pár nápadů, které mohou být nové, ale většina z nich není. V podstatě si nenárokuji žádnou prioritu ve většině toho, co jsem v tom článku napsal.

(Aktualizace: Schmidhuber odpovídá: "LeCun o mně tvrdí: '... hlavní článek, který říká, že bych měl citovat, nemá žádnou z hlavních myšlenek, o kterých v článku mluvím." To nedává smysl.Uvedl jsem ne jeden, ale několik relevantních článků (včetně [AC90][UN1][AC02][HRL1] [PLAN4]), které obsahují většinu toho, co LeCun výslovně nazývá svými "hlavními původními příspěvky" [LEC22a]. LeCun říká [LEC22c]: "V podstatě si nenárokuji žádnou prioritu většiny toho, co jsem napsal v tom článku.Nicméně vyjmenoval své "hlavní původní příspěvky" [LEC22a] a já jsem ukázal, že to bylo všechno, jen ne [LEC]. LeCun o mně tvrdí: "Dělal to i s GAN." Toto nepravdivé tvrzení nemá žádné opodstatnění a žádné odkazy. Moje generativní a kontradiktorní NN založené na gradientech z roku 1990 [AC90-AC90b] popisovaly (často citované, implementované a používané) základní principy GAN z roku 2014 - jehož článek [GAN1] nedokázal správně přiřadit kredit  [T22]. Moje recenzovaná publikace [AC20] na toto téma zůstává nezpochybněna. )

Zpětnovazební učení také nikdy nebude stačit, tvrdí LeCun. Výzkumníci jako David Silver z DeepMind, který vyvinul program AlphaZero, který zvládl Chess, Shogi a Go, jsou "velmi akční," poznamenává LeCun, ale "většinu učení, které děláme, neděláme tím, že skutečně podnikáme akce, ale děláme to pozorováním." 

ZDNET: A to je možná dobrý začátek, protože mě zajímá, proč jste se vydal touto cestou právě teď? Co vás k tomu přimělo přemýšlet? Proč jste to chtěl napsat?

YL: No, takže, přemýšlel jsem o tom velmi dlouho, o cestě k inteligenci nebo učení a schopnostem na úrovni člověka nebo zvířete. A ve svých přednáškách jsem se dost hlasitě vyjadřoval o tom, že jak učení pod dohledem, tak posilované učení nestačí k napodobení toho druhu učení, který pozorujeme u zvířat a lidí. Dělám to asi sedm nebo osm let. Takže to není nedávno. Před mnoha lety jsem měl keynote na NeurIPS, kde jsem to v podstatě zmínil a různé přednášky, jsou tam nahrávky. Proč tedy psát práci právě teď? Dostal jsem se k bodu - Geoff Hinton udělal něco podobného - myslím tím, že určitě více než já vidíme, že čas se krátí. Nejsme mladí.

ZDNET: Šedesát je nová padesátka. 

YL: To je pravda, ale jde o to, že vidíme spoustu tvrzení o tom, co bychom měli udělat, abychom se posunuli směrem k umělé inteligenci na lidské úrovni. A jsou myšlenky, které jsou podle mě špatně nasměrované. Takže jedna myšlenka je, že bychom měli přidat symbolické uvažování na neuronové sítě. A já nevím, jak to udělat. Takže možná to, co jsem vysvětlil v článku, by mohl být jeden z přístupů, který by dělal totéž bez explicitní manipulace se symboly. Tohle je ten druh tradičního Garyho Marcuse na světě. Gary Marcus mimochodem není člověk s umělou inteligencí, je to psycholog. Nikdy ničím nepřispěl k AI. V experimentální psychologii odvedl opravdu dobrou práci, ale nikdy nenapsal recenzovaný článek o umělé inteligenci. Takže jsou tu tito lidé. 

(Aktualizace: Gary Marcus vyvrací tvrzení o nedostatku recenzovaných článků. V e-mailu pro ZDNet poskytl následující recenzované články: Uvažování zdravého rozumu o kontejnerech pomocí radikálně neúplných informací v umělé inteligenci; Uvažování z radikálně neúplných informací: Případ kontejnerů v zálohách v ozubeném systému; Rozsah a limity simulace v automatizovaném uvažování v umělé inteligenci; Uvažování selským rozumem a znalosti zdravého rozumu v komunikaci ACM; Přehodnocení eliminativního konekcionismu, Cog Psy)

Je tu David Silvers, který říká, že odměna je dost, v podstatě je to všechno o zpětnovazebním učení, jen to musíme trochu zefektivnit, dobře? A myslím si, že se nemýlí, ale myslím si, že nezbytné kroky k zefektivnění zpětnovazebního učení by v podstatě odsunuly posilované učení do role jakési třešničky na dortu. A hlavní chybějící částí je naučit se, jak svět funguje, většinou pozorováním bez akce. Zpětnovazební učení je velmi akční, učíte se věci o světě tím, že podnikáte akce a vidíte výsledky.

ZDNET: A je to zaměřené na odměnu.

YL: Je to zaměřené na odměnu a je to také zaměřené na akci. Takže musíte jednat ve světě, abyste se o něm mohli něco naučit. A hlavní tvrzení, které uvádím v článku o učení pod vlastním dohledem, je, že většinu učení, které děláme, neděláme tím, že bychom skutečně jednali, ale pozorováním. A je to velmi neortodoxní, jak pro lidi, kteří se zpětnovazebním učením obzvlášť, tak pro mnoho psychologů a kognitivních vědců, kteří si myslí, že akce je - neříkám, že akce není nezbytná, je nezbytná. Ale myslím si, že většina toho, co se učíme, se většinou týká struktury světa a zahrnuje samozřejmě interakci, akci, hru a podobné věci, ale hodně z toho je pozorovací.

ZDNET: Také se vám podaří odškrtnout lidi z Transformerů, lidi, kteří jsou na prvním místě Jak to můžete vytvořit bez jazyka jako první? Možná se vám podaří odškrtnout spoustu lidí. 

YL: Jo, jsem na to zvyklý. Takže ano, jsou tu lidé, kteří kladou jazyk na první místo, kteří říkají, víte, inteligence je o jazyce, substrátem inteligence je jazyk, bla, bla, bla. Ale to tak trochu odmítá zvířecí inteligenci. Víte, nejsme v bodě, kdy by naše inteligentní stroje měly tolik zdravého rozumu jako kočka. Tak proč nezačneme tam? Co je to, co umožňuje kočce vnímat okolní svět, dělat docela chytré věci, plánovat a podobné věci, a psům ještě lépe? 

Pak jsou tu všichni lidé, kteří říkají: Ach, inteligence je společenská záležitost, že? Jsme inteligentní, protože spolu mluvíme a vyměňujeme si informace a bla, bla, bla. Existují všechny druhy asociálních druhů, které nikdy nepoznají své rodiče, kteří jsou velmi chytří, jako chobotnice nebo orangutani. Chci říct, že oni [orangutani] jsou určitě vychováváni svou matkou, ale nejsou to společenská zvířata. 

Ale další kategorie lidí, kterou bych si mohl odškrtnout, jsou lidé, kteří říkají, že škálování je dostatečné. Takže v podstatě používáme gigantické Transformery, trénujeme je na multimodálních datech, která zahrnují, víte, video, text, bla, bla, bla. Všechno tak nějak zkamenímea všechno tokenizujeme, a pak trénujeme gigantickémodely, aby v podstatě dělaly diskrétní předpovědi, a nějakým způsobem se z toho vynoří umělá inteligence. Nemýlí se v tom smyslu, že by to mohla být součást inteligentního systému budoucnosti. Ale myslím si, že v něm chybí podstatné části. 

Je tu ještě jedna kategorie lidí, které si tímto článkem odškrtnu. A jsou to pravděpodobnostníci, náboženští pravděpodobnostníci. Takže lidé, kteří si myslí, že teorie pravděpodobnosti je jediný rámec, který můžete použít k vysvětlení strojového učení. A jak jsem se snažil vysvětlit v článku, je v podstatě příliš mnoho žádat po modelu světa, aby byl zcela pravděpodobnostní. Nevíme, jak to udělat. Je tu výpočetní neřešitelnost. Takže navrhuji, aby se od celé této myšlenky upustilo. A samozřejmě, víte, toto je obrovský pilíř nejen strojového učení, ale celé statistiky, která tvrdí, že je normálním formalismem strojového učení. 

Další věc - 

ZDNET: Jste na vzestupu...

A důvodem, proč je to naprosté selhání, jsou opět omezení pravděpodobnostních modelů, kde je relativně snadné předpovědět diskrétní tokeny, jako jsou slova, protože můžeme vypočítat rozdělení pravděpodobnosti pro všechna slova ve slovníku. To je snadné. Ale pokud požádáme systém, aby vytvořil rozdělení pravděpodobnosti pro všechny možné snímky videa, nemáme ponětí, jak ho parametrizovat, nebo máme nějakou představu, jak ho parametrizovat, ale nevíme, jak ho normalizovat. Naráží na neřešitelný matematický problém, který nevíme, jak vyřešit. 

"Nejsme v bodě, kdy by naše inteligentní stroje měly tolik zdravého rozumu jako kočka," poznamenává Lecun. "Tak proč nezačneme tam? Co je to, co umožňuje kočce vnímat okolní svět, dělat docela chytré věci, plánovat a podobné věci, a psům to ještě lépe?"

To je důvod, proč říkám, opusťme teorii pravděpodobnosti nebo rámec pro věci jako je tento, ten slabší, modely založené na energii. Obhajuji to také po celá desetiletí, takže to není nedávná věc. Ale zároveň opouštíme myšlenku generativních modelů, protože na světě je spousta věcí, které jsou nepochopitelné a nepředvídatelné. Pokud jste inženýr, říkáte tomu hluk. Pokud jste fyzik, říkáte tomu teplo. A pokud jste člověk se strojovým učením, nazýváte to, víte, irelevantními detaily nebo jakkoli jinak.

Takže příklad, který jsem použil v článku, nebo který jsem použil v přednáškách, je, že chcete systém předpovídání světa, který by pomohl v samořiditelném autě, je to tak? Chce být schopen dopředu předpovědět trajektorie všech ostatních aut, co se stane s dalšími objekty, které by se mohly pohybovat, chodci, jízdními koly, dítětem běžícím za fotbalovým míčem a podobně. Takže všechny druhy věcí o světě. Ale na okraji silnice mohou být stromy a dnes fouká vítr, takže listí se pohybuje ve větru, a za stromy je rybník a v jezírku jsou vlnky. A to jsou v podstatě do značné míry nepředvídatelné jevy. A nechcete, aby váš model utrácel značné množství zdrojů na předpovídání těch věcí, které je obtížné předvídat a které jsou irelevantní. To je důvod, proč obhajuji architekturu společného vkládání, ty věci, kde proměnná, kterou se snažíte modelovat, se ji nesnažíte předpovědět, snažíte se ji modelovat, ale prochází kodérem a tento kodér může eliminovat spoustu detailů o vstupu, které jsou irelevantní nebo příliš komplikované - v podstatě, ekvivalent hluku.

ZDNET: Na začátku tohoto roku jsme diskutovali o modelech založených na energii, JEPA a H-JEPA. Můj pocit, pokud vám dobře rozumím, je, že nacházíte bod nízké energie, kde jsou tyto dvě předpovědi vnoření X a Y nejvíce podobné, což znamená, že pokud je na jednom stromě holub a v pozadí scény je něco, nemusí to být základní body, které činí tato vnoření blízko sebe.

YL: Správně. Architektura JEPA se tedy ve skutečnosti snaží najít kompromis, kompromis mezi extrahováním reprezentací, které jsou maximálně informativní o vstupech, ale také předvídatelné jedna od druhé s určitou úrovní přesnosti nebo spolehlivosti. Najde kompromis. Takže, pokud má na výběr mezi vynaložením obrovského množství zdrojů včetně detailů pohybu listů a modelováním dynamiky, která rozhodne o tom, jak se listy budou pohybovat za sekundu, nebo to prostě shodí na podlahu tím, že v podstatě prožene proměnnou Y přes prediktor, který eliminuje všechny tyto detaily, Pravděpodobně ji prostě odstraní, protože je prostě příliš těžké ji modelovat a zachytit.

ZDNET: Jedna věc, která je překvapivá, je, že jste byl velkým zastáncem tvrzení: "Funguje to, později přijdeme na teorii termodynamiky, abychom to vysvětlili." Zde jste zaujal přístup: "Nevím, jak to nutně vyřešíme, ale chci předložit nějaké nápady, abych o tom přemýšlel," a možná se dokonce přiblížím k teorii nebo hypotéze, přinejmenším. To je zajímavé, protože existuje spousta lidí, kteří utrácejí spoustu peněz za práci na autě, které vidí chodce bez ohledu na to, zda má auto zdravý rozum. A dovedu si představit, že někteří z těchto lidí nebudou odškrtnuti, ale řeknou: "To je v pořádku, je nám jedno, že to nemá zdravý rozum, vytvořili jsme simulaci, simulace je úžasná a budeme se dál zlepšovat, budeme dál škálovat simulaci." 

A tak je zajímavé, že jste v pozici, kdy si můžete říct, udělejme krok zpět a zamysleme se nad tím, co děláme. A průmysl říká, že budeme jen škálovat, škálovat, škálovat, škálovat, protože ta klika opravdu funguje. Chci říct, že polovodičová klika GPU opravdu funguje.

YL: Je tam asi pět otázek. Takže, myslím, měřítko je nezbytné. Nekritizuji skutečnost, že bychom měli škálovat. Měli bychom škálovat. Tyto neuronové sítě se zlepšují, jak se zvětšují. Není pochyb o tom, že bychom měli škálovat. A ty, které budou mít určitou úroveň zdravého rozumu, budou velké. Myslím, že se tomu nedá nijak vyhnout. Škálování je tedy dobré, je nutné, ale ne dostatečné. To je pointa, o kterou mluvím. Nejde jen o škálování. To je první bod. 

Druhý bod, zda je teorie na prvním místě a podobně. Takže si myslím, že existují koncepty, které přicházejí jako první, že musíte udělat krok zpět a říct si, dobře, postavili jsme tento žebřík, ale chceme letět na Měsíc a neexistuje způsob, jak nás tam tento žebřík dostane. Takže v podstatě to, co zde píšu, je, že potřebujeme postavit rakety. Nemohu vám dát podrobnosti o tom, jak vyrábíme rakety, ale zde jsou základní principy. A nepíšu k tomu teorii nebo tak něco, ale bude to raketa, dobře? Nebo vesmírný výtah nebo cokoli jiného. Nemusíme mít všechny podrobnosti o všech technologiích. Snažíme se, aby některé z těchto věcí fungovaly, jako bych pracoval na JEPA. Společné vkládání funguje opravdu dobře pro rozpoznávání obrázků, ale při jeho použití k trénování světového modelu jsou  potíže. Pracujeme na tom, doufáme, že se nám to brzy podaří, ale možná tam narazíme na nějaké překážky, které možná nedokážeme překonat. 

Pak je v článku klíčová myšlenka o uvažování, že pokud chceme, aby systémy byly schopny plánovat, což si můžete představit jako jednoduchou formu uvažování, musí mít latentní proměnné. Jinými slovy, věci, které nejsou vypočítány žádnou neuronovou sítí, ale věci, které jsou - jejichž hodnota je odvozena tak, aby se minimalizovala nějaká objektivní funkce, nějaká nákladová funkce. A pak můžete tuto nákladovou funkci použít k řízení chování systému. A to není vůbec nová myšlenka, že? Jedná se o velmi klasické optimální řízení, jehož základ sahá až do konce 50. a začátku 60. let. Takže si zde nenárokuji žádnou novinku. Ale to, co říkám, je, že tento typ odvozování musí být součástí inteligentního systému, který je schopen plánovat a jehož chování může být specifikováno nebo řízeno ne pevně zakořeněným chováním, ne napodobováním, ale objektivní funkcí, která řídí chování - neřídí učení. nutně, ale řídí chování. Víte, máme to v mozku a každé zvíře má vnitřní cenu nebo vnitřní motivaci k věcem. To vede devítiměsíční miminka k tomu, aby chtěla vstát. Cena za to, že jste šťastní, když se postavíte, tento termín v nákladové funkci je pevně zakódována. Ale jak se postavíte, to není učení.

"Škálování je dobré, je nezbytné, ale ne dostatečné," říká LeCun o obřích jazykových modelech, jako jsou programy GPT-3 založené na Transformeru. Nadšenci z Transformeru věří: "Všechno tokenizujeme a trénujeme gigantickémodely, aby dělaly diskrétní předpovědi, a nějakým způsobem se z toho vynoří umělá inteligence... ale myslím, že v něm chybí podstatné části."

ZDNET: Abych to završil, zdá se, že velká část komunity hlubokého učení je v pořádku pokračovat s něčím, co nemá zdravý rozum. Zdá se, že zde uvádíte docela jasný argument, že v určitém okamžiku se to dostane do slepé uličky. Někteří lidé říkají: Nepotřebujeme autonomní auto se zdravým rozumem, protože škálování to udělá. Zní to, jako byste říkal, že není v pořádku jen tak pokračovat v této cestě?

YL: Víte, myslím si, že je docela možné, že budeme mít autonomní auta páté úrovně bez zdravého rozumu. Ale problém s tímto přístupem je, že to bude dočasné, protože z toho budete muset pekelně vykonstruovat. Takže, víte, zmapovat celý svět, napevno zapojit všechny druhy specifického chování na rohu, shromáždit dostatek dat, abyste měli všechny, tak trochu, podivné situace, které můžete na silnicích potkat, bla, bla, bla. A můj odhad je, že s dostatečnou investicí a časem z toho můžete prostě udělat peklo. Ale nakonec bude existovat uspokojivější a možná lepší řešení, které bude zahrnovat systémy, které odvádějí lepší práci v chápání toho, jak svět funguje, a mají, víte, určitou úroveň toho, co bychom nazvali zdravým rozumem. Nemusí to být zdravý rozum na lidské úrovni, ale nějaký typ znalostí, které systém může získat sledováním, ale ne sledováním někoho, kdo řídí, jen sledováním věcí, které se pohybují a porozuměním hodně o světě, budováním základů znalostí o tom, jak svět funguje, na základě kterých se můžete naučit řídit. 

Dovolte mi uvést historický příklad. Klasické počítačové vidění bylo založeno na spoustě pevně zapojených, zkonstruovaných modulů, na kterých byste měli jakousi tenkou vrstvu učení. Takže věci, které byly v roce 2012 poraženy AlexNetem, měly v podstatě první fázi, jakousi ručně vyráběnou extrakci funkcí, jako jsou SIFTs [Scale-Invariant Feature Transform (SIFT), klasická technika vidění pro identifikaci význačných objektů na obrázku] a HOG [Histogram of Oriented Gradients, další klasická technika] a různé další věci. A pak druhá vrstva, jakési funkce střední úrovně založené na jádrech funkcí a podobně, a nějaký druh metody bez učitele. A pak na to nasadíte podpůrný vektorový stroj, nebo relativně jednoduchý klasifikátor. A to byl, svým způsobem, standardní pipeline od poloviny roku 2000 do roku 2012. A to bylo nahrazeno konvolučními sítěmi, kde nic z toho pevně nepropojíte, máte prostě spoustu dat a trénujete věci od začátku do konce, což je přístup, který jsem obhajoval dlouhou dobu, ale víte, do té doby nebyl praktický pro velké problémy. 

Podobný příběh se odehrál v rozpoznávání řeči, kde opět existovalo obrovské množství podrobného inženýrství pro to, jak předběžně zpracovat data, extrahovat masové kepstrum (inverzní hodnota rychlé Fourierovy transformace pro zpracování signálu) a pak máte skryté Markovovy modely s jakousi přednastavenou architekturou, bla, bla, bla, se směsí Gaussovců. A tak je to trochu stejná architektura jako vision, kde máte ručně vytvořený front-end a pak poněkud nekontrolovanou, trénovanou, střední vrstvu a pak vrstvu pod dohledem nahoře. A nyní to bylo v podstatě vymazáno neuronovými sítěmi typu end-to-end. Takže tam vidím něco podobného, když se snažíte naučit všechno, ale musíte mít správný prior, správnou architekturu, správnou strukturu.

Dav samořiditelných aut, startupy jako Waymo a Wayve, byl "trochu příliš optimistický," říká, protože si myslel, že by na to mohl "hodit data a vy se můžete naučit v podstatě cokoli". Samořídící auta na úrovni 5 ADAS jsou možná, "ale budete z toho muset pekelně vykonstruovat" a výsledek bude "křehký" jako rané modely počítačového vidění.

ZDNET: Říkáte, že někteří lidé se budou snažit navrhnout to, co v současné době nefunguje s hlubokým učením, aby bylo použitelné, řekněme v průmyslu, a začnou vytvářet něco, co je věcí, která se v počítačovém vidění stala zastaralou?

YL: Správně. A to je částečně důvod, proč lidé pracující na autonomním řízení byli v posledních několika letech příliš optimističtí, je to proto, že máte tyto generické věci jako konvoluční sítě a Transformery, na které můžete házet data a oni se mohou naučit v podstatě cokoliv. Takže si řeknete: Dobře, mám řešení tohoto problému. První věc, kterou uděláte, je, že vytvoříte demo, kde auto jezdí samo několik minut, aniž by někoho zranilo. A pak si uvědomíte, že je tu spousta rohových případů, a snažíte se nakreslit křivku toho, o kolik se zlepšuji, když zdvojnásobím tréninkovou sadu, a uvědomíte si, že se tam nikdy nedostanete, protože jsou tam všechny druhy rohových případů. A musíte mít auto, které způsobí smrtelnou nehodu méně než každých 200 milionů kilometrů, že? Takže, co uděláte? No, jdete dvěma směry. 

Prvním směrem je, jak mohu snížit množství dat, které je nezbytné k tomu, aby se můj systém učil? A to je místo, kde přichází na řadu učení pod vlastním dohledem. Takže mnoho samořídících aut se velmi zajímá o učení pod vlastním dohledem, protože to je způsob, jak stále používat obrovské množství dohledových dat pro imitační učení, ale v podstatě dosáhnout lepšího výkonu předtréninkem. A ještě se to úplně nevyřešilo, ale bude. A pak je tu druhá možnost, kterou přijala většina společností, které jsou v tomto bodě pokročilejší, což je, dobře, můžeme udělat komplexní školení, ale je tu spousta rohových případů, které nemůžeme zvládnout, takže prostě navrhneme systémy, které se o tyto rohové případy postarají. a v podstatě s nimi zacházet jako se zvláštními případy a napevno zapojit kontrolu a pak pevně zapojit spoustu základního chování, aby se vypořádala se speciálními situacemi. A pokud máte dostatečně velký tým inženýrů, možná se vám to podaří. Bude to ale trvat dlouho a nakonec bude stále trochu křehké, možná dostatečně spolehlivé, abyste mohli nasadit, ale s určitou úrovní křehkosti, kterou s přístupem více založeným na učení, který by se mohl v budoucnu objevit, auta nebudou, protože by mohla mít určitou úroveň zdravého rozumu a porozumění tomu, jak svět funguje. 

V krátkodobém horizontu zvítězí svým způsobem zkonstruovaný přístup - on už vyhrává. To je Waymo a Cruise světa a Wayvea cokoliv, to je to, co dělají. Pak je tu přístup učení pod vlastním dohledem, který pravděpodobně pomůže uměle vytvořenému přístupu dosáhnout pokroku. Ale pak, v dlouhodobém horizontu, což může být pro tyto společnosti příliš dlouho na to, aby na to čekaly, by pravděpodobně existoval integrovanější systém autonomního inteligentního řízení.

ZDNET: Říkáme mimo investiční horizont většiny investorů.

YL: Přesně tak. Otázkou tedy je, zda lidé ztratí trpělivost nebo jim dojdou peníze dříve, než výkon dosáhne požadované úrovně.

ZDNET: Dá se říct něco zajímavého o tom, proč jste si vybral některé prvky, které jste v modelu vybral? Protože citujete Kennetha Craika [1943, The Nature of Explanation] a citujete Brysona a Ho [1969, Applied optimal control] a zajímalo by mě, proč jste začal s těmito vlivy, pokud jste věřil zejména tomu, že tito lidé to měli stejně daleko jako to, co udělali. Proč jste tam začal?

YL: No, nemyslím si, že určitě měli všechny detaily přibité. Takže, Brysone a Ho, toto je kniha, kterou jsem četl v roce 1987, když jsem byl postdoktorandem s Geoffreym Hintonem v Torontu. Ale o tomto oboru práce jsem věděl předem, když jsem psal doktorát, a v podstatě jsem vytvořil spojení mezi optimálním řízením a zpětnou vrtulí. Pokud byste opravdu chtěli být, víte, dalším Schmidhuberem, řekli byste, že skutečnými vynálezci backprop byli ve skutečnosti teoretici optimálního řízení Henry J. Kelley, Arthur Bryson a možná dokonce i Lev Pontrjagin, který je ruským teoretikem optimálního řízení z konce 50. let. 

Takže na to přišli a ve skutečnosti, můžete vidět kořen tohoto, matematiku pod tím, je Lagrangeova mechanika. Takže se můžete vrátit k Eulerovi a Lagrangeovi a najít něco z toho v jejich definici Lagrangeovy klasické mechaniky. Takže v kontextu optimálního řízení se tito lidé zajímali v podstatě o výpočet trajektorií raket. Víte, to byl raný vesmírný věk. A pokud máte model rakety, řekne vám, že tady je stav rakety v čase t a tady je akce, kterou provedu, takže tah a akční členy různého druhu, tady je stav rakety v čase t+1.

ZDNET: Stavový akční model, hodnotový model.

YL: Přesně tak, základ kontroly. Takže teď můžete simulovat střelbu z vaší rakety tím, že si představíte sekvenci příkazů, a pak máte nějakou nákladovou funkci, což je vzdálenost rakety k cíli, vesmírné stanici nebo čemukoli jinému. A pak nějakým druhem gradientního sestupu můžete zjistit, jak mohu aktualizovat svou sekvenci akcí, aby se moje raketa skutečně dostala co nejblíže k cíli. A to musí přijít zpětným šířením signálů zpět v čase. A to je zpětná propagace, gradientní zpětná propagace. Tyto signály se v Lagrangeově mechanice nazývají konjugované proměnné, ale ve skutečnosti jsou to gradienty. Takže vynalezli backprop, ale neuvědomili si, že tento princip by mohl být použit k trénování vícestupňového systému, který by mohl dělat rozpoznávání vzorů nebo něco podobného. To si skutečně uvědomili až možná koncem 70. nebo začátkem 80. let a pak to nebylo skutečně implementováno a uvedeno do provozu až do poloviny 80. let. Dobře, takže tady se backprop opravdu, tak trochu, rozjel, protože lidé ukázali, že tady je pár řádků kódu, že můžete trénovat neuronovou síť, od začátku do konce, vícevrstvou. A to odstraňuje omezení Perceptronu. A ano, existují připojení s optimálním ovládáním, ale to je v pořádku.

ZDNET: Takže, to je dlouhý způsob, jak říct, že tyto vlivy, se kterými jste začal, se vracely zpět do pozadí, a to pro vás bylo důležité jako výchozí bod?

YL: Ano, ale myslím si, že na co lidé trochu zapomněli, že v 90. nebo dokonce 80. letech na tom bylo docela dost práce, a to i od lidí jako Michael Jordan (MIT Department of Brain and Cognitive Sciences) a podobných lidí, kteří už neuronové sítě nedělají. Ale myšlenka, že můžete použít neuronové sítě pro ovládání a můžete použít klasické myšlenky optimálního řízení. Takže věci jako to, čemu se říká model-prediktivní řízení, to, čemu se nyní říká model-prediktivní řízení, myšlenka, že můžete simulovat nebo si představit výsledek sekvence akcí, pokud máte dobrý model systému, který se snažíte kontrolovat, a prostředí, ve kterém se nachází. A pak v podstatě gradientním sestupem - to není učení, to je dedukce - můžete zjistit, jaká je nejlepší posloupnost akcí, která minimalizuje můj cíl. Takže použití nákladové funkce s latentní proměnnou pro odvozování je, myslím, něco, na co současná úroda rozsáhlých neuronových sítí zapomněla. Dlouhou dobu to ale byla velmi klasická součást strojového učení. Takže každý Bayesovský Net nebo grafický model nebo pravděpodobnostní grafický model používal tento typ inference. Máte model, který zachycuje závislosti mezi skupinou proměnných, je vám sdělena hodnota některých proměnných a pak musíte odvodit nejpravděpodobnější hodnotu zbytku proměnných. To je základní princip inference v grafických modelech a bayesovských sítích a podobných věcech. A myslím si, že o tom by mělo být uvažování, uvažování a plánování.

ZDNET: Jste zakuklený bayesián.

YL: Jsem nepravděpodobnostní bayesovec. Ten vtip jsem dělal už dříve. Ve skutečnosti jsem byl v NeurIPS před několika lety, myslím, že to bylo v roce 2018 nebo 2019, a byl jsem zachycen na videu Bayesianem, který se mě zeptal, jestli jsem Bayesian, a já jsem řekl, ano, jsem Bayesian, ale jsem nepravděpodobnostní Bayesian, tak trochu, Bayesian založený na energii, chcete-li. 

ZDNET: Což rozhodně zní jako něco ze Star Treku. Na konci tohoto článku jste zmínil, že to bude trvat roky opravdu tvrdé práce, než si uvědomíte, co si představujete. Řekněte mi, v čem se v současné době skládá část této práce.

YL: Takže, v článku vysvětluji, jak školíte a budujete JEPA. A kritériem, které obhajuji, je mít nějaký způsob, jak maximalizovat informační obsah, který reprezentace, které jsou extrahovány, mají o vstupu. A druhým je minimalizace chyby predikce. A pokud máte v prediktoru latentní proměnnou, která umožňuje, aby prediktor nebyl deterministický, musíte regularizovat i tuto latentní proměnnou minimalizací jejího informačního obsahu. Takže teď máte dva problémy, a to jak maximalizovat informační obsah výstupu nějaké neuronové sítě, a druhý, jak minimalizovat informační obsah nějaké latentní proměnné. A pokud tyto dvě věci neuděláte, systém se zhroutí. Nenaučí se nic zajímavého. Dá to nulovou energii všemu, něco takového, což není dobrý model závislosti. Je to problém prevence kolapsu, který zmiňuji. 

A říkám, že ze všech věcí, které kdy lidé udělali, existují pouze dvě kategorie metod, jak zabránit kolapsu. Jednou z nich jsou kontrastivní metody a druhou jsou tyto regularizované metody. Takže tato myšlenka maximalizace informačního obsahu reprezentací dvou vstupů a minimalizace informačního obsahu skryté proměnné, která patří k regularizovaným metodám. Ale spousta práce v těchto architekturách společného vkládání používá kontrastivní metody. Ve skutečnosti jsou v současné době pravděpodobně nejpopulárnější. Otázkou tedy je, jak přesně měřit informační obsah způsobem, který můžete optimalizovat nebo minimalizovat? A tady se věci komplikují, protože vlastně nevíme, jak informační obsah měřit. Můžeme to aproximovat, můžeme to horní odhad, můžeme dělat takové věci. Ve skutečnosti však neměří informační obsah, který ve skutečnosti do jisté míry není ani dobře definovaný.

ZDNET: Není to Shannonův zákon? Není to teorie informace? Máte určité množství entropie, dobré entropie a špatné entropie, a dobrá entropie je systém symbolů, který funguje, špatná entropie je šum. Není to všechno vyřešeno Shannonem?

YL: Máte pravdu, ale je za tím jedna velká chyba. Máte pravdu v tom smyslu, že pokud k vám přicházejí data a můžete je nějak kvantovat do samostatných symbolů, a pak změříte pravděpodobnost každého z těchto symbolů, pak maximální množství informací nesených těmito symboly je součtem možných symbolů Pí log Pi, Vpravo? Kde Pí je pravděpodobnost symbolu i - to je Shannonova entropie. [Shannonův zákon je běžně formulován jako H=- ∑ pí log pí.]

Zde je však problém: Co je to pí? Je to snadné, když je počet symbolů malý a symboly jsou nakresleny nezávisle. Když existuje mnoho symbolů a závislostí, je to velmi těžké. Takže, pokud máte sekvenci bitů a předpokládáte, že bity jsou na sobě nezávislé a pravděpodobnost je rovna mezi 1 a 0 nebo čímkoli jiným, pak můžete snadno změřit entropii, žádný problém. Ale pokud věci, které k vám přicházejí, jsou vysoce dimenzionální vektory, jako jsou snímky videa nebo něco takového, co je to Pí? Jaká je distribuce? Nejprve musíte kvantovat tento prostor, který je vysoce dimenzionálním, spojitým prostorem. Nemáte ponětí, jak to správně kvantifikovat. Můžete použít k-means atd. To je to, co lidé dělají, když dělají kompresi videa a kompresi obrazu. Ale je to jen přibližná představa. A pak musíte vytvářet předpoklady nezávislosti. Je tedy jasné, že ve videu nejsou po sobě jdoucí snímky nezávislé. Existují závislosti a tento snímek může záviset na jiném snímku, který jste viděli před hodinou, což byl obrázek stejné věci. Takže, víte, nemůžete měřit pí. Chcete-li měřit pí, musíte mít systém strojového učení, který se učí předvídat. A tím se vracíme k předchozímu problému. Takže můžete v podstatě pouze přibližnou míru informací. 

"Otázkou je, jak přesně měřit informační obsah tak, abyste jej mohli optimalizovat nebo minimalizovat?" říká LeCun. "A to je místo, kde se věci komplikují, protože ve skutečnosti nevíme, jak měřit informační obsah." To nejlepší, co lze zatím udělat, je najít proxy, která je "dostatečně dobrá pro úkol, který chceme".

Dovolte mi uvést konkrétnější příklad. Jeden z algoritmů, se kterým jsme si hráli, a o kterém jsem mluvil v článku, je věc zvaná VICReg, variance-invariance-kovariance regularizace. Je to v samostatném článku, který byl publikován na ICLR a byl uveden na arXiv asi rok předtím, 2021. A myšlenkou je maximalizovat informace. A ten nápad vlastně vzešel z dřívějšího článku mé skupiny s názvem Barlowova dvojčata. Informační obsah vektoru vycházejícího z neuronové sítě maximalizujete tím, že v podstatě předpokládáte, že jedinou závislostí mezi proměnnými je korelace, lineární závislost. Pokud tedy předpokládáte, že jedinou možnou závislostí mezi páry proměnných nebo mezi proměnnými ve vašem systému jsou korelace mezi páry cenností, což je extrémně hrubá aproximace, pak můžete maximalizovat informační obsah vycházející z vašeho systému tím, že zajistíte, aby všechny proměnné měly nenulový rozptyl - řekněme, Rozptyl jedna, nezáleží na tom, co to je - a pak je zpětně korelovat, stejný proces, kterému se říká bělení, to také není nic nového.

Problém je v tom, že můžete mít velmi dobře extrémně složité závislosti buď mezi skupinami proměnných, nebo dokonce jen páry proměnných, které nejsou lineárními závislostmi a neprojevují se v korelacích. Například, pokud máte dvě proměnné a všechny body těchto dvou proměnných jsou v nějaké spirále, je mezi těmito dvěma proměnnými velmi silná závislost, že? Ale ve skutečnosti, pokud spočítáte korelaci mezi těmito dvěma proměnnými, nejsou korelované. Zde je příklad, kde je informační obsah těchto dvou proměnných ve skutečnosti velmi malý, je to pouze jedna veličina, protože je to vaše pozice ve spirále. Jsou dekorelované, takže si myslíte, že máte spoustu informací pocházejících z těchto dvou proměnných, i když ve skutečnosti nemáte, máte pouze, víte, můžete předpovědět jednu z proměnných od druhé, v podstatě. To ukazuje, že máme jen velmi přibližné způsoby, jak měřit informační obsah.

ZDNET: A to je jedna z věcí, na které teď musíte pracovat? To je širší otázka, jak víme, kdy maximalizujeme a minimalizujeme informační obsah?

YL: Nebo zda je proxy,  který k tomu používáme, dostatečně dobrý pro úkol, který chceme. Ve skutečnosti to ve strojovém učení děláme neustále. Nákladové funkce, které minimalizujeme, nikdy nejsou ty, které bychom ve skutečnosti chtěli minimalizovat. Takže například chcete udělat klasifikaci, ano? Nákladová funkce, kterou chcete minimalizovat při trénování klasifikátoru, je počet chyb, které klasifikátor dělá. Ale to je nediferencovatelná, strašlivá nákladová funkce, kterou nemůžete minimalizovat, protože změníte váhu vaší neuronové sítě, nic se nezmění, dokud jeden z těch vzorků nezmění své rozhodnutí, a pak skok v chybě, kladné nebo záporné.

ZDNET: Takže máte proxy, což je objektivní funkce, o které můžete s jistotou říct, že určitě můžeme proudit gradienty této věci.

YL: Přesně tak. Takže lidé používají tuto křížovou entropii nebo SOFTMAX, máte pro to několik názvů, ale je to to samé. A v podstatě se jedná o plynulou aproximaci počtu chyb, které systém dělá, kde se vyhlazování provádí v podstatě tím, že se bere v úvahu skóre, které systém přiděluje každé z kategorií.

ZDNET: Je něco, o čem jsme se nezmínili a o čem byste se chtěl zmínit?

YL: Pravděpodobně zdůrazňuje hlavní body. Myslím, že systémy umělé inteligence musí být schopny uvažovat a proces, který obhajuji, je minimalizace některých cílů s ohledem na nějakou latentní proměnnou. To umožňuje systémům plánovat a uvažovat. Myslím, že bychom měli opustit pravděpodobnostní rámec, protože je neřešitelný, když chceme dělat věci jako zachycování závislostí mezi vysokodimenzionálními, spojitými proměnnými. A já jsem zastáncem opuštění generativních modelů, protože systém bude muset věnovat příliš mnoho zdrojů na předpovídání věcí, které je příliš obtížné předvídat a možná spotřebovávají příliš mnoho zdrojů. A to je v podstatě vše. To jsou hlavní zprávy, pokud chcete. A pak celková architektura. Pak jsou tu spekulace o povaze vědomí a roli konfigurátoru, ale to jsou ve skutečnosti spekulace.

ZDNET: K tomu se dostaneme příště. Chtěl jsem se vás zeptat, jak tuto věc srovnáváte? Ale hádám, že jste teď trochu dál od benchmarkingu?

YL: Ne nutně tak daleko ve zjednodušených verzích. Můžete dělat to, co všichni dělají v kontrolním nebo zpětnovazebním učení, což je, že trénujete tu věc, aby hrála hry Atari nebo něco podobného, nebo nějakou jinou hru, která má v sobě nějakou nejistotu.

ZDNET: Díky za váš čas, Yanne.