Proč Nvidia učí roboty točit pery a jak pomáhá generativní AI

Nvidia použila GPT-4 ke zlepšení učení pro roboty tím, že vytvořila lepší odměny než lidští programátoři.

Robot Nvidia v simulaci.

Oblast robotiky, klasické aplikace umělé inteligence, byla nedávno rozšířena o zcela novou a módní technologii generativní umělé inteligence, programy, jako jsou velké jazykové modely z OpenAI, které mohou interagovat s příkazy přirozeného jazyka.

Například jednotka DeepMind společnosti Google letos odhalila RT-2, velký jazykový model, který lze prezentovat obrázkem a příkazem a poté vyplivnout jak plán akce, tak souřadnice nezbytné k dokončení příkazu.

Existuje však práh, který generativní programy nemohou překročit: Dokážou zvládnout úkoly na "vysoké úrovni", jako je plánování trasy pro robota k cíli, ale nezvládnou úkoly na "nízké úrovni", jako je manipulace s klouby robot pro jemné ovládání motoru.

Nová práce od Nvidie zveřejněná tento měsíc naznačuje, že jazykové modely mohou být blíže k překonání této propasti. Program nazvaný Eureka používá jazykové modely ke stanovení cílů, které lze zase použít k nasměrování robotů na nízké úrovni, včetně přimět je k provádění jemných motorických úkolů, jako je manipulace rukou robota s předměty.

Program Eureka je jen prvním programem, který bude pravděpodobně muset vynaložit mnoho úsilí, aby překonal propast, protože Eureka funguje uvnitř počítačové simulace robotiky; ještě neovládá fyzického robota v reálném světě.

„Využití [velkých jazykových modelů] k učení se složitým úlohám manipulace na nízké úrovni, jako je obratné otáčení perem, zůstává otevřeným problémem,“ píší hlavní autor Yecheng Jason Ma a kolegové z Nvidie, University of Pennsylvania, Caltech a University of Texas v Austinu, v dokumentu „Eureka: Human-level, design design through coding large language, models“, zveřejněném na předtiskovém serveru arXiv tento měsíc.

K dispozici je také doprovodný blogový příspěvek od Nvidie.

Pozorování Ma a týmu souhlasí s pohledem dlouholetých výzkumníků v robotice. Podle Sergeye Levina, docenta na katedře elektrotechniky na Kalifornské univerzitě v Berkeley, nejsou jazykové modely skvělou volbou pro „poslední palec, část, která má co do činění s robotem, který se skutečně fyzicky dotýká věcí na světě“. protože takový úkol „je většinou zbaven sémantiky“.

"Mohlo by být možné vyladit jazykový model, aby také předpovídal úchopy, ale není jasné, zda to skutečně pomůže, protože, no, co vám jazyk říká o tom, kam umístit prsty na předmětu?" Levine řekl ZDNET. "Možná vám to trochu říká, ale možná ne tolik, aby to skutečně změnilo."

Dokument Eureka řeší problém nepřímo. Místo toho, aby jazykový model říkal simulaci robota, co má dělat, používá se k vytváření „odměn“, cílů, o které může robot usilovat. Odměny jsou dobře zavedené jako metoda v tom, čemu se říká zesílené učení, což je forma umělé inteligence strojového učení, na kterou se Levine z Berkeley a další robotici spoléhají při výcviku robotů.

Hypotéza Ma a týmu je, že velký jazykový model může udělat lepší práci při vytváření těchto odměn za posílení učení než lidský programátor AI.

V procesu známém jako „evoluce odměny“ programátor napíše jako výzvu pro GPT-4 všechny podrobnosti problému, data o robotické simulaci - věci, jako jsou environmentální omezení toho, co může robot dělat - a odměny, které již byly vyzkoušeny, a žádá GPT-4, aby jej vylepšil. GPT-4 pak vymýšlí nové odměny a opakovaně je testuje.

Evolution je to, podle čeho je program pojmenován: „Evolution-driven Universal Reward Kit for Agents“ neboli Eureka.

Nástin toho, jak Eureka funguje: Využití všech základních návrhů lidských programátorů pro robotického simíka a poté vytvoření spousty odměn a jejich vyzkoušení iterativním způsobem.

Máma a tým vyzkoušeli svůj vynález na mnoha simulacích úloh, jako je otevření zásuvky robotem. Eureka, jak říkají, "dosahuje výkonu na lidské úrovni při návrhu odměn v rozmanité sadě 29 open-source RL prostředí, která zahrnují 10 různých morfologií robotů, včetně čtyřnožců, kvadrokoptér, dvounožců, manipulátorů a také několika šikovných rukou."

Hromada úloh robotických simulátorů, za které program Eureka vytvořil odměny.

„Bez jakýchkoliv konkrétních úkolů nebo šablon odměn, Eureka autonomně generuje odměny, které překonávají odměny expertů u 83 % úkolů a dosahuje průměrného normalizovaného zlepšení o 52 %,“ hlásí.

Jedním z nejvýraznějších příkladů toho, čeho dosáhli, je získat ruku simulovaného robota, aby točil perem jako znuděný student ve třídě. "Uvažujeme o předení perem, při kterém pětiprstová ruka potřebuje rychle otáčet perem v předem definovaných konfiguracích otáčení pro co nejvíce cyklů," píší. Aby tak učinili, kombinují Eureku s přístupem strojového učení vyvinutým před několika lety nazvaným „kurikulum učení“, ve kterém je úkol rozdělen na malé kousky.

„Poprvé předvádíme rychlé manévry otáčení perem na simulované antropomorfní Shadow Hand,“ vyprávějí.

Autoři také učiní překvapivý objev: Pokud zkombinují obě své vylepšené odměny z Eureky s lidskými odměnami, bude kombo fungovat lépe v testech než samotné lidské nebo Eureka odměny. Domnívají se, že důvodem je, že lidé mají jednu část skládačky, kterou program Eureka nemá, totiž znalost stavu věcí.

"Lidští designéři jsou obecně informováni o relevantních stavových proměnných, ale jsou méně zdatní v navrhování odměn pomocí nich," píší. "To dává intuitivní smysl, protože identifikace relevantních stavových proměnných, které by měly být zahrnuty do funkce odměny, vyžaduje většinou zdravý rozum, ale návrh odměny vyžaduje specializované znalosti a zkušenosti v RL."

To ukazuje na možné partnerství mezi člověkem a umělou inteligencí podobné GitHub Copilot a dalším asistenčním programům: „Tyto výsledky společně demonstrují schopnost Eureka odměňovat asistenta, dokonale doplňující znalosti lidských designérů o užitečných stavových proměnných a kompenzovat jejich menší odbornost, jak navrhovat. odměny za jejich použití."