Nový systém RT-2 společnosti Google DeepMind umožňuje robotům provádět nové úkoly
Blížíme se k prožití zápletky filmu Terminátor?
Jak umělá inteligence postupuje, díváme se do budoucnosti s větším počtem robotů a automatizací než kdykoli předtím. Už nás obklopují - robotický vysavač, který dokáže odborně navigovat váš domov, společník robotického mazlíčka pro zábavu vašich chlupatých přátel a robotické sekačky na trávu, které převezmou víkendové práce. Zdá se, že se blížíme k životu The Jetsons v reálném životě. Ale jakkoli se tito roboti zdají chytří, mají svá omezení.
Google DeepMind odhalil RT-2, první model vidění-jazyk-akční (VLA) pro ovládání robota, který efektivně posouvá robotickou hru o několik úrovní výš. Systém byl trénován na textových datech a obrázcích z internetu, podobně jako jsou trénovány velké jazykové modely za chatboty AI, jako jsou ChatGPT a Bing.
Naši roboti doma mohou provádět jednoduché úkoly, pro které jsou naprogramováni. Vysajte například podlahy a pokud levý senzor detekuje zeď, zkuste ji obejít. Tradiční robotické řídicí systémy však nejsou naprogramovány tak, aby zvládaly nové situace a neočekávané změny - často nemohou provádět více než jeden úkol najednou.
RT-2 je navržen tak, aby se postupem času přizpůsoboval novým situacím, učil se z různých zdrojů dat, jako je web a robotická data, aby porozuměl jak jazyku, tak vizuálnímu vstupu, a prováděl úkoly, s nimiž se nikdy nesetkal ani nebyl vyškolen.
„Vizuální jazykový model (VLM) předem trénovaný na datech webového měřítka se učí z dat robotiky RT-1, aby se stal RT-2, model vizuální-jazykové akce (VLA), který dokáže ovládat robota,“ od Google DeepMind.
Tradiční robot může být vycvičen, aby zvedl míč a klopýtl při sbírání kostky. Flexibilní přístup RT-2 umožňuje robotovi trénovat zvednutí míče a může přijít na to, jak upravit své konce, aby zvedl kostku nebo jinou hračku, kterou nikdy předtím neviděl.
Namísto časově náročného školení v reálném světě na miliardách datových bodů, které tradiční roboti vyžadují, kde musí fyzicky rozpoznat objekt a naučit se jej zvednout, je RT-2 trénován na velkém množství dat a dokáže převeďte tyto znalosti do praxe a provádějte úkoly, které jste nikdy předtím nezažili.
"Schopnost RT-2 přenášet informace do akcí je příslibem pro roboty, aby se rychleji přizpůsobili novým situacím a prostředím," řekl Vincent Vanhoucke, vedoucí robotiky Google DeepMind. "Při testování modelů RT-2 ve více než 6 000 robotických testech tým zjistil, že RT-2 fungoval stejně dobře jako náš předchozí model RT-1, pokud jde o úkoly v jeho tréninkových datech, neboli "viděné" úkoly. A téměř zdvojnásobil jeho výkon na nových, neviditelných scénářích na 62 % z 32 % RT-1.“
Některé příklady RT-2 v práci, které byly zveřejněny Google DeepMind.
Tým DeepMind adaptoval dva existující modely, Pathways Language and Image Model (PaLI-X) a Pathways Language Model Embodied (PaLM-E), pro trénink RT-2. PaLI-X pomáhá modelu zpracovávat vizuální data, trénovaná na velkém množství obrázků a vizuálních informací s dalšími odpovídajícími popisy a štítky online. S PaLI-X dokáže RT-2 rozpoznat různé objekty, porozumět okolním scénám z hlediska kontextu a spojovat vizuální data se sémantickými popisy.
PaLM-E pomáhá RT-2 interpretovat jazyk, takže může snadno porozumět pokynům a spojit je s tím, co je kolem něj a co aktuálně dělá.
Když tým DeepMind přizpůsobil tyto dva modely, aby fungovaly jako páteř pro RT-2, vytvořil nový model VLA, který robotovi umožňuje porozumět jazykovým a vizuálním datům a následně generovat vhodné akce, které potřebuje.
RT-2 není robot sám o sobě - je to model, který dokáže ovládat roboty efektivněji než kdykoli předtím. Robot s podporou RT-2 může provádět úkoly v různých stupních složitosti pomocí vizuálních a jazykových dat, jako je uspořádání souborů podle abecedy čtením štítků na dokumentech a jejich řazením a jejich odkládáním na správná místa.
Zvládne i složité úkoly. Pokud jste například řekli: „Potřebuji poslat tento balíček poštou, ale došly mi známky,“ RT-2 dokáže identifikovat, co je třeba udělat jako první, jako je najít poštu nebo obchodníka, který prodává známky v okolí. balík a odtud řídit logistiku.
„Nejen, že RT-2 ukazuje, jak pokroky v AI rychle přecházejí do robotiky, ukazuje to obrovský příslib pro více univerzální roboty,“ dodal Vanhoucke.
Doufejme, že se „slib“ přikloní více k prožití zápletky The Jetsons než té Terminátorovy.