Model Google VLOGGER AI dokáže z obrázků generovat video avatary - co by se mohlo pokazit?
Tato technologie umělé inteligence by mohla vést k vytvoření spolehlivějších agentů helpdesku nebo nové vlně přesvědčivých deepfakes.
VLOGGER dokáže pořídit jedinou fotografii někoho a vytvořit klipy ve vysoké věrnosti a různé délky, s přesnými výrazy obličeje a pohyby těla, až po mrknutí, což překonává předchozí druhy softwaru „mluvící hlavy“.
Komunita umělé inteligence (AI) je ve výrobě falešných pohyblivých obrázků tak dobrá - podívejte se na OpenAI's Sora, představenou minulý měsíc, s jejími úhlednými imaginárními průlety - že si člověk musí položit intelektuální a praktickou otázku: co měli bychom dělat se všemi těmi videi?
Tento týden odborník z Googlu Enric Corona a jeho kolegové odpověděli: ovládejte je pomocí našeho nástroje VLOGGER. VLOGGER dokáže generovat video ve vysokém rozlišení lidí mluvících na základě jedné fotografie. Ještě důležitější je, že VLOGGER dokáže animovat video podle vzorku řeči, což znamená, že technologie dokáže animovat videa jako řízenou podobiznu osoby - „avatara“ s vysokou věrností.
Tento nástroj by mohl umožnit všechny druhy výtvorů. Na nejjednodušší úrovni tým Corony naznačuje, že VLOGGER by mohl mít velký dopad na avatary helpdesku, protože realističtěji vypadající uměle mluvící lidé mohou „rozvinout empatii“. Navrhují, aby technologie „umožnila zcela nové případy použití, jako je vylepšená online komunikace, vzdělávání nebo personalizované virtuální asistenty“.
VLOGGER by také mohl vést k nové hranici v oblasti deepfakes, reálně vypadajících podobizen, které říkají a dělají věci, které skutečný člověk ve skutečnosti nikdy nedělal. Tým Corony má v úmyslu poskytnout zvážení společenských důsledků VLOGGER v doplňkových podpůrných materiálech. Tento materiál však není k dispozici na stránce projektu GitHub. ZDNET oslovil Coronu, aby se zeptal na podpůrné materiály, ale v době zveřejnění neobdržel odpověď.
Jak je popsáno ve formálním dokumentu „VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis“, tým Corony se snaží překonat nepřesnosti současného stavu avatarů. "Vytváření realistických videí lidí je stále složité a zralé na artefakty," napsal tým Corony.
Tým poznamenal, že stávající video avataři často ořezávají tělo a ruce a zobrazují pouze obličej. VLOGGER dokáže zobrazit celé torzo spolu s pohyby rukou. Jiné nástroje mají obvykle omezené variace výrazů obličeje nebo póz a nabízejí pouze základní synchronizaci rtů. VLOGGER dokáže generovat „video s vysokým rozlišením pohybu hlavy a horní části těla […] se značně odlišnými výrazy obličeje a gesty“ a je „prvním přístupem k vytváření mluvících a pohybujících se lidí pomocí řečových vstupů“.
Jak vysvětlil výzkumný tým, „je to právě automatizace a behaviorální realismus, o co v této práci usilujeme: VLOGGER je multimodální rozhraní ke ztělesněnému konverzačnímu agentovi, vybavenému zvukovou a animovanou vizuální reprezentací, představující komplexní výrazy obličeje a zvyšující se úroveň pohybu těla, navržené tak, aby podporovaly přirozené konverzace s lidským uživatelem."
Na základě jediné fotografie, vlevo, software VLOGGER předpovídá snímky videa, vpravo, které by měly doprovázet každý okamžik zvukového souboru někoho, kdo mluví, pomocí procesu známého jako „difúze“ a poté generuje tyto snímky videa ve vysokém rozlišení. -definiční kvalita.
VLOGGER spojuje několik posledních trendů v hlubokém učení.
Multimodalita spojuje mnoho režimů, které mohou nástroje umělé inteligence absorbovat a syntetizovat, včetně textu a zvuku a obrázků a videa.
Velké jazykové modely, jako je OpenAI GPT-4, umožňují používat přirozený jazyk jako vstup pro řízení akcí různého druhu, ať už jde o vytváření odstavců textu, písně nebo obrázku.
Výzkumníci také v posledních letech našli mnoho způsobů, jak vytvořit realistické obrázky a videa, a to rafinací „difúze“. Termín pochází z molekulární fyziky a odkazuje na to, jak se s rostoucí teplotou částice hmoty mění z vysoce koncentrované v určité oblasti do většího rozprostření. Analogicky lze bity digitální informace považovat za „rozptýlené“, čím více se stávají nekoherentními s digitálním šumem.
Difúze umělé inteligence vnáší do obrazu šum a rekonstruuje původní obraz, aby trénovala neuronovou síť, aby nalezla pravidla, podle kterých byl zkonstruován. Diffusion je kořenem působivého procesu generování obrazu ve Stable Diffusion od Stability AI a DALL-E od OpenAI. Je to také způsob, jakým OpenAI vytváří úhledná videa v Sora.
Pro VLOGGER tým Corony trénoval neuronovou síť, aby spojila zvuk reproduktoru s jednotlivými snímky videa tohoto reproduktoru. Tým zkombinoval difúzní proces rekonstrukce obrazového snímku ze zvuku pomocí další nedávné inovace, Transformeru.
Transformer používá metodu pozornosti k předpovídání snímků videa na základě snímků, které se staly v minulosti, ve spojení se zvukem. Předpovídáním akcí se neuronová síť učí vykreslovat přesné pohyby rukou a těla a výrazy obličeje, snímek po snímku, v synchronizaci se zvukem.
Posledním krokem je použití předpovědí z této první neuronové sítě k následnému napájení generování snímků videa s vysokým rozlišením pomocí druhé neuronové sítě, která také využívá difúzi. Tento druhý krok je také průkopníkem v datech.
Pro vytvoření obrázků ve vysokém rozlišení sestavil tým Corony MENTOR, datovou sadu obsahující 800 000 „identit“ videí mluvících lidí. MENTOR se skládá z 2 200 hodin videa, o čemž tým tvrdí, že z něj dělá „největší datový soubor používaný k dnešnímu dni z hlediska identit a délky“ a je 10krát větší než předchozí srovnatelné datové soubory.
Autoři zjistili, že mohou tento proces vylepšit následným krokem zvaným „jemné doladění“. Odesláním celovečerního videa do VLOGGER, které již bylo „předtrénováno“ na MENTOR, mohou realističtěji zachytit idiosynkrazie pohybu hlavy člověka, jako je mrkání: „Jemným vyladěním našeho difúzního modelu s více daty , na monokulárním videu subjektu se VLOGGER může naučit lépe zachytit identitu, např. když referenční obrázek zobrazuje oči jako zavřené, což je proces, který tým nazývá „personalizace“.
Neuronová síť VLOGGER je kombinací dvou různých neuronových sítí. První z nich využívá „maskovanou pozornost“ prostřednictvím transformátoru k předpovědi, jaké pozice by se měly stát v rámci videa na základě zvuku vycházejícího z nahraného zvukového signálu reproduktoru. Druhá neuronová síť využívá difúzi ke generování konzistentní sekvence video snímků pomocí vodítek pohybu těla a výrazu z první neuronové sítě.
Větší bod tohoto přístupu - propojení předpovědí v jedné neuronové síti se snímky ve vysokém rozlišení a to, co dělá VLOGGER provokativní - je v tom, že program negeneruje pouze video, jako to dělá Sora. VLOGGER spojuje toto video s akcemi a výrazy, které lze ovládat. S jeho realistickými videi lze manipulovat, jak se odvíjejí, jako s loutkami.
"Naším cílem je překlenout propast mezi nedávnými snahami o syntézu videa," napsal tým Corony, "které mohou generovat dynamická videa bez kontroly nad identitou nebo pózou a s ovladatelnými metodami generování obrazu."
VLOGGER může být nejen hlasem řízený avatar, ale může také vést k editačním funkcím, jako je změna úst nebo očí mluvícího subjektu. Například virtuální osoba, která ve videu hodně mrká, může být změněna na mrkání málo nebo vůbec. Způsob mluvení se širokými ústy by se mohl zúžit na diskrétnější pohyb rtů.
Po dosažení způsobu ovládání videa ve vysokém rozlišení pomocí hlasových podnětů VLOGGER otevírá cestu k manipulacím, jako je změna pohybu rtů reproduktoru v každém úseku videa tak, aby se lišil od původního zdrojového videa.
Po dosažení nového stavu techniky v simulaci lidí, otázkou, kterou tým Corony nezabýval, je, co by měl svět očekávat od jakéhokoli zneužití technologie. Je snadné si představit podobizny politické osobnosti, která říká něco naprosto katastrofálního o, řekněme, hrozící jaderné válce.
Pravděpodobně další fází této avatarské hry budou neuronové sítě, které, stejně jako „Voight-Kampffův test“ ve filmu Blade Runner, mohou pomoci společnosti odhalit, kteří mluvčí jsou skuteční a kteří jsou jen deepfake s pozoruhodně živými způsoby.