Meta říká, že její Movie Gen znamená „skutečný“ pokrok v generování videa pomocí AI
Navzdory vysokému skóre v porovnání s konkurenčními technologiemi genové umělé inteligence stále potřebujete lidské bytosti, aby zkontrolovali, zda je video skutečně dobré nebo ne.
Jak falešné nebo skutečné je rostoucí proud videí produkovaných umělou inteligencí (AI)?
Ukázalo se, že na to existuje kvantitativní měřítko - nebo téměř. Lidé se stále musí na základě svého lidského vnímání rozhodnout, zda je video dobré nebo ne.
Mark Zuckerberg, vlastník Meta Platforms, v pátek oznámil nový model umělé inteligence s názvem Movie Gen, který dokáže generovat HD videa (rozlišení 1080p) z textové výzvy. Firma tvrdí, že tato videa jsou v průměru „realističtější“ než videa generovaná konkurenční technologií (jako je model Sora text-to-video od OpenAI).
Může také generovat synchronizovaný zvuk, přizpůsobit video tak, aby zobrazovalo tvář osoby, a poté video automaticky upravit pomocí textové výzvy, například „oblečte tučňáky do viktoriánského oblečení“, abyste maskovali tučňáky na obrazovce.
V doprovodném dokumentu „Movie Gen: A Cast of Media Foundation Models“ výzkumníci Meta AI popisují, jak lidé hodnotili realističnost videí generovaných AI:
Realness: This measures which of the videos being compared most closely resembles a real video. For fantastical prompts that are out of the training set distribution (e.g., depicting fantasy creatures or surreal scenes), we define realness as mimicking a clip from a movie following a realistic art-style. We additionally ask the evaluators to select a reason behind their choice i.e., "subject appearance being more realistic" or "motion being more realistic".
K dispozici je také doprovodný blogový příspěvek.
Lidské testy identifikují skóre vítězství/prohry pro Movie Gen versus Sora a tři další prominentní modely AI pro převod textu na video, Runway Gen3, Lumalabs a Kling1.5.
Autoři poznamenávají, že zatím není možné získat dobrá srovnání automatizovaným způsobem. Navíc „posouzení reálnosti a estetiky silně závisí na lidském vnímání a preferencích,“ píší.
Nejen v realismu, ale také v otázce toho, jak dobrý je pohyb ve videu, ať už přeskakuje nebo přepadává části akce a jak věrné je video zadané textové výzvě, to jsou věci, které prostě nelze automatizovat. uvádějí.
"Zjistili jsme, že stávající automatizované metriky mají potíže s poskytováním spolehlivých výsledků, což posiluje potřebu lidského hodnocení."
Srovnávací měřítko měří způsoby, jak „lidé preferují výsledky našeho modelu před konkurenčními průmyslovými modely“, uvádí článek, což vede k „čisté míře výher“ v procentech.
Průměrná míra výher proti Soře je podle nich 11,62 % případů. Míra výher proti ostatním je podstatně vyšší.
"Tyto významné čisté výhry demonstrují schopnost Movie Gen Video simulovat skutečný svět pomocí generovaných videí, která respektují fyziku, s pohybem, který je přiměřený co do velikosti, ale konzistentní a bez zkreslení."
Nabízejí některé ukázkové snímky obrazovky videí přímo na rozdíl od Sora. Jak autoři vidí, „OpenAI Sora může mít tendenci generovat méně realistická videa (např. kreslený klokan ve druhé řadě), ve kterých mohou chybět detaily pohybu popsané v textové výzvě (např. nechodící robot ve spodní části řádek)."
Autoři vytvořili model umělé inteligence pro Movie Gen z toho, co nazývají „odlitkem základních modelů“.
Ve fázi tréninku jsou obrázky a videa ze směsi veřejných a licencovaných datových sad komprimovány, dokud se model nenaučí efektivně reprodukovat pixely dat, uvádějí autoři. Jak to nazývají: „Kódujeme videa a obrázky RGB pixelového prostoru do naučeného časoprostorového komprimovaného latentního prostoru pomocí Temporal Autoencoder (TAE) a naučíme se generovat videa v tomto latentním prostoru.“
Meta použila několik kroků, aby nejen vygenerovala video, ale také synchronizovala zvuk, personalizaci a možnosti úpravy videa.
Toto generování videa je pak „podmíněno“ textovými vstupy, aby byl model schopen produkovat video v souladu s textovými výzvami.
Součásti tvoří model s 30 miliardami parametrů - což není podle dnešních školicích standardů obrovské.
Druhá neuronová síť nazvaná „Movie Gen Audio“ produkuje vysoce věrný zvuk - ale pro zvukové efekty a hudbu, nikoli pro řeč. To je postaveno na stávajícím přístupu zvaném „difúzní transformátor“ s 13 miliardami parametrů.
Vše, co vyžaduje hodně výpočetního výkonu: "6 144 GPU H100, každý s výkonem 700 W TDP as 80 GB HBM3, využívající serverovou platformu Meta Grand Teton AI."
Generování videí není vše, co Movie Gen dělá. V následném kroku autoři model také podrobují dalšímu školení, aby vytvořili „personalizovaná“ videa, kde může být tvář jednotlivce donucena objevit se ve filmu.
Přidávají také poslední komponentu, možnost upravovat videa pouze pomocí textové výzvy. Problém, kterému autoři čelili, je ten, že „modelům úpravy videa brání nedostatek dat pro úpravy videa pod dohledem“, takže není dostatek příkladů, které by model AI uvedly na jeho trénování.
Aby to tým obešel, vrátil se k modelu Movie Gen AI a upravil jej v několika krocích. Nejprve používají data z úpravy obrázků k simulaci toho, co se týká úpravy snímků videa. Vložili to do trénování modelu ve stejnou dobu jako původní trénování převodu textu na video, takže model AI rozvíjí schopnost koordinovat editaci jednotlivých snímků s více snímky videa.
V další části autoři předají modelu video, textový popis, jako je „osoba jdoucí po ulici“ a upravené video, a vycvičí model, aby vytvořil instrukce, které by vedly ke změně původního videa. na upravené video. Jinými slovy, nutí model AI, aby přiřazoval pokyny ke změněným videím.
Aby autoři otestovali možnosti úpravy videa, sestavili nový srovnávací test založený na 51 000 videích shromážděných výzkumníky z Meta. Najali také davové pracovníky, aby vymysleli pokyny k úpravám.
Aby mohl tým Meta vyhodnotit úpravy videí, požádal lidské recenzenty, aby ohodnotili, které video je lepší: jedno vytvořené pomocí jejich modelu AI nebo se stávajícím stavem techniky. Použili také automatizovaná měření k porovnání videí před a po v úloze.
„Lidští hodnotitelé preferují Movie Gen Edit před všemi základními liniemi se značným náskokem,“ píší autoři.
Ve všech těchto krocích autoři prolomili cestu v koordinaci velikosti AI modelů dat a množství použitého výpočetního systému. "Zjistili jsme, že škálování trénovacích dat, výpočtů a parametrů modelu jednoduchého modelu založeného na transformátoru trénovaného pomocí Flow Matching poskytuje vysoce kvalitní generativní modely pro video nebo zvuk."
Autoři však připouštějí, že lidské hodnocení má svá úskalí. "Definování objektivních kritérií pro hodnocení generací modelů pomocí lidských hodnocení zůstává náročné, a proto lidské hodnocení může být ovlivněno řadou dalších faktorů, jako jsou osobní předsudky, pozadí atd."
List nemá žádné návrhy, jak se vypořádat s těmi lidskými předsudky. Meta však poznamenává, že uvolní srovnávací test pro ostatní, aniž by zveřejnili časový rámec:
In order to thoroughly evaluate video generations, we propose and hope to release a benchmark, Movie Gen Video Bench, which consists of 1000 prompts that cover all the different testing aspects summarized above. Our benchmark is more than 3⇥ larger than the prompt sets used in prior work.
Společnost se také zavázala, že v určitém okamžiku nabídne svá videa k veřejné kontrole: „Abychom umožnili spravedlivé a snadné srovnání s Movie Gen Video pro budoucí díla, doufáme, že veřejně zveřejníme naše nevybíravá vybraná videa pro sadu výzev Movie Gen Video Bench. ."
Podle Meta zatím nebyl model Movie Gen nasazen. V závěru svého příspěvku autoři píší, že všechny modely umělé inteligence „potřebují před nasazením několik vylepšení“. Například videa generovaná modelem „stále trpí problémy, jako jsou artefakty ve vygenerovaných nebo upravených videích kolem složité geometrie, manipulace s objekty, fyzika objektů, transformace stavu atd.“ Zvuk „někdy není synchronizovaný, když jsou pohyby husté“, jako je video stepování.
Navzdory těmto omezením Movie Gen naznačuje cestu jednoho dne k úplné sadě pro tvorbu a úpravu videa a dokonce i přizpůsobení video podcastu vlastní podobizně.