3 lukrativní vedlejší shony, které můžete začít hned teď s generátorem videa Sora od OpenAI
Software využívá populární přístup "pozornosti" k tomu, aby se videa rtů mluvčích a zvukových vln vzájemně posilovala způsoby mnohem efektivnějšími a přesnějšími než předchozí přístupy.
"I když jsi v modulu udělal velmi důkladná opatření, abych tě neslyšel, viděl jsem, jak se tvé rty pohybují."
Je všeobecně známo, že lidé slyší řeč nejen tím, že naslouchají ušima, ale také tím, že zachycují podněty z pohybů úst, které pozorují ze strany mluvčích.
Podobně by kombinace vizuálního pozorování se zvukem mohla pomoci počítači lépe analyzovat lidskou řeč. V jistém smyslu mohou počítačové programy odezírat ze rtů, i když je to pracný úkol.
Nedávná práce společnosti Meta, mateřské společnosti Facebooku, Instagramu a WhatsAppu, v oblasti umělé inteligence naznačuje efektivnější cestu k dni, kdy počítače budou moci odezírat ze rtů stejně dobře jako HAL 9000, když se Dr. David Bowman a Dr. Frank Poole pokusili vyhnout jeho zvukovým senzorům uvnitř modulu ve filmu "2001".
Minulý pátek zveřejnili vědci umělé inteligence společnosti Meta výzkumnou zprávu, ve které se jim podařilo dramaticky snížit úsilí potřebné k vytvoření softwaru, který by analyzoval slova pohybů rtů mluvčích v nahraných videích. Práce byla také schopna využít technologii odezírání ze rtů ke smysluplnému zlepšení rozpoznávání řeči v hlukovém prostředí.
Program je "o 75 % přesnější než nejlepší audio-vizuální systémy rozpoznávání řeči (které používají jak zvuk, tak obraz mluvčího, aby porozuměly tomu, co osoba říká)," uvádějí autoři.
Samozřejmě je zde úhel pohledu Metaverse: Nejenže by program mohl být jednoho dne použit k okamžitému překladu, ale mohl by také "pomoci generovat realistické pohyby rtů v avatarech virtuální reality, aby poskytl skutečný pocit přítomnosti - ten pocit, že jste tam s někým, i když je na druhém konci světa."
Dílo představuje postup ve dvou liniích. Jedním z nich je učení pod vlastním dohledem, které se vyhýbá specifickým vodítkům, jako jsou textové přepisy, a místo toho má program spontánně božskou strukturu v datech. Další oblastí vývoje jsou tzv. multimodální neuronové sítě, které kombinují data různých druhů tak, aby se vzájemně posilovaly.
Výsledek, nazvaný AV-HuBERT, "AV" znamená audiovizuální a "Hu" znamená "skrytá jednotka", kombinuje sluchové a vizuální signály k detekci slov z pohybů rtů.
Hlavní autor Bowen Shi a jeho kolegové Wei-Ning Hsu, Kushal Lakhotia a Abdelrahman Mohamed z Facebooku zveřejnili minulý pátek na preprintovém serveru arXiv svůj článek "Learning Audio-Visual Speech Representation By Masked Multimodal Cluster Prediction ". Autoři také napsali příspěvek na blogu, který pro vás může být snadněji stravitelný.
Jak vysvětlují Shi & Co., předchozí práce byla také multimodální, kombinovala vizuální data, video snímky se zvukovými daty, úryvky křivek pro trénování neuronové sítě, aby předpověděla, jak se shodují.
Ale takové programy mají tendenci spoléhat se na nějaký druh dodatečných, připravených vodítek, jako je přepis videí mluvčích do textových vět, které pak slouží jako štítky. Nová práce se ubírá cestou sebeřízeného a skládá vzorce spontánně bez vnější struktury.
"Je to první systém, který společně modeluje řeč a pohyby rtů z neoznačených dat - surového videa, které ještě nebylo přepsáno," píší autoři ve svém příspěvku na blogu.
Mnoho předchozích modelů mělo videa s odezíráním ze rtů na úrovni slov," trénovat, "což je nákladné shromažďovat, protože vyžadují informace o hranicích slov. Na rozdíl od těchto modelů jsou naše modely plně předtrénovány od nuly pomocí navrženého přístupu.
Program AV-HuBERT, který vynalezli, staví na čistě zvukovém programu nazvaném HuBERT, který loni představil Hsu a jeho kolegové. Jak název napovídá, HuBERT využívá obousměrnou neuronovou síť Transformer vyvinutou společností Google v roce 2018.
"Maskováním" částí zvukového záznamu, což znamená vynechání částí zvukové vlny, musela neuronová síť HuBERT ve své trénovací fázi rekonstruovat, které části zvuku spolu souvisí.
Nyní v AV-HuBERT Shi a jeho tým "slučují" kousky zvuku se snímky z videí lidí, kteří mluví. Trénovací fáze neuronové sítě probíhá v podstatě ve dvou fázích. Za prvé, stejně jako původní HuBERT pouze se zvukem, používají přístup pozornosti k maskování zvuku a poté seskupují tyto zvukové křivky do shluků, které seskupují příklady, které jsou si ve svých atributech nějakým způsobem blízké.
Tato seskupení se pak stanou cílem pro druhou fázi neuronové sítě. Multimodální část AV-HuBERT současně maskuje jak obraz rtů mluvčích, tak zvukový průběh a poté se je snaží přiřadit ke shlukům vytvořeným v první vlně. Tímto způsobem program vypočítává, které konfigurace rtů odpovídají kterým zvukovým křivkám, čímž se "učí" korelaci pohybu úst a zvukového výstupu.
To je v podstatě přístup pod vlastním dohledem, který věští strukturu bez explicitních vodítek.
Struktura programu AV-HuBERT, která začíná vizuálními a zvukovými daty vstupujícími dole a výstupními do konečných "shluků" v horní části.
Fúze znamená, že pozornost věnovaná obrazovým rámcům a pozornost umístěná zvukovým křivkám se navzájem posilují a vytvářejí lepší shluky, než by každý z nich vytvořil samostatně. Tyto shluky se stávají "cílem" následných úloh, jako je odezírání ze rtů a rozpoznávání řeči.
Jak vysvětlují autoři:
AV-HuBERT současně zachycuje lingvistické a fonetické informace pro nemaskované oblasti z lipmovement i audio streamů do svých latentních reprezentací a poté kóduje jejich dlouhodobé časové vztahy k vyřešení úlohy maskované predikce.
Jakmile se AV-HuBERT tímto způsobem sám naučí, autoři provedou jemné doladění tím, že zavedou skutečné označené video, hodiny, s formálními přepisy, které stroji řeknou, kde jsou slova ve videu.
Hlavní datovou sadou použitou k testování a trénování programu AV-HuBERT je LRS3, vyvinutá v roce 2018 Triantafyllosem Afourasem a kolegy z Oxfordu, která je "dosud největší veřejně dostupnou datovou sadou pro odezírání ze rtů na úrovni vět. Skládá se z více než 400 hodin videa, extrahovaného z přednášek TED & TEDx v angličtině z YouTube."
Výsledkem školení AV-HuBERT pod vlastním dohledem je, že dokáže předvídat slova z videí řečníků lépe než všechny předchozí pokusy, píší Shi a spol.
Výsledky testů odezírání ze rtů pro "navrhovaný" systém Meta, AV-HuBERT, spodní a předchozí nejlepší programy ve své třídě.
Důležitější než hrubé skóre je však obrovské snížení množství dat potřebných k trénování programu.
"AV-HuBERT dosahuje nejmodernějších technologií pomocí 433 hodin přepisů textu, což je o dva řády méně než 31 000 hodin označených dat použitých v předchozím nejlepším přístupu," píší.
S mnohem menším množstvím potřebných dat je možné provádět úlohy odezírání ze rtů v jazycích, které mají mnohem méně dat než ostatní, tzv. jazyky s nízkými zdroji. (Vzpomeňte si například na jiné jazyky než angličtinu, francouzštinu a němčinu.)
Autoři poznamenávají, že "jako budoucí práce může být AV-HuBERT použit pro vícejazyčné odezírání ze rtů v jazycích s nízkým zdrojem" a že stejný "přístup může být rozšířen na další aplikace vizuální reprezentace řeči, jako je zvýraznění a generování řeči".
Shi a jeho kolegové doplnili svá zjištění druhým článkem zveřejněným minulý týden, který popisuje použití AV-HuBERT pro automatické rozpoznávání řeči. Zde se zaměřujeme na to, jak lépe analyzovat řeč v kontextu šumu.
Rozpoznávání řeči "nasazené ve scénářích schůzek je vystaveno šumu blábolení, zatímco rozpoznávání používané v domácím prostředí se přirozeně setkává s hudbou, vařením nebo vysáváním strojů Jejich dotazem je, zda lze takový okolní hluk překonat pomocí AV-HuBERT.
Během tréninku Shi a jeho tým míchají hlukové klipy s videorámečkem AV-HuBERT a vzorky zvukových vln. Výsledkem, píší, je, že program se dobře vypořádává s obcházením blábolů. A to natolik, že AV-HuBERT dosahuje 50% snížení chybovosti slov neboli WER, což je podíl chybných slov, ve srovnání s předchozími systémy rozpoznávání řeči.
"Naše budoucí práce zahrnuje aplikaci audiovizuálního rozpoznávání řeči v reálném světě s nízkými zdroji a vícejazyčným prostředím," píší.
Takže, jak reálné je něco jako odezírání ze rtů v HAL 9000? O tom, že umělá inteligence je nyní lepší než lidé při odezírání ze rtů, se v posledních letech psalo v předchozích pracích na umělé inteligenci. Chybovost slov v nejlepším představení AV-HuBERT je skutečně mnohem lepší než u lidských profesionálních odezíračů ze rtů, a to 26,9 %. Zdá se, že to nejlepší, co většina lidí odezírající ze rtů dostane, je pouze 40 % (mýlí se čtyřikrát z deseti). Je zřejmé, že pro věci, jako je přepis přednášek poté, co se to stalo, by to mohla být obrovská podpora pro softwarové programy.
V praxi je tu však velká výhrada. To je opravdu simulace odezírání ze rtů. Výsledky AV-HuBERT prošly testem na předpřipraveném videu, nikoli na živé, volné formě a divoké konverzaci, jako je tomu u Bowmana a Poolea ve filmu.
Prozatím můžete být stále v bezpečí uvnitř modulu.