Co je OpenAI Sora a změní video navždy?

Klíčové věci

• OpenAI Sora vytváří vysoce realistické videoklipy z textových výzev, což představuje významný pokrok v technologii AI.
• Schopnost Sory přesně simulovat fyziku ve videích je vynikající funkcí, ale stále má určité problémy s interakcemi a generováním objektů.
• Dostupnost Sora pro veřejnost je nejistá, protože v současné době probíhá testování bezpečnosti a kvality, než bude stanoveno pevné datum vydání.

Rychlost vývoje umělé inteligence směřuje k bodu, který přesahuje lidské chápání, a systém převodu textu na video od OpenAI Sora je jen nejnovější technologií umělé inteligence, která šokuje svět, aby si uvědomil, že se věci dějí dříve, než kdokoli čekal.

Co je OpenAI Sora?

Stejně jako jiné generativní nástroje umělé inteligence, jako jsou DALL-E a MidJourney, i Sora od vás přebírá textové výzvy a převádí je do vizuálního média. Na rozdíl od výše zmíněných generátorů obrazu AI však Sora vytváří videoklip doplněný o pohyb, různé úhly kamery, směr a vše ostatní, co byste očekávali od tradičně produkovaného videa.

Při pohledu na příklady na webu Sora jsou výsledky často k nerozeznání od skutečného, profesionálně vyrobeného videa. Vše od špičkových záběrů z dronů až po filmové produkce v hodnotě mnoha milionů dolarů. Kompletní s herci generovanými umělou inteligencí, speciálními efekty a díly.

Sora samozřejmě není první technologií, která to dokázala. Doposud nejviditelnějším lídrem v této oblasti byli RunwayML, kteří své služby nabízejí veřejnosti za poplatek. Nicméně i za těch nejlepších okolností jsou videa Runway více podobná raným generacím statických snímků MidJourney. V obrazu není žádná stabilita, fyzika nedává smysl, a když to píšu, nejdelší délka klipu je 16 sekund.

Naproti tomu nejlepší výstup, který má Sora předvést, je dokonale stabilní, s fyzikou, která vypadá správně (alespoň pro náš mozek), a klipy mohou být dlouhé až minutu. Klipy jsou zcela bez zvuku, ale již existují jiné systémy umělé inteligence, které mohou generovat hudbu, zvukové efekty a řeč. Takže nepochybuji, že by tyto nástroje mohly být integrovány do pracovního postupu Sora, nebo v nejhorším případě do tradičního hlasového komentáře a práce s foley.

Nelze přeceňovat, jaký obrovský skok Sora představuje z nočních můr videí s umělou inteligencí z pouhého roku před demem Sora. Jako například docela znepokojující AI Will Smith pojídání špaget. Myslím, že je to pro systém ještě větší šok, než když generátory obrázků AI přešly od běžícího vtipu k tomu, že vizuální umělci vyvolávali existenciální strach.

Sora pravděpodobně ovlivní celý video průmysl od tvůrců stopáže jedné osoby až po úroveň megarozpočtových projektů Disney a Marvel. Nic tím nezůstane nedotčeno. Myslím, že to platí zejména proto, že Sora nemusí vytvářet věci jako celek, ale může pracovat na existujícím materiálu, jako je animace snímku, který jste poskytli. To by mohl být skutečný začátek syntetického filmového průmyslu.

Jak Sora funguje?

Dostaneme se trochu pod pokličku Sory, jak jen to půjde, ale není možné zabíhat do takových detailů. Za prvé, protože OpenAI ironicky není otevřená ohledně vnitřního fungování jejich technologie. Je to všechno proprietární, a tak tajná omáčka, která Soru odlišuje od konkurence, je nám neznámá ve svých přesných detailech. Zadruhé, já nejsem počítačový vědec, vy pravděpodobně nejste počítačový vědec, a tak můžeme pochopit, jak tato technologie funguje, pouze v širokých obecných pojmech.

Dobrou zprávou je, že na Medium existuje vynikající (placený) vysvětlovač Sora od Mike Younga, založený na technické zprávě z OpenAI, kterou rozebral pro nás, pouhé smrtelníky, abychom je pochopili. I když oba dokumenty stojí za přečtení, můžeme zde vytáhnout nejdůležitější fakta.

Sora je postavena na lekcích, které se společnosti jako OpenAI naučily při vytváření technologií jako ChatGPT nebo DALL-E. Sora inovuje, jak je trénováno na ukázkových videích, a to rozdělením těchto videí na „záplaty“, které jsou analogické „tokenům“, které používá trénovací model ChatGPT. Protože jsou všechny tyto tokeny stejně velké, na věcech jako délka klipu, poměr stran a velikost rozlišení pro Soru nezáleží.

Sora používá stejný široký transformátorový přístup, který pohání GPT, spolu s metodou difúze, kterou používají generátory obrázků AI. Během školení se dívá na hlučné částečně rozptýlené tokeny záplat z videa a snaží se předpovědět, jak by vypadal čistý token bez šumu. Když to porovnáte se základní pravdou, model se naučí „jazyk“ videa. To je důvod, proč příklady z webu Sora vypadají tak autenticky.

Kromě této pozoruhodné schopnosti má Sora také vysoce podrobné titulky pro snímky videa, na kterých je trénována, což je velká část toho, proč je schopna upravovat videa, která generuje, na základě textových výzev.

Schopnost Sory přesně simulovat fyziku ve videích se zdá být nově vznikající funkcí, která vyplývá jednoduše z toho, že byla trénována na milionech videí, která obsahují pohyb založený na fyzice skutečného světa. Sora má vynikající stálost objektu, i když objekt opustí rámeček nebo je zakryt něčím jiným v rámci, zůstane přítomen a vrátí se nerušený.

Stále však někdy dochází k problémům, když se věci ve videu vzájemně ovlivňují, s kauzalitou a se spontánním generováním objektů. Také, poněkud zábavně, se zdá, že Sora čas od času zaměňuje levici s pravicí. Nicméně to, co bylo doposud ukázáno, je nejen již použitelné, ale je to absolutně nejmodernější.

Kdy dostanete Soru?

Takže jsme všichni nesmírně nadšeni, že se se Sorou setkáme, a můžete vsadit svůj spodní dolar, že si s tím budu hrát a přesně napíšu, jak dobrá tato technologie je, když nám nebudou ukazovány ručně vybrané výstupy, ale jak brzy se to může stát?

V době psaní tohoto článku není přesně jasné, jak dlouho to bude trvat, než bude Sora k dispozici široké veřejnosti, nebo kolik to bude stát. OpenAI prohlásilo, že technologie je v rukou „červeného týmu“, což je skupina lidí, kteří mají za úkol přimět Soru dělat všechny ty zlobivé věci, které by neměly dělat, a pak pomoci postavit zábradlí proti takovému druhu. toho, co se stane, když to skuteční zákazníci dostanou. To zahrnuje potenciál vytvářet dezinformace, vytvářet hanlivé nebo urážlivé materiály a mnoho dalších zneužití, které si lze představit.

V době psaní tohoto článku je také v rukou vybraných tvůrců, což je podle mého názoru jak pro testovací účely, tak pro získání recenzí a doporučení od třetích stran, až se dostaneme k jeho konečnému vydání.

Pointa je, že vlastně nevíme, kdy bude k dispozici, stejně tak můžete zaplatit a používat DALL-E 3 a ve skutečnosti ani OpenAI zatím nemá pevné datum. Je to jednoduše proto, že pokud je to v rukou testerů bezpečnosti, mohou odhalit problémy, jejichž oprava bude trvat déle, než se očekávalo, což potlačí veřejné vydání.

Skutečnost, že se OpenAI cítí připravena předvést Soru a dokonce přijmout několik vybraných veřejných výzev prostřednictvím X (dříve Twitter), jednoduše znamená, že společnost si myslí, že kvalita konečného produktu je v podstatě připravena, ale dokud nebude k dispozici lepší obrázek o veřejném mínění. , vznesené bezpečnostní problémy a také objevené bezpečnostní problémy, nikdo nemůže s jistotou říci. Myslím, že se bavíme spíše o měsících než letech, ale příští týden to nečekejte.