Nástroj AI pro úpravu obrázků MIT snadno nahradí pozadí v jakémkoli obrázku
Tento nástroj pro úpravu obrázků s pomocí umělé inteligence od MIT dokáže změnit pozadí na jakémkoli obrázku
Photoshop je již dlouho programem, který mnozí z nás používají, aby naše fotografie vypadaly skvěle pomocí rychlých oprav a kreativních vylepšení.
Nyní výzkumníci z MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) vyvinuli nástroj pro úpravu obrázků s pomocí umělé inteligence, který automatizuje mnoho částí procesu úprav fotografií. To usnadní práci s úpravami fotografií.
"Místo toho, abychom potřebovali zkušeného editora, který by strávil několik minut laděním obrázku snímek po snímku a pixel po pixelu, bychom chtěli tento proces zjednodušit a zrychlit, aby byla úprava obrázků přístupnější i běžným uživatelům," říká Yagiz Aksoy, hostující výzkumný pracovník na MIT CSAIL.
"Naší vizí je dostat se do bodu, kdy stačí jediné kliknutí a střihači zkombinují obrázky a vytvoří tyto plnohodnotné, realistické fantasy světy. ”
Tato metoda, nazývaná "sémantická měkká segmentace" (SSS), využívá umělou inteligenci (AI) k automatickému oddělení objektů v obrázku, což umožňuje snadné úpravy obrazu. Pomocí této techniky můžete například změnit vzhled pozadí nebo sloučit obrazy popředí a pozadí do zcela nové scény.
Jak SSS funguje?
Nástroj studuje texturu a barvu původního obrázku a kombinuje je s informacemi shromážděnými neuronovou sítí o tom, jaké objekty na obrázku jsou ve skutečnosti. Neuronová síť zpracovává obrazové prvky a detekuje "měkké přechody", jako jsou vlasy a tráva.
"Jakmile jsou tyto softwarové segmenty vypočítány, uživatel nemusí ručně měnit přechody ani provádět individuální úpravy vzhledu konkrétní vrstvy obrázku," říká Aksoy. "Ruční úpravy, jako je nahrazování pozadí a úprava barev, by byly mnohem jednodušší. ”
Obrazové body v celém obraze jsou pak vzájemně spojeny barvou. Tyto informace se kombinují s funkcemi detekovanými neuronovou sítí a odhadují vrstvy obrazu. Tento úkol však není jednoduchý, protože počítače je třeba naučit, jak to dělat.
"Záludnost těchto snímků spočívá v tom, že ne každý pixel patří pouze jednomu objektu," dodává Aksoy, který článek prezentoval minulý týden na výroční konferenci SIGGRAPH o počítačové grafice ve Vancouveru. "V mnoha případech může být obtížné určit, které pixely jsou součástí pozadí a které jsou součástí konkrétní osoby. ”
Kde lze SSS použít?
Podle Aksoye by SSS ve své současné iteraci mohly využívat sociální platformy jako Instagram a Snapchat, aby byly jejich filtry realističtější, hlavně pro změnu pozadí na selfie nebo simulaci konkrétních typů fotoaparátů.
Plány do budoucna
V budoucnu mají výzkumníci v plánu pracovat na zkrácení doby potřebné k výpočtu obrazu z minut na sekundy a na tom, aby byly obrázky ještě realističtější tím, že se zlepší schopnost systému sladit barvy a poradit si s věcmi, jako je osvětlení a stíny.
Zdroj: CSAIL