Nový nástroj umělé inteligence od Googlu dokáže proměnit text v hudbu
Společnost Google nedávno oznámila, že vyvinula nový hudební generátor s umělou inteligencí (AI), který dokáže vytvářet hudbu v jakémkoli žánru s textovým popisem.
Ve výzkumném dokumentu zveřejněném ve čtvrtek představili výzkumníci společnosti Google nástroj umělé inteligence pro tvorbu hudby nazvaný "MusicLM" jako model generující vysoce věrnou hudbu z textových popisů, jako je "uklidňující melodie houslí podpořená zkresleným kytarovým riffem".
MusicLM popisuje proces podmíněného generování hudby jako hierarchickou úlohu modelování mezi sekvencemi a "generuje hudbu na frekvenci 24 kHz, která zůstává konzistentní po několik minut. ”
Nástroj AI dále dokáže vytvářet "originální" hudbu z textových i zvukových výzev po dobu až 5 minut z textových a zvukových podnětů. MusicLM byl vyškolen na databázi skládající se z více než 2 80 000 hodin hudby, aby se naučil generovat souvislé písně pro popisy v jakémkoli požadovaném žánru.
"Naše experimenty ukazují, že MusicLM překonává předchozí systémy jak v kvalitě zvuku, tak v dodržování textového popisu. Navíc ukazujeme, že MusicLM může být podmíněn jak textem, tak melodií v tom, že dokáže transformovat pískané a hvízdané melodie podle stylu popsaného v textovém popisku," uvádí se v článku.
Podle výzkumného dokumentu by MusicLM mohl vytvářet písně z bohatě napsaných titulků, jako jsou:
Hlavní soundtrack arkádové hry. Je to rychlé a optimistické, s chytlavým riffem elektrické kytary. Hudba se opakuje a je snadno zapamatovatelná, ale s nečekanými zvuky, jako jsou dunění činelů nebo víření bubnů.
NEBO
Prostřednictvím "příběhového režimu", kde byl zvuk generován poskytnutím sekvence kratších textových výzev, včetně:
- Čas na meditaci (0:00-0:15), čas na probuzení (0:15-0:30), čas na běh (0:30-0:45), čas dát 100 % (0:45-0:60)
- Elektronická píseň přehrávaná ve videohře (0:00-0:15), meditační píseň přehrávaná u řeky (0:15-0:30), oheň (0:30-0:45), ohňostroj (0:45-0:60)
MusicLM od Googlu může také generovat hudební klipy, které zachycují náladu a atmosféru z maleb - zejména z popisů některých z nejznámějších uměleckých děl uměleckého světa - včetně "Výkřiku" Edvarda Muncha a slavného "Přetrvávání paměti" Salvadora Dalího.
Můžete zamířit na stránku Google GitHub a poslechnout si některé hudební skladby generované MusicLM.
Na podporu budoucího výzkumu již společnost Google vydala MusicCaps, datovou sadu složenou z 5,5 tisíce párů hudby a textu s popisy ve formátu bohatého textu poskytnutými lidskými odborníky.
Přesto neočekávejte, že MusicLM bude v dohledné době v budoucnu k dispozici veřejnosti, protože existuje mnoho obav, které je třeba vyřešit, než bude zveřejněno.
Podle výzkumníků společnosti Google má nástroj umělé inteligence stávající omezení, která zahrnují programovací zkreslení, která mohou vést k nedostatečnému zastoupení a kulturnímu přivlastňování, kvalitě hlasu a technologickým závadám, stejně jako používání negací a časového uspořádání používaného v textových výzvách.
Ve skutečnosti během experimentu výzkumníci společnosti Google zjistili, že zhruba jedno procento hudebních příkladů vytvořených MusicLM bylo zkopírováno přímo z písní, na kterých byl vyškolen, což vyvolalo obavy o autorská práva.
"Uvědomujeme si riziko potenciálního zneužití kreativního obsahu spojeného s případem použití. Důrazně zdůrazňujeme potřebu další budoucí práce při řešení těchto rizik spojených s generováním hudby - v tuto chvíli nemáme v plánu vydávat modely," uvádí studie.