Nástroj na otravu dat umožňuje umělcům bojovat proti AI scraping. Zde je návod

Tento nástroj s názvem Nightshade si zahrává s trénovacími datovými pixely, aby zmátl modely umělé inteligence generující obrázky.

Hlavním problémem, který sužuje generativní modely umělé inteligence, je AI scraping, proces používaný společnostmi zabývajícími se umělou inteligencí k trénování svých modelů umělé inteligence zachycováním dat z internetových zdrojů bez svolení vlastníků. AI scraping může mít obzvláště negativní dopad na vizuální umělce, jejichž práce je seškrabávána za účelem vytvoření nového umění v modelech text-to-image. Nyní však možná existuje řešení.

Výzkumníci z University of Chicago vytvořili Nightshade, nový nástroj, který umělcům umožňuje „otrávit“ jejich digitální umění, aby zabránili vývojářům trénovat nástroje AI na jejich práci.

Pomocí Nightshade mohou umělci provádět změny v pixelech ve svém umění, které jsou lidskému oku neviditelné, ale způsobí, že se generativní model umělé inteligence rozbije „chaotickými“ a „nepředvídatelnými“ způsoby, jak uvádí MIT Technology Review, která získala exkluzivní náhled na výzkum.

Specifický útok způsobí, že generativní modely umělé inteligence vykreslují zbytečné výstupy kvůli manipulaci s učením modelu, což způsobí, že model navzájem zaměňuje subjekty.

Může se například naučit, že pes je ve skutečnosti kočka, což by zase způsobilo, že model vytvořil nesprávné obrázky, které neodpovídají textové výzvě.

Podle výzkumného dokumentu mohou vzorky jedu Nightshade poškodit výzvu Stable Diffusion u méně než 100 vzorků, jak je vidět na obrázku níže.

Kromě otravy konkrétním termínem otrava také krvácí prostřednictvím souvisejících termínů.

Například ve výše uvedeném příkladu by podle výzkumné práce nebyl ovlivněn pouze výraz „pes“, ale také synonyma jako „štěně“, „ohař“ a „husky“.

Ani korelace mezi pojmy nemusí být tak přímá jako ve výše uvedeném příkladu. Článek například popisuje, jak byl otráven výraz „fantasy art“ a související fráze „obraz Michaela Whelana“, známého tvůrce fantasy umění.

Existují různé potenciální obrany, které by modeloví trenéři mohli nasadit, včetně filtrování dat s vysokou ztrátou, metod detekce polohy a metod odstraňování jedů, ale všechny tři nejsou zcela účinné.

Kromě toho je obtížné odstranit otrávená data z modelu, protože společnost AI by musela jít dovnitř a jednotlivě odstranit každý poškozený vzorek.

Nightshade má nejen potenciál odradit společnosti s umělou inteligencí od používání dat bez žádosti o povolení, ale také vybízí uživatele, aby při používání kteréhokoli z těchto generativních modelů umělé inteligence postupovali obezřetně.

Byly učiněny další pokusy zmírnit problém, že umělci jsou používáni bez jejich svolení. Některé modely pro generování obrázků AI, jako je generátor obrázků Getty Images a Adobe Firefly, používají pouze obrázky, které jsou schváleny umělcem nebo jsou volně dostupné pro trénování svých modelů a mají na oplátku kompenzační program.