Amazone, prostě řekněte ne: Rýsující se hrůza replikace hlasu pomocí umělé inteligence

Pokud umělá inteligence, jako je Alexa, skutečně dokáže převést méně než minutu nahraného hlasu na řeč v reálném čase, otevírá to dveře dystopickému gaslightingu na zcela nové úrovni. Je to děsivé, strašidelné a znepokojující.

Opravdu chceme dát sílu dokonalé simulace hlasu do rukou pronásledovatelů a násilníků?

Minulý týden jsme zveřejnili novinový článek s názvem "Alexa od Amazonu čte příběh hlasem zesnulé babičky dítěte". V něm Stephanie Condonová ze ZDNetu diskutovala o prezentaci Amazonu na konferenci re:MARS (každoroční piklení Amazonu na témata jako strojové učení, automatizace, robotika a vesmír).

V prezentaci ukázal Rohit Prasad, senior viceprezident společnosti Amazon Alexa AI, klip s malým chlapcem, který se ptá zařízení Echo: "Alexo, může mi babička přečíst Čaroděje ze země Oz?" Video pak ukázalo, jak Echo čte knihu pomocí toho, co Prasad označil za hlas mrtvé babičky dítěte.

Tvrdé zastavení. Zježily se ti chlupy vzadu na krku? Protože to vůbec není strašidelné. Není zač.

Prasad to však charakterizoval jako prospěšné, když řekl: "Lidské atributy empatie a afektu jsou klíčem k budování důvěry. O to důležitější se staly v dnešní době probíhající pandemie, kdy tolik z nás ztratilo někoho, koho milujeme. I když umělá inteligence nemůže odstranit bolest ze ztráty, rozhodně může zajistit, aby jejich vzpomínky trvaly."

Hmm. Dobře. Tak to pojďme rozebrat, ano?

Slyším mrtvé lidi

Existuje psychologická smyslová zkušenost klinicky popsaná jako SED, což znamená "smyslové a kvazismyslové zážitky zesnulého". To je modernější klinický termín pro to, co bylo dříve popisováno jako halucinace.

Podle klinické studie z listopadu 2020 Smyslové a kvazismyslové zážitky zesnulých v pozůstalosti: Interdisciplinární a integrativní přehled nejsou zážitky SED nutně psychickou poruchou. Místo toho někde mezi 47 % a 82 % lidí, kteří zažili životní události, jako je smrt milované osoby, zažilo nějaký druh SED.

Studie, kterou cituji, je zajímavá zejména tím, že je jak integrativní, tak interdisciplinární, což znamená, že agreguje výsledky jiných studií napříč různými oblastmi výzkumu. Jako takové je to dobré shrnutí obecného klinického vnímání SED.

Podle studie zkušenosti SED překračují hranice a zažívají je všechny věkové skupiny, členové mnoha náboženství, napříč všemi typy ztráty vztahu a dokonce i okolností smrti.

Ale to, zda je zážitek SED považován za uklidňující nebo znepokojující, závisí jak na jednotlivci, tak na jeho systému víry. SED se také projevuje všemi možnými způsoby, od slyšení kroků, přes zážitky přítomnosti, až po pozorování. Nemusí to být vždy reprodukce hlasu.

Celkově se zpráva zastaví před klinickým hodnocením toho, zda jsou zkušenosti se SED psychologicky prospěšné nebo škodlivé, a uvádí, že je zapotřebí další studie.

Ale - když se vrátíme k pokusu Amazonu zabalit hlas mrtvé babičky do plechovky - je absolutně nejasné, zda poskytnutí hlasu ztraceného příbuzného dítěti bude uklidňující, nebo zda je to vývojově takový problém, že to poskytne terapeutům trvalé zaměstnání v nadcházejících letech.

Je zvláštní, že se Amazon rozhodl ukázat replikaci hlasu zesnulého příbuzného, místo řekněme živé a zdravé babičky, která by mohla nahrát svůj hlas pro své milované vnouče. Ale ouha, pokud by výzkumníci Amazonu chtěli jít po makabrózním tématu, kdo jsme my, abychom to soudili?

To nás přivádí k diskusi o replikaci hlasu celkově. S několika omezenými konstruktivními aplikacemi si nejsem jistý, zda je vypuštění technologie umělé inteligence pro replikaci hlasu do volné přírody dobrý nápad. Amazon říká, že může vzít krátký vzorek a vytvořit z tohoto krátkého vzorku celý dialog. Je na tom něco, co se zdá být strašně, strašlivě špatně.

Co by se mohlo pokazit?

Zní to skoro jako to, jak byste popsali superschopnost v seriálu, jako je The Umbrella Academy: když slyšíte méně než minutu lidského hlasu, někdo je schopen říct cokoli a udělat to tak, aby to znělo přesně tak, jako by to byla on, kdo to řekl.

Jak by to nemohlo být silou dobra? Ach, chlapče. Připoutat se.

Nemluvíme tu jen o náhodném strašidelném příběhu, jako když Alexa najednou začala křičet nebo propukla ve zlověstně znějící smích. Podivné věci se dějí náhodou, když inovujete v nové oblasti. Jakmile je toto chování objeveno, je neměnné.

Ne, mluvíme o tom, co by se mohlo stát, kdyby se k této technologii dostali špatní aktéři a rozhodli se ji využít k zisku... nebo ještě hůř.

Slovník psychologie Americké psychologické asociace definuje "gaslighting" jako:

Manipulovat jinou osobou, aby pochybovala o svém vnímání, zkušenostech nebo chápání událostí. Tento termín kdysi označoval manipulaci tak extrémní, že vyvolala duševní onemocnění nebo ospravedlnila umístění osoby osvícené plynem do psychiatrické léčebny, ale nyní se používá obecněji. Obvykle je považován za hovorový výraz, i když se občas vyskytuje v klinické literatuře.

Termín pochází z divadelní hry z 20. let 20. století, která byla poté v roce 1944 produkována jako film s názvem "Gaslight".

Bohužel gaslighting vstoupil do digitální sféry. V roce 2018 vyšel v deníku The New York Times článek popisující, jak se digitální termostaty, zámky a světla stávají nástroji domácího násilí.

The Times popsaly, jak jsou tato zařízení "používána jako prostředek pro obtěžování, monitorování, pomstu a kontrolu". Příklady zahrnovaly otočení termostatů na 100 stupňů nebo náhlé výbuchy hudby.

O digitálním gaslightingu hovoří také American Public University Edge. Článek vysvětluje: "Tento typ činnosti umožňuje násilníkovi snadno demonstrovat kontrolu nad obětí, bez ohledu na to, kde se násilník nachází. Je to další metoda, kterou násilník používá k pomalému podkopávání sebeúcty oběti a dalšímu zhoršování stresu oběti."

A teď se na to pojďme podívat o stupeň výš. Jak snadné by bylo poslat někoho na okraj, kdyby stále slyšel hlas svého mrtvého otce nebo matky? Pokud násilník dokáže někoho přesvědčit, že ho někdo pronásleduje nebo že ztrácí kontrolu nad svou schopností rozeznat realitu, může ho nahradit zlovolnou subjektivní realitou.

Celá myšlenka zní jako špatná fikce, ale gaslighting je v domácím násilí tak rozšířený, že Národní horká linka pro domácí násilí má celou stránku věnovanou technikám gaslightingu, které může násilnický partner použít. Pokud se ocitnete v této situaci, můžete kontaktovat horkou linku na čísle 1-800-799-7233.

Pojďme na to o další stupeň: přidejte do mixu stalkery. Řekněme, že jste doma a zavolá vám máma. Je to číslo vaší matky na ID volajícího. Odpovíte a zní to jako vaše máma. Měla nehodu nebo má nějaké potíže. Prosí tě, abys pro ni přišel. A vy to děláte. Protože volala tvoje máma a ty samozřejmě víš, jak zní.

Ale není to tvoje máma. Existují metody pro podvržení ID volajícího a s replikací hlasu pomocí umělé inteligence se potenciál pro nalákání oběti výrazně zvyšuje. Spojte to se schopností nakupovat osobní identifikační údaje (PII) s šokující úrovní detailů od mnoha pochybných online dodavatelů a máte děsivý scénář.

Nezavrhujte tyto scénáře jako málo pravděpodobné. CDC uvádí, že 1 ze 6 žen a 1 z 19 mužů byl během svého života pronásledován. Americké ministerstvo spravedlnosti uvádí, že "81 procent žen, které byly pronásledovány současným nebo bývalým manželem nebo partnerem ve společné domácnosti, bylo také fyzicky napadeno tímto partnerem a 31 procent bylo tímto partnerem také sexuálně napadeno". Ročně je pronásledováno více než milion žen a asi 370 000 mužů.

Opravdu tedy chceme dát sílu dokonalé simulace hlasu do rukou pronásledovatelů a násilníků?

I když to není pro pronásledování nebo zneužívání, takový nástroj by mohl také pomoci podvodníkům. Stejně jako v předchozím příkladu, kdy vám volá máma a žádá vás, abyste ji zvedli (ale samozřejmě to není máma), představte si scénář, kdy tátovi do práce zavolá jeho dcera z vysoké školy. Měla pohotovost. Mohl by jí prosím poslat pár tisíc dolarů?

Je zřejmé, že kvalita podvodu určí část uvěřitelnosti hovoru, ale s dostatkem dostupných PII a dobrým scénářem někdo naletí na podvod a prozradí číslice kreditních karet nebo bankovní převody - zejména proto, že hlas byl hlasem dcery.

V kombinaci s technologií deepfake videa se výrazně zvyšuje potenciál pro vytváření falešných videí jednotlivců. Ať už je toto video použito teenagery k šikaně spolužáků, nebo dezinformační kampaní k přesvědčení populace, že vůdce nechystá nic dobrého, myšlenka deepfakes s přesným zastoupením hlasu je velmi znepokojivá.

Konstruktivní aplikace

Existují některé aplikace zábavního průmyslu, kde může hlasová replikace přidat hodnotu. Je jen fér říci, že tento druh technologie má také určitý pozitivní potenciál.

Nedávno jsme například viděli mladého Luka Skywalkera v seriálech Disney+ z roku 2021 The Mandalorian a The Book of Boba Fett.

Lukeova podoba byla digitálně vytvořena přes herce Grahama Hamiltona, ale Mark Hamill byl uveden v Epizodě 6: From the Desert Comes a Stranger, i když Lukův hlas nepropůjčil. Místo toho producenti použili nástroj nazvaný Respeecher, který používal zvukovou banku starých nahrávek Marka Hamilla, které byly pro epizodu poskládány dohromady.

Další možné použití by mohlo být v chytrých asistentech (a chytré asistenci) pro osoby trpící demencí. I když to může být velmi tenká hranice mezi gaslightingem někoho se sníženou mentální kapacitou a pomocí mu vyrovnat se s tím, pod řádnou psychiatrickou péčí může mít hlasová rekreace pozitivní aplikace.

Moje žena a já jsme si užili cestování po celé zemi pod moudrým vedením Yody. Jeho hlas jsme přidali do naší staré GPS. Během našich cest nás střídavě vedl Yodův hlas. Bylo uklidňující, zejména během těch dlouhých otevřených a prázdných úseků, mít Yodův uklidňující hlas a prohlášení jako "doleva, musíte se otočit", které nás udržely na správné cestě.

Bohužel Yoda Positioning System již není k dispozici, což může (nebo nemusí) vypovídat něco o tržní životaschopnosti hlasů postav celebrit v osobní elektronice.

Přestávání k přemýšlení

V Jurském parku je věta, která mi přijde na mysl v takových chvílích: "Vaši vědci byli tak zaujati tím, zda to mohou nebo ne, že se nezastavili, aby přemýšleli, zda by měli." V případě filmu šlo o znovuvytvoření dinosaurů z dinosauří DNA. Ale stejně dobře to platí i pro použití umělé inteligence k napodobení hlasů lidí.

Zábavní software s umělou inteligencí Respeecher potřebuje k opětovnému vytvoření hlasu jednu až dvě hodiny hlasových vzorků. Nová technologie Amazonu vyžaduje méně než minutu nahrávek. To otevírá dveře k mnoha dalším nahrávkám, včetně zpráv zachycených z hlasové pošty a dokonce i příkazů předaných Alexe a Siri.

Vzhledem k tomu, že na takzvaném temném webu převládá prodej informací o osobních údajích, a dokonce i lékařských informací, je logické očekávat, že hackeři budou také obchodovat s krátkými hlasovými nahrávkami potenciálních obětí, zvláště když tyto nahrávky musí být jen asi minutové.

To znamená, že pokud Amazon uvolní svou dovednost mrtvé babičky na platformě Alexa, bude přístupná širokému publiku. Je dokonce možné používat Alexa a dovednosti Alexa na domácích zařízeních bez Alexa, jak ukazuje tento článek. To znamená, že i když je tato technologie omezena na Alexu, má potenciál být velmi problematická.

Musím se zeptat: opravdu Amazon potřebuje vypustit tuto technologii do volné přírody jako dovednost?

Abychom byli spravedliví, Amazon nebude jedinou společností, která zkoumá replikaci hlasu. Fortune Business Insights předpovídá, že globální trh s řečí a rozpoznáváním hlasu dosáhne do roku 2026 28,3 miliardy dolarů při ročním tempu růstu téměř 20 %. S takovými čísly si můžete být jisti, že v této aréně budou další účastníci.

Ochrana uživatelů před digitálním gaslightingem, stalkingem a podvody bude postupně obtížnější a hlasová replikace to jen zhoršuje.

Dr. Irving Lachow, zástupce ředitele pro kybernetickou strategii a realizaci v MITRE Corporation a hostující člen Hooverova institutu, popisuje tuto situaci jako "PsyOps v domácnosti".

Uvádí, že ačkoli existují zákony proti stalkingu, "mnoho z těchto opatření nelze aplikovat přímo na kybernetický gaslighting, protože na rozdíl od situace se stalkerwarem násilníci nepřidávají software do domácích chytrých zařízení, aby obtěžovali své oběti. Místo toho používají zařízení tak, jak byla zamýšlena."

Říká také, že právní výzvy jsou obtížnější tam, kde jsou vedoucí pracovníci společností vyrábějících tyto technologie poněkud nedotknutelní. Uvádí: "Dotyčné technologie mají legitimní a pozitivní využití a nelze realisticky cílit na vedoucí pracovníky společností vyrábějících chytrá zařízení jen proto, že jejich zařízení bylo použito k tomu, aby někomu ublížilo."

Je zřejmé, že se jedná o otázku, kterou je třeba více zvážit. Společnosti jako Amazon musí pečlivě vyhodnotit, zda funkce, které přidávají, nepřinášejí více škody než užitku. Odborníci na kybernetickou bezpečnost musí i nadále posilovat zařízení IoT proti vnějším hackerům. Terapeuti a psychologové potřebují zvýšit své povědomí o digitálním gaslightingu a dalších hrozbách 21. století.

Jednotlivci se však mohou chránit i sami. Analytik informací o malwaru Christopher Boyd, píšící jménem blogu Malwarebytes, doporučuje vést podrobné záznamy o incidentech a protokolovat všechna data produkovaná zařízeními. Dodáváme, že je důležité spravovat svá vlastní hesla, používat silná hesla, a pokud očekáváte potíže, nezapomeňte se naučit, jak svá zařízení uzamknout.

Lachow uvádí: "Chytrá zařízení jsou zralá pro zneužití v situacích domácího násilí, protože často jedna osoba, obvykle muž, ovládá informační technologie (IT) v domácnosti. Pokud se IT manažer odstěhuje, ale zachová si přístup k domácím chytrým zařízením prostřednictvím mobilních aplikací nebo online rozhraní, mohl by ovládat domácí prostředí."

Mějte to na paměti a naučte se vše, co můžete. Pokud jde o systémy založené na umělé inteligenci, které se učí replikovat hlasy zesnulých příbuzných, musím říct "Prostě řekněte ne." Ne. Ne. Ne-ne-ne. Baaaad věci se mohou stát.

Jsem si jistý, že vás napadne spousta děsivých scénářů. Podělte se o ně s námi v komentářích níže. Čím více o tom přemýšlíme a čím více si to uvědomujeme, tím lépe se na to můžeme připravit.