Otestoval jsem 10 detektorů obsahu AI - a tyto 3 pokaždé správně identifikovaly text AI

Některé detektory jsou lepší při rozpoznávání textu psaného umělou inteligencí než jiné. Zde je důvod, proč jsou tyto smíšené výsledky důležité.

Když jsem poprvé zkoumal, zda je možné bojovat proti plagiátorství generovanému umělou inteligencí a jak by tento přístup mohl fungovat, bylo to v lednu 2023, jen několik měsíců poté, co se ve světě prudce zvýšilo povědomí o generativní umělé inteligenci. 

Toto je aktualizovaná verze původního článku z ledna 2023. Když jsem poprvé testoval detektory GPT, použil jsem tři: GPT-2 Output Detector (toto je jiná adresa URL, než jsme publikovali dříve), Writer.com AI Content Detector a Content at Scale AI Content Detection (která se nyní nazývá BrandWell). 

Nejlepší výsledek byl 66 % správně z výstupního detektoru GPT-2. V říjnu 2023 jsem provedl další test a přidal další tři: GPTZero, ZeroGPT (ano, jsou jiné) a Writefull's GPT Detector. V létě 2024 jsem pak do mixu přidal QuillBot a komerční službu Originality.ai. Tentokrát přidám beta checker od Grammarly a detektor od Undetectable.ai.

V říjnu 2023 jsem z naší testovací sady odstranil Writer.com AI Content Detector, protože selhal v lednu 2023, znovu selhal v říjnu a selhal v létě 2024. Nyní se však zdá, že funguje, takže jej zařazuji do testovací sady. Níže naleznete komentář od společnosti, který mi jejich tým poslal po zveřejnění původního článku v lednu.

Znovu jsem provedl všechny testy, abych zjistil, jak si detektory vedou dnes. I když jsem měl dva silné úspěchy, zdá se, že hlavním poznatkem je, že výsledky jsou nekonzistentní mezi jednotlivými nástroji pro kontrolu umělé inteligence.

Na co testuji a jak to dělám

Než však budu pokračovat, měli bychom probrat plagiátorství a to, jak souvisí s naším problémem. Merriam-Webster definuje "plagiátorství" jako "krást a vydávat (myšlenky nebo slova jiného) za vlastní; použít (cizí produkci) bez uvedení zdroje."

Tato definice dobře odpovídá obsahu vytvořenému umělou inteligencí. I když někdo používající nástroj umělé inteligence, jako je Notion AI nebo ChatGPT, nekrade obsah, pokud tato osoba nepřipíše slova jako pocházející od umělé inteligence a neprohlásí je za vlastní, stále splňuje slovníkovou definici plagiátorství.

V tomto experimentálním článku jsem požádal ChatGPT o pomoc. Moje slova jsou v normálním a tučném textu. Slova umělé inteligence jsou psána kurzívou. Po každé části generované umělou inteligencí ukážu výsledky detektorů. Na konci článku se podíváme na to, jak dobře si detektory vedly celkově.

Zde jsou výsledky testů pro výše uvedený text, který jsem si sám napsal:

• Detektor výstupu GPT-2: 99,98 % reálného 
• Writer.com: 95 % obsahu vytvořeného lidmi
• Detekce obsahu BrandWell AI: Vydává se za člověka
• GPTZero: 98% člověk
• ZeroGPT: 22 % AI GPT Váš text je s největší pravděpodobností napsán člověkem
• Detektor Writefull GPT: 1% pravděpodobnost, že to pochází z GPT-3, GPT-4 nebo ChatGPT
• Originality.ai: Jsme si na 99 % jisti, že text je originální
• QuillBot: 42 % textu je pravděpodobně generováno umělou inteligencí
• Gramaticky: Nezjistili jsme běžné textové vzorce AI. Zdá se, že dokument neobsahuje text vygenerovaný umělou inteligencí
• Nezjistitelné: 100% člověk

Lidsky psaný obsah: 8 z 10 (80 %)
správně Naposledy: 5 ze 7 (71 %) správně 

Než budeme pokračovat, pojďme diskutovat o tom, co budu považovat za "správnou" analýzu. Pokud je skóre číselné, cokoli nad 80 % se bude počítat jako správná analýza, a to je velkorysé. Pokud má skóre shrnutí, podívám se na shrnutí a udělám úsudek. 

S tím se pojďme ponořit více.

Vysvětlete, proč může být ChatGPT pro učitele a redaktory skutečným problémem, pokud jde o plagiátorství

ChatGPT je varianta jazykového modelu GPT (Generative Pre-trained Transformer) vyvinutá společností OpenAI. Je navržen tak, aby generoval text podobný lidskému předpovídáním dalšího slova nebo fráze v dané vstupní sekvenci. Zatímco ChatGPT může být užitečným nástrojem pro generování textu a odpovídání na výzvy, může být problémem i pro učitele a redaktory, pokud jde o plagiátorství.

Jedním z hlavních důvodů, proč může být ChatGPT pro učitele a redaktory problémem, je to, že dokáže generovat text, který je velmi podobný textu skutečných lidských spisovatelů. To znamená, že studenti nebo jiní jednotlivci by mohli potenciálně používat ChatGPT ke generování textu, který by pak mohli odeslat jako své vlastní dílo, čímž by se dopustili plagiátorství.

Pro učitele a redaktory může být velmi obtížné zjistit, zda byl daný text vygenerován ChatGPT nebo napsán člověkem, protože vygenerovaný text nemusí obsahovat žádné zjevné chyby nebo nesrovnalosti, které by prozradily jeho umělý původ. To může učitelům a redaktorům ztížit identifikaci a prevenci plagiátorství, protože nemusí být schopni určit, zda je daný text původní nebo zkopírovaný z jiného zdroje.

Celkově mohou být ChatGPT a další podobné jazykové modely problémem pro učitele a redaktory, pokud jde o plagiátorství, protože mohou generovat text, který je obtížné odlišit od textu napsaného lidmi, což studentům a dalším jednotlivcům usnadňuje páchání plagiátorství, aniž by byli odhaleni.

• Detektor výstupu GPT-2: 99,69 % reálného
• Writer.com: 77 % obsahu vytvořeného lidmi
• Detekce obsahu BrandWell AI: Těžko říct
• GPTZero: 100% AI
• ZeroGPT: 100% umělá inteligence
• Detektor Writefull GPT: 12% pravděpodobnost, že to pochází z GPT-3, GPT-4 nebo ChatGPT
• Originality.ai: 100% umělá inteligence
• QuillBot: 83% pravděpodobnost AI
• Gramaticky: Nezjistili jsme běžné textové vzorce AI. Zdá se, že dokument neobsahuje text
  vygenerovaný umělou inteligencí
• Nezjistitelné: 100% AI

Obsah psaný umělou inteligencí: 5 z 10 (50 %)
správně Naposledy: 4 ze 7 (57 %) správně

Nezapomeňte, že text zobrazený kurzívou byl vygenerován umělou inteligencí.

Ukažte mi alespoň tři způsoby, jak mohu zjistit, že ChatGPT byl použit k vytvoření části textu.

Existuje několik způsobů, jak můžete potenciálně zjistit, zda byl k vytvoření textu použit ChatGPT nebo jiný jazykový model. Zde jsou tři potenciální přístupy, které byste mohli použít:

1. Hledejte opakující se nebo neobvyklé vzory v textu: Jedním ze způsobů, jak zjistit, zda byl jazykový model použit k vygenerování části textu, je hledat opakující se nebo neobvyklé vzory v textu. Jazykové modely mohou například opakovat určité fráze nebo slovní kombinace nebo používat neobvyklé nebo nekonzistentní větné struktury.
2. Kontrola nedostatku originality: Dalším způsobem, jak zjistit, zda byl jazykový model použit k vygenerování části textu, je zkontrolovat nedostatek originality v textu. Pokud se zdá, že text byl zkopírován z jiného zdroje nebo pokud obsahuje informace, které jsou široce dostupné na internetu nebo v jiných zdrojích, může to být známkou toho, že byl vygenerován jazykovým modelem.
3. Použijte nástroj pro kontrolu plagiátorství: Nakonec můžete pomocí nástroje pro kontrolu plagiátorství zkontrolovat, zda se text nezdá být zkopírovaný z jiného zdroje. I když kontrola plagiátorství nemusí být schopna definitivně určit, zda byl jazykový model použit k vygenerování části textu, může vám pomoci identifikovat případy kopírování nebo parafrázování z jiných zdrojů.
4. Všimněte si, kdy je odpověď zjevně špatná: Mluvil jsem o tom ve své recenzi Notion AI, kde jsem upozornil na text, který AI napsala se zdánlivou autoritou, ale který byl očividně špatný. Pokud student nebo spisovatel nemá plnou kontrolu nad probíraným tématem, nemusí si všimnout nepřesností a zanechat je v odpovědi generované umělou inteligencí. Samozřejmě, že nesprávné výroky nejsou jen v kompetenci nástroje pro psaní AI. Mnoho blogerů a komentátorů například opakuje výroky jiných blogerů, čímž vytvářejí ozvěnu zcela "falešných faktů", což ukazuje, že zatímco inteligence může být umělá, hloupost je univerzální vlastnost.

Mějte na paměti, že může být obtížné definitivně určit, zda byl jazykový model použit k vygenerování části textu, a tyto metody nemusí být vždy účinné. Mohou však být užitečnými nástroji, které vám pomohou identifikovat potenciální výskyty textu generovaného jazykovým modelem.

V této sadě testů byl přes sadu pro kontrolu spuštěn pouze výše uvedený obsah psaný kurzívou.

• Detektor výstupu GPT-2: 99,98 % falešný
• Writer.com: 73 % obsahu vytvořeného člověkem
• Detekce obsahu BrandWell AI: Vydává se za člověka
• GPTZero: 100% AI
• ZeroGPT: 96,99 % generováno umělou inteligencí
• Detektor Writefull GPT: 79% pravděpodobnost, že to pochází z GPT-3, GPT-4 nebo ChatGPT
• Originality.ai: 100% umělá inteligence
• QuillBot: 100% umělá inteligence
• Gramaticky: Nezjistili jsme běžné textové vzorce AI. Zdá se, že dokument neobsahuje text
  vygenerovaný umělou inteligencí
• Nezjistitelné: 100% AI

Obsah psaný umělou inteligencí: 6 z 10 (60 %)
správně Naposledy: 5 ze 7 (71 %) správně

Seznam tří nástrojů pro kontrolu plagiátorství, které dokážou detekovat text ChatGPT

Stojí za zmínku, že v současné době neexistuje žádná kontrola plagiátorství, která by byla speciálně navržena tak, aby detekovala text generovaný ChatGPT nebo jinými jazykovými modely. Zatímco některé nástroje pro kontrolu plagiátorství mohou být schopny identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly naznačovat jeho umělý původ, neexistuje žádná záruka, že budou schopny definitivně určit, zda byl text vygenerován jazykovým modelem.

Zde jsou tři nástroje pro kontrolu plagiátorství, které byste mohli použít k identifikaci potenciálních případů textu generovaného jazykovým modelem:

1. Turnitin: Turnitin je populární nástroj pro kontrolu plagiátorství, který je široce používán školami a univerzitami. Porovnává část textu s databází jiných textů a identifikuje případy kopírování nebo parafrázování. I když nemusí být schopen definitivně určit, zda byl text vygenerován jazykovým modelem, mohl by potenciálně identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly indikovat jeho umělý původ.
2. PlagScan: PlagScan je další nástroj pro kontrolu plagiátorství, který porovnává část textu s databází jiných textů a identifikuje případy kopírování nebo parafrázování. Stejně jako Turnitin může být schopen identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly indikovat jeho umělý původ, ale není speciálně navržen tak, aby detekoval text generovaný jazykovým modelem.
3. Copyleaks: Copyleaks je nástroj pro kontrolu plagiátorství, který využívá pokročilé algoritmy strojového učení ke skenování části textu a jeho porovnání s databází jiných textů, aby identifikoval případy kopírování nebo parafrázování. I když může být schopen identifikovat určité charakteristiky textu generovaného jazykovým modelem, není speciálně navržen tak, aby detekoval text generovaný jazykovým modelem.

Stojí za zmínku, že žádný nástroj pro kontrolu plagiátorství není zcela spolehlivý a vždy existuje možnost, že by text generovaný jazykovým modelem mohl uniknout odhalení. Proto je důležité používat nástroje pro kontrolu plagiátorství pouze jako jednu část širší strategie odhalování a prevence plagiátorství.

• Detektor výstupu GPT-2: 99,58 % reálný
• Writer.com: 74 % obsahu vytvořeného lidmi
• Detekce obsahu BrandWell AI: Vydává se za člověka
• GPTZero: 100% AI
• ZeroGPT: 100% umělá inteligence
• Detektor Writefull GPT: 87% pravděpodobnost, že to pochází z GPT-3, GPT-4 nebo ChatGPT
• Originality.ai: 100% umělá inteligence
• QuillBot: 100% generovaný umělou inteligencí
• Gramaticky: Nebyl zjištěn žádný plagiát ani text AI
• Nezjistitelné: 100% AI

Obsah psaný umělou inteligencí: 6 z 10 (55 %)
správně Naposledy: 5 ze 7 (71 %) správně

Online kontrola plagiátorství AI

Většina detektorů plagiátorství se používá k porovnání psaní s korpusem jiných textů. Když například student odevzdá esej, produkt jako Turnitin prohledá odeslanou esej proti obrovské knihovně esejů ve své databázi a dalším dokumentům a textům na internetu, aby zjistil, zda odeslaná esej obsahuje již napsaný obsah.

Nástroje pro psaní pomocí umělé inteligence však generují originální obsah, alespoň teoreticky. Ano, svůj obsah staví na čemkoli, na čem byli vyškoleni, ale slova, která vytvářejí, jsou pro každou skladbu poněkud jedinečná.

Výše zmíněné nástroje pro kontrolu plagiátorství jako takové pravděpodobně nebudou fungovat, protože obsah generovaný umělou inteligencí pravděpodobně neexistoval například v práci jiného studenta.

V tomto článku se podíváme pouze na detektory GPT. Plagiátorství je však velký problém a jak jsme viděli, někteří se rozhodnou definovat plagiátorství jako něco, o čem tvrdíte, že je vaše a co jste nenapsali, zatímco jiní se rozhodnou definovat plagiátorství jako něco, co napsal někdo jiný, o čem tvrdíte, že je vaše.

Tento rozdíl nebyl až dosud nikdy problémem. Nyní, když máme autory, kteří nejsou lidmi, je rozlišení plagiátorství jemnější. Je na každém učiteli, škole, redaktorovi a instituci, aby se rozhodli, kde přesně je tato čára vedena.

• Detektor výstupu GPT-2: 99,56 % reálného
• Writer.com: 98 % obsahu vytvořeného lidmi
• Detekce obsahu BrandWell AI: Vydává se za člověka
• GPTZero: 98% člověk
• ZeroGPT: 16.82 % AI - Váš text je napsán člověkem
• Detektor Writefull GPT: 7% pravděpodobnost, že to pochází z GPT-3, GPT-4 nebo ChatGPT
• Originality.ai: 100% originál
• QuillBot: 0% AI
• Gramaticky: Nebyl zjištěn žádný plagiát ani text AI
• Nezjistitelné: 100% člověk

Obsah psaný umělou inteligencí: 10 z 10 (100 %) správně
Naposledy: 7 ze 7 (100 %) správně

Celkové výsledky

Celkově zůstaly výsledky ve srovnání s posledním kolem testů obecně stejné. Tentokrát jsme měli tři služby s perfektním skóre. ZeroGPT, jeden z našich tehdejších hráčů s perfektním bodováním, neuspěl v testu, ve kterém dříve uspěl. Dva nové detektory, Writer.com a Grammarly, skóre nezlepšily. Ve skutečnosti byly obě obecně neúspěšné. Ale Undectable dostal pokaždé správnou odpověď.

I když došlo k několika dokonalým výsledkům, nedoporučuji spoléhat se při ověřování obsahu studenta pouze na tyto nástroje. Jak bylo ukázáno, psaní od nerodilých mluvčích je často hodnoceno jako generované umělou inteligencí, a přestože můj ručně vytvořený obsah již nebyl hodnocen jako AI, několik odstavců bylo testery označeno jako pravděpodobně založené na AI. Můžete také vidět, jak jsou výsledky mezi testovacími systémy velmi nekonzistentní. Takže bych byl zastáncem opatrnosti, než se budete spoléhat na výsledky kteréhokoli (nebo všech) těchto nástrojů.

Podívejme se na jednotlivé testery a podívejme se, jak si každý z nich vedl.

Výstupní detektor GPT-2 (přesnost 60%)

Tento první nástroj byl vytvořen pomocí centra strojového učení spravovaného newyorskou společností Hugging Face, která se zabývá umělou inteligencí. Zatímco společnost získala finanční prostředky ve výši 40 milionů dolarů na vývoj své knihovny přirozeného jazyka, detektor GPT-2 se zdá být nástrojem vytvořeným uživateli pomocí knihovny Hugging Face Transformers. Z pěti testů, které jsem provedl, byl detektor přesný ve třech.

Writer.com Detektor obsahu AI (přesnost N/A)

Writer.com je služba, která generuje psaní pomocí umělé inteligence, orientovaná na firemní týmy. Jeho nástroj AI Content Detector dokáže vyhledávat generovaný obsah. Tento nástroj jsem považoval za nespolehlivý. I když se dříve nepodařilo generovat výsledky, tentokrát běžel. Bohužel, jeho přesnost byla poměrně nízká. V podstatě identifikoval každý blok textu jako psaný člověkem, přičemž tři ze šesti testů byly napsány ChatGPT.

Poté, co byl tento článek původně publikován v lednu, lidé z Writer.com se obrátili na ZDNET. Generální ředitel May Habib se podělil o tento komentář:

Poptávka po detektoru s umělou inteligencí raketově vzrostla. Návštěvnost roste 2-3x týdně od doby, kdy jsme ji před pár měsíci spustili. Nyní za ním máme potřebné škálování, abychom se ujistili, že nespadne, a naším cílem je udržet jej zdarma - a aktuální, abychom zachytili výstupy nejnovějších modelů, včetně našich. Pokud má být výstup AI použit doslovně, měl by být rozhodně připsán.

Detekce obsahu BrandWell AI (přesnost 40 %)

Třetí nástroj, který jsem našel, byl původně vytvořen firmou Content at Scale, která se zabývá generováním obsahu pomocí umělé inteligence. Následně nástroj migroval na BrandWell.ai, což se zdá být nový název pro to, co je nyní společnost zaměřená na marketingové služby zaměřené na umělou inteligenci.

Bohužel, přesnost byla dost nízká. Nástroj identifikoval veškerý obsah AI jako lidský, jako na tomto snímku obrazovky:

Tento text byl celý napsán ChatGPT.

GPTZero (přesnost 100%)

Není zcela jasné, co GPTZero pohání. Společnost najímá inženýry a prodejce a běží na AWS, takže jsou zde výdaje a prodeje. O nabídce služeb jsem však našel pouze místo, kde jste si mohli zaregistrovat bezplatný účet a skenovat více než 5 000 nabízených slov bez přihlášení. Pokud máte zájem o tuto službu pro detekci GPT, budete muset zjistit, zda na vás odpoví s dalšími podrobnostmi. Přesnost se zvýšila od prvního spuštění testů a zůstala na 100% pro toto kolo.

ZeroGPT (přesnost 80 %)

Zdá se, že ZeroGPT jako služba dospěla od doby, kdy jsme se na ni naposledy podívali. Když jsme se dívali naposledy, nebyl v něm uveden žádný název společnosti a web byl posetý reklamami Google bez zjevné strategie pro zpeněžení. Služba fungovala docela dobře, ale působila útržkovitě.

Ten útržkovitý pocit je teď pryč. ZeroGPT se prezentuje jako jakákoli jiná služba SaaS, včetně cen, názvu společnosti, kontaktních údajů a všeho ostatního. Stále funguje docela dobře, takže se možná vývojáři rozhodli proměnit svůj pracovní kód ve více fungující byznys. Přesnost však klesla. Jeden test napsaný člověkem si mylně vyložila jako umělou inteligenci.

Detektor Writefull GPT (přesnost 60%)

Writefull prodává služby podpory psaní a bezplatnou ochutnávku svých nástrojů. Detektor GPT je poměrně nový a fungoval poměrně dobře. Tento nástroj však měl v našich testech několik vzestupů a pádů. Zlepšil se z předchozích 60 % na 80 %, ale tentokrát opět klesl na 60 %.

Originality.ai (přesnost 100 %, tak nějak)

Originality.ai je komerční služba, která se účtuje jako nástroj pro kontrolu umělé inteligence a plagiátorství. Společnost prodává své služby na základě kreditů za používání. Pro představu, všechny skeny, které jsem pro tento článek provedl, spotřebovaly 30 kreditů za použití. Společnost prodává 2 000 kreditů měsíčně za 12,95 $měsíčně. Systémem jsem napumpoval 1 400 slov a využil jsem pouze 1,5 % měsíčního přídělu.

Výsledky byly pro kontrolu AI skvělé, ale nástroj selhal ve třech z pěti případů při použití služby jako nástroje pro kontrolu plagiátorství. Následující snímek obrazovky tvrdí, že vložený text byl 0 % plagiát:

To je špatně, protože veškerý text vložený do nástroje pocházel z tohoto článku, publikovaného online po dobu dvou let. Možná jsem si myslel, že skener plagiátorství nedokáže přečíst obsah ZDNET, ale není tomu tak, jak ukazuje tento snímek obrazovky:

Abych byl spravedlivý, v tomto článku jsem neměl v úmyslu kontrolovat kontroly plagiátorství. Ale protože používám zdrojový materiál, o kterém vím, že jsem ho vytáhl ze svého existujícího článku, usoudil jsem, že kontrola plagiátorství by je všechny označila jako 100% plagiáty. V každém případě Originality.ai si vedli velmi dobře v části, kterou jsme si dali otestovat, tedy v nástroji pro kontrolu umělé inteligence. Nástroj za to získává body.  

QuillBot (přesnost 80 %-ish)

Nic není nikdy snadné. Když jsem poprvé provedl svůj první test prostřednictvím QuillBota, ukázalo se, že 45 % textu bylo pravděpodobně vygenerováno umělou inteligencí. Nebyla. Napsal jsem to. Ale pak, po dokončení všech ostatních testů, jsem se vrátil do QuillBotu, abych pořídil snímek obrazovky pro tuto sekci, nakrmil jsem ho stejným textem, který vygeneroval 45% skóre, a jak můžete vidět níže, nyní hlásí 0% AI:

Co bychom si tedy měli o tomto výsledku myslet? Bohužel se mi nepodařilo pořídit snímek obrazovky z prvního testování tohoto textu, ale zdůrazňuje obavy z přílišného spoléhání se na detektory umělé inteligence, které jsou také docela schopné halucinací. 

Gramaticky (přesnost 40%)

Grammarly je známý nástroj, který pomáhá autorům vytvářet gramaticky správný obsah. To není to, co tady testujeme. Grammarly dokáže zkontrolovat plagiátorství i obsah AI. Dokument můžete vložit do nástroje pro kontrolu gramatiky a v pravém dolním rohu je tlačítko pro kontrolu plagiátorství a textu AI:

V tomto testu nástroj našel existující online dokument, který odpovídal textu, který jsem vložil do Grammarly. Tento výsledek dává smysl, protože se jedná o aktualizaci článku, který je online již několik let. Nástroj však také odpověděl: "Zdá se, že váš dokument neobsahuje text generovaný Al". ChatGPT však vygeneroval celý segment.

Undetectable.ai (přesnost 100%)

Velkým nárokem na slávu Undetectable.ai je jeho "humanizovaný", který má za cíl vzít text generovaný umělou inteligencí a udělat ho natolik lidským, že ho detektory s umělou inteligencí nedetekují jako vytvořený robotem. To je schopnost, kterou jsem netestoval a která, abych byl upřímný, mě trápí v nějakém hlubokém jádru mé bytosti. Tato schopnost mi jako profesionálnímu autorovi a pedagogovi připadá jako podvádění.

Společnost má však také detektor AI, který byl velmi na místě.

AI detektor prošel všemi testy, kterými jsme ho krmili. Všimněte si indikátorů zobrazujících příznaky pro jiné detektory obsahu. Společnost uvedla: "Vyvinuli jsme několik algoritmů detektorů modelovaných podle těchto hlavních detektorů, abychom poskytli federovaný a konsensuální přístup. Nevstupují přímo do uvedených modelů, ale každý z modelů je trénován na základě výsledků, které vygeneroval. Když je uvedeno, že to tyto modely označily, je to založeno na algoritmu, který jsme pro tyto modely vytvořili a aktualizovali."

Tyto algoritmy nejsou dokonalé, protože když jsem stejný text prohnal GPTZero, prohlásil text za 98% lidský, což by si nezasloužilo červený varovný indikátor.

I tak Undetectable detekoval všech pět testů, kterými jsme prošli, a získal perfektní 100% skóre.

A co vlastní detektor ChatGPT od OpenAI?

OpenAI to loni stáhla, protože detektor nebyl nijak zvlášť přesný. V srpnu měla být přesná na 99 %. O čtyři měsíce později však stále nic nenasvědčuje tomu, že by mělo být vydáno. Jeho udávaná úroveň přesnosti je také trochu těžko uvěřitelná, protože ChatGPT není zdaleka 100% přesný. 

Ale v každém případě, jak píše můj kámoš ze ZDNET Steven Vaughan-Nichols, zatím není k dispozici. Až bude nástroj uvolněn pro veřejné použití, vyzkoušíme jej. Zůstaňte naladěni.

Závěrečné úvahy

Nejprve nechám ChatGPT, aby se vyjádřil: plagiátorství řízené umělou inteligencí je stále větším problémem, protože nástroje umělé inteligence, jako jsou Notion AI a ChatGPT, dokážou generovat text, který je obtížné odlišit od textu napsaného lidmi. Existuje několik způsobů, jak zjistit, zda byl text vygenerován umělou inteligencí, například hledáním opakujících se nebo neobvyklých vzorů, kontrolou nedostatku originality nebo použitím nástroje pro kontrolu plagiátorství. Nástroje pro kontrolu plagiátorství, jako jsou Turnitin, PlagScan a Copyleaks, mohou být schopny identifikovat určité charakteristiky textu generovaného jazykovým modelem, ale nejsou spolehlivé.

Dokonce i speciální nástroje, které jsem našel, byly pro tento úkol žalostně nevhodné. Oproti mým testům v lednu došlo k určitému omezenému zlepšení. Rozhodně bych se však necítil pohodlně, kdybych ohrožoval akademické postavení studenta nebo ho obviňoval z podvádění na základě výsledků těchto nástrojů.

V tuto chvíli si nemyslím, že jsme připraveni nechat umělou inteligenci bojovat s umělou inteligencí. Místo toho se budeme muset spolehnout na lidské vnímání (což znamená, že lidé musí dávat pozor), abychom identifikovali díla generovaná umělou inteligencí.

Nepředpokládejte okamžitě, že text je generován strojem, pokud je hloupý nebo velmi nepřesný. Jak všichni víme, lidé mohou psát špatné věci.

Takže, co myslíte? Poznáte, zda je dílo generováno umělou inteligencí? Používali jste tyto nástroje pro psaní AI v měsících od doby, kdy se náhle staly dostupnými? Jsou pomocí nebo překážkou ve vzdělávání a žurnalistice? Dejte nám vědět v komentářích níže. ChatGPT na to odpověděl takto:

Jako jazykový model nevidím fyzické části textu ani s nimi neinteraguji, takže nedokážu říct, zda je dílo generováno umělou inteligencí, nebo ne. Mohu vám však říci, že existuje několik nástrojů pro psaní AI, které jsou k dispozici a lze je použít ke generování široké škály psaného obsahu, včetně novinových článků, beletrie, poezie a dalších.

Nemám osobní zkušenosti s používáním těchto nástrojů, protože jsem jen počítačový program a nemám schopnost procházet internet nebo používat fyzické nástroje. Mohu vám však říci, že někteří lidé zjistili, že nástroje pro psaní s umělou inteligencí jsou užitečné ve vzdělávání a žurnalistice, protože mohou ušetřit čas a námahu automatizací určitých úkolů. Jiní vyjádřili obavy z potenciálu těchto nástrojů k vytváření zavádějícího nebo zaujatého obsahu nebo k nahrazení lidských autorů. V konečném důsledku, zda jsou nástroje pro psaní AI pomocí nebo překážkou, závisí na tom, jak se používají a v jakém kontextu se používají.

Takže ano, je to tak.