Dokáže ChatGPT předpovídat budoucnost? Trénujte AI, abyste zjistili, co se stane dál
Data z časových řad jsou užitečná pro věci, jako je předpovídání počasí, lékařských událostí nebo finančních změn, a generativní umělá inteligence může takové sekvence modelovat, pokud jim bude poskytnuta malá pomoc, zjistili učenci z NYU.
Program LLMtime NYU najde další pravděpodobnou událost v posloupnosti událostí, jak je znázorněno v řetězcích číselných číslic.
Dnešní generativní programy umělé inteligence, nástroje jako ChatGPT, jsou na cestě k vytváření mnohem více druhů výsledků než jen textu, jak ZDNET do určité hloubky prozkoumal.
Jednou z nejdůležitějších z těchto „modalit“, jak je známo, je to, co se nazývá data časových řad - data, která měří stejné proměnné v různých časových okamžicích za účelem zjištění trendů. Data ve formátu časové řady mohou být důležitá pro věci, jako je sledování anamnézy pacienta v průběhu času pomocí záznamů provedených lékařem v grafu. Dělat to, čemu se říká prognóza časových řad, znamená brát historická data a předpovídat, co se bude dít dál; například: "Zlepší se tento pacient?"
Tradiční přístupy k datům časových řad zahrnují software speciálně navržený právě pro tento typ dat. Nyní však generativní umělá inteligence získává novou schopnost zacházet s daty časových řad stejným způsobem, jakým zvládá esejové otázky, generování obrázků, softwarové kódování a různé další úkoly, ve kterých ChatGPT a podobné programy excelovaly.
V nové studii, kterou tento měsíc zveřejnil Nate Gruver z New York University a kolegové z NYU a Carnegie Mellon, je program GPT-3 OpenAI trénován tak, aby předpovídal další událost v časové řadě podobné předpovídání dalšího slova ve větě.
„Protože jazykové modely jsou vytvořeny tak, aby reprezentovaly komplexní rozdělení pravděpodobnosti v sekvencích, jsou teoreticky vhodné pro modelování časových řad,“ píší Gruver a tým ve svém článku „Velké jazykové modely jsou prognostiky časových řad s nulovým záběrem“, zveřejněné na webu předtiskový server arXiv. "Data časových řad mají obvykle přesně stejnou formu jako data jazykového modelování, jako soubor sekvencí."
Program, který vytvořili, LLMTime, je „nesmírně jednoduchý“, píší Gruver a tým, a je schopen „překročit nebo porovnat účelové metody časových řad v řadě různých problémů v módě nulového záběru , což znamená, že LLMTime lze použít bez jakéhokoli dolaďování navazujících dat používaných jinými modely."
Klíčem k vybudování LLMTime bylo, aby Gruver a tým přehodnotili to, co se nazývá „tokenizace“, způsob, jakým velký jazykový model představuje data, na kterých pracuje.
Programy jako GPT-3 určitým způsobem zadávají slova a znaky tak, že je rozdělují na části, které lze po jednom zpracovat. Data časových řad jsou reprezentována jako sekvence čísel, například "123"; časová řada je pouze vzor, ve kterém se takové číselné sekvence vyskytují.
Vzhledem k tomu je tokenizace GPT-3 problematická, protože často rozdělí tyto řetězce do nepohodlných seskupení. „Například číslo 42235630 je tokenizérem GPT-3 tokenizováno jako [422, 35, 630] a změny i o jedinou číslici mohou vést ke zcela odlišné tokenizaci,“ uvádí Gruver a tým.
Aby se předešlo těmto nepříjemným seskupením, Gruver a tým vytvořili kód pro vložení prázdného místa kolem každé číslice sekvence číslic, takže každá číslice by byla zakódována samostatně.
Poté šli do práce a trénovali GPT-3, aby předpověděli další číselnou sekvenci na příkladech časových řad v reálném světě.
Jakákoli časová řada je posloupnost věcí, které se dějí jedna po druhé, jako například: „Pes seskočil z pohovky a běžel ke dveřím“, kde je jedna událost a pak další. Příkladem skutečného souboru dat, o kterém chtějí lidé předpovídat, by bylo předpovídání výběrů z bankomatů na základě historických výběrů. Banka by měla velký zájem předpovídat takové věci.
Předpovídání výběru z bankomatu je ve skutečnosti jednou z výzev soutěže v reálném čase, jako je soutěž umělé neuronové sítě a předpovědi výpočetní inteligence, kterou provozuje britská univerzita v Lancasteru. Tato sada dat jsou jednoduše řetězce a řetězce čísel v tomto tvaru:
T1: 1996-03-18 00-00-00 : 13,4070294784581, 14,7250566893424 atd.
První část je samozřejmě datum a časové razítko pro "T1," představující první okamžik v čase, a co následuje, jsou částky (oddělené tečkami, nikoli čárkami, jak je tomu v evropském zápisu). Výzvou pro neuronovou síť je předpovědět, vzhledem k tisícům nebo dokonce milionům takových položek, co by se stalo v příštím okamžiku po posledním příkladu v sérii - kolik si klienti zítra vyberou.
Autoři tvrdí: „Nejenže je LLMTime schopen generovat věrohodná dokončení skutečných a syntetických časových řad, ale dosahuje vyšší pravděpodobnosti […] při vyhodnocování nulových hodnot než vyhrazené modely časových řad […]“, které byly vytvářeny po desetiletí. .
Program LLMtime najde, kde se číslo nachází v distribuci, odlišný vzor opakování čísel, aby dospěl k závěru, zda sekvence představuje jeden z běžných vzorů, jako je „exponenciální“ nebo Gaussův.
Jedním z omezení velkých jazykových modelů však Gruver a tým zdůrazňují, že mohou přijímat pouze tolik dat najednou, což je známé jako „kontextové okno“. Aby programy zvládly stále větší časové řady, budou muset toto kontextové okno rozšířit na mnohem více tokenů. To je projekt, který zkoumá mnoho stran, jako je mimo jiné tým Hyena na Stanfordské univerzitě a kanadský MILA Institute for AI a Microsoft.
Zjevnou otázkou je, proč by velký jazykový model měl být dobrý v předpovídání čísel. Jak autoři poznamenávají, pro jakoukoli sekvenci čísel, jako jsou výběry z bankomatu, existuje „libovolně mnoho pravidel generování, která jsou v souladu se zadáním“. Překlad: Existuje tolik důvodů, proč se tyto konkrétní řetězce čísel mohou objevit, že by bylo těžké uhodnout, jaké je základní pravidlo, které je vysvětluje.
Odpověď zní, že GPT-3 a jemu podobní najdou pravidla, která jsou ze všech možných pravidel nejjednodušší. "LLM mohou efektivně předpovídat, protože upřednostňují dokončení odvozené z jednoduchých pravidel, přijímajících formu Occamovy břitvy," píší Gruver a tým s odkazem na princip šetrnosti.
Někdy je program GPT-4 vyveden z omylu, když se pokouší vysvětlit, jaký je vzorec časové řady, a ukazuje, že ve skutečnosti „nerozumí“ časové řadě v tradičním smyslu.
To neznamená, že GPT-3 skutečně rozumí, co se děje. Ve druhém experimentu Gruver a tým předložili GPT-4 (výkonnějšímu nástupci GPT-3) nový soubor dat, který vytvořili pomocí konkrétní matematické funkce. Požádali GPT-4, aby odvodil matematickou funkci, která vytvořila časovou řadu, aby odpověděl na otázku, „zda GPT-4 může v textu vysvětlit své chápání dané časové řady,“ píší Gruver a tým.
Zjistili, že GPT-4 je schopen odhadnout matematickou funkci lépe než náhodná náhoda, ale přinesla některá vysvětlení, která byla mimo mísu. "Model někdy dělá nesprávné dedukce ohledně chování dat, která viděl, nebo očekávaného chování kandidátských funkcí." Jinými slovy, i když program jako GPT-4 dokáže dobře předpovídat další věc v časové řadě, jeho vysvětlení skončí jako „halucinace“, tedy tendence nabízet nesprávné odpovědi.
Gruver a tým jsou nadšení z toho, jak časové řady zapadají do multimodální budoucnosti generativní umělé inteligence. „Zarámování prognóz časových řad jako generování přirozeného jazyka lze považovat za další krok ke sjednocení více schopností v rámci jednoho velkého a výkonného modelu, ve kterém lze porozumění sdílet mezi mnoha úkoly a modalitami,“ píší ve své závěrečné části.
Kód pro LLMTime je zveřejněn na GitHubu.