Co znamená dlouhé kontextové okno pro model AI, jako je Gemini?

Pokud znáte modely umělé inteligence a chatboty, pravděpodobně jste slyšeli výraz „kontext“ používaný jinak, než na jaký jste zvyklí. Zde je uvedeno, co to znamená.

Google právě oznámil, že upgraduje svou službu Gemini Advanced s milionovým kontextovým modelem, který brzy poskočí na dva miliony.

Představte si, že sledujete televizní seriál, ale můžete si pamatovat vždy jen jednu epizodu. Když přejdete na další epizodu, okamžitě zapomenete na vše, co jste právě sledovali. Nyní si představte, že si můžete pamatovat každou epizodu a každou sezónu, kterou jste z tohoto televizního pořadu sledovali; to vám umožní pochopit příběh, postavy a zvraty.

Při diskusi o modelech umělé inteligence (AI) představuje možnost zapamatovat si vždy pouze jednu epizodu a být nucen ji zapomenout při přechodu na další epizodu, představuje krátké kontextové okno. Pamatování všech epizod v sérii představuje model umělé inteligence s velkým kontextem - neboli dlouhým kontextovým oknem.

Stručně řečeno, dlouhé kontextové okno znamená, že si model dokáže zapamatovat mnoho informací najednou.

Chcete-li se dozvědět více o dlouhém kontextovém okně a o tom, jak ovlivňuje výkon robota nebo jiného systému, musíte vědět, jaký kontext v AI představuje.

Systémy AI jako ChatGPT, chatbot Gemini a Microsoft Copilot jsou postaveny na modelech AI, v tomto případě GPT-3.5, Gemini a GPT-4. Tyto modely v podstatě fungují jako mozky systémů, uchovávají znalosti, pamatují si informace v rámci konverzace a vhodně reagují na dotazy uživatelů.

Kontext v AI označuje informace, které dávají význam a relevanci aktuálním datům, která AI zpracovává. Jsou to informace, které model bere v úvahu při rozhodování nebo generování odpovědi.

Kontext se měří v tokenech a kontextové okno představuje maximální počet tokenů, které může model zvážit nebo zpracovat najednou. Každý token představuje slovo nebo část slova v závislosti na jazyce. V angličtině má jeden token tendenci reprezentovat jedno slovo, takže model umělé inteligence jako GPT-4 s oknem tokenu 16 000 (16 000) zvládne zhruba 12 000 slov.

Metody tokenizace - to znamená, jak se slova počítají a převádějí do tokenů - se liší v závislosti na systému. Zde je příklad toho, jak může metoda tokenizace vypadat:

Chatbot s umělou inteligencí, který zvládne asi 12 000 slov, dokáže shrnout článek o 3 000 slovech nebo výzkumný článek o 5 000 slovech a poté odpovídat na doplňující otázky, aniž by zapomněl, co bylo v dokumentu, který uživatel sdílel. Tokeny z předchozích zpráv se berou v úvahu během konverzací, což dává botovi kontext pro to, o čem se diskutuje.

Pokud tedy konverzace zůstane v limitu tokenů, AI chatbot může zachovat celý kontext. Pokud však překročí limit tokenů, nejstarší tokeny budou pravděpodobně ignorovány nebo ztraceny, aby zůstaly v okně, takže robot potenciálně ztratí určitý kontext.

To je důvod, proč Google hrdě inzeruje velké kontextové okno Gemini 1.5 Pro s jedním milionem tokenů. Podle generálního ředitele společnosti Google Sundara Pichaie milion tokenů znamená, že jeho chatbot Gemini Advanced dokáže zpracovat přes 30 000 řádků kódu, soubory PDF dlouhé až 1 500 stránek nebo 96 nabídek Cheesecake Factory.