Spoluvědec umělé inteligence společnosti Google "škáluje testovací dobu" na steroidech. Co to znamená pro výzkum

Adaptací modelu umělé inteligence Gemini je nejnovější využití skutečně intenzivní výpočetní činnosti v době odvozování, namísto během tréninku, s cílem zlepšit tzv. uvažování modelu umělé inteligence. Zde je návod, jak to funguje.

Společnost Google ve středu oznámila, že přizpůsobila svou nabídku umělé inteligence Gemini 2.0 s velkým jazykovým modelem tak, aby generovala nové vědecké hypotézy za zlomek času, který zaberou týmy lidských laboratorních výzkumníků.

Společnost označuje "vědce s umělou inteligencí" postavenou na Gemini za "slibný pokrok směrem k technologiím podporovaným umělou inteligencí pro vědce, který pomůže urychlit objevy", a za program, který má být provozován s člověkem "ve smyčce", aby "působil jako užitečný asistent a spolupracovník vědců a pomohl urychlit proces vědeckých objevů".

Je to také ukázka toho, jak takzvané modely umělé inteligence uvažování nyní posouvají využití výpočetních zdrojů výš a výš, ke křížovým odkazům, vyhodnocování, hodnocení, třídění, třídění, třídění a provádění spousty dalších věcí - to vše poté, co uživatel zadá výzvu.

Vědecký pracovník společnosti Google v oblasti umělé inteligence má mít "člověka ve smyčce", který řídí různé operace stroje, jako je rešerše literatury a tvorba hypotéz.

V rámci odvážného spojení vědeckého publikování a marketingu publikovali výzkumníci Googlu technický článek popisující hypotézu vytvořenou spolupracovníkem vědce současně s článkem publikovaným skupinou lidských vědců na Imperial College London, se stejnou hypotézou.

Vytvoření hypotézy spoluvědců, týkající se specifického způsobu, jakým se bakterie vyvíjejí za vzniku nových patogenů, trvalo dva dny, zatímco práce vytvořená lidmi byla výsledkem desetiletí studií a laboratorní práce, tvrdí Google.

Stroj na formulaci hypotéz

Google popisuje tento stroj jako stroj na formulaci hypotéz, který používá více agentů.

Jak uvádí příspěvek na blogu Google: "Vzhledem k výzkumnému cíli vědce, který byl specifikován v přirozeném jazyce, je spoluvědec s umělou inteligencí navržen tak, aby generoval nové výzkumné hypotézy, podrobný přehled výzkumu a experimentální protokoly. K tomu využívá koalici specializovaných agentů: Generation, Reflection, Ranking, Evolution, Proximity a Meta-review."

Spoluvědec společnosti Google v oblasti designu umělé inteligence spočívá v tom, že osoba na výzvu zadá výzkumný cíl, načež řada agentů paralelně pracuje na přezkoumání literatury, formulování a vyhodnocení hypotéz.

Struktura spolupracovníka umělé inteligence je navržena tak, aby prováděla více úloh agentů paralelně, což je podpořeno funkcí správy paměti pro ukládání průběžných výsledků.

Spolupracovník začne pracovat poté, co vědec na výzvu zadá svůj výzkumný cíl "spolu s preferencemi, omezeními experimentu a dalšími atributy".

Google trvá na tom, že program jde nad rámec pouhého přehledu literatury a místo toho "odhaluje nové, originální znalosti a formuluje prokazatelně nové výzkumné hypotézy a návrhy, které vycházejí z předchozích důkazů a jsou přizpůsobeny konkrétním výzkumným cílům".

Škálování během testu na steroidech

Adaptace Gemini 2.0 klade důraz na použití "škálování doby testu", kdy agenti umělé inteligence využívají stále větší množství výpočetního výkonu k iterativní kontrole a přeformulování svých výstupů.

Škálování doby testu bylo nejdramatičtěji vidět nejen u modelu Gemini, ale také u modelu o1 společnosti OpenAI a DeepSeek AI, což jsou všechno příklady takzvaných modelů uvažování, které tráví mnohem více času reakcí na výzvu a generují mezilehlé výsledky.

Spoluvědec s umělou inteligencí je tak trochu škálování na steroidech.

Ve formálním dokumentu, jehož autorem je Juraj Gottweis ze společnosti Google a který byl zveřejněn na předtiskovém serveru arXiv, autoři konkrétně uvádějí svou práci jako jakési vylepšení toho, co model R1 společnosti DeepSeek propagoval:

Nedávné pokroky, jako je model DeepSeek-R1, dále demonstrují potenciál výpočtů v době testu využitím zpětnovazebního učení ke zpřesnění "myšlenkového řetězce" modelu a posílení schopností komplexního uvažování v delším horizontu. V této práci navrhujeme významné škálování paradigmatu výpočtu v testovacím čase pomocí induktivních zkreslení odvozených z vědecké metody pro návrh multiagentního rámce pro vědecké uvažování a generování hypotéz bez jakýchkoli dalších technik učení.

Spoluvědec je sestaven z výběru agentů umělé inteligence, kteří mají přístup k externím zdrojům, vypráví Gottweis a jeho tým. "Jsou také vybaveny pro interakci s externími nástroji, jako jsou webové vyhledávače a specializované modely umělé inteligence, prostřednictvím rozhraní pro programování aplikací," píší.

Kde se škálování doby testu nejvíce dostává do hry, je pojem "turnaj", kde spoluvědec porovnává a hodnotí několik hypotéz, které vytvořil. Činí tak pomocí skóre "Elo", což je běžný měřicí systém používaný k hodnocení šachistů a sportovců.

Jak to popisuje Gottweis a jeho tým, jeden z agentů, "Ranking Agent", má hlavní odpovědnost za hodnocení odlišných hypotéz jakýmsi konkurenčním způsobem:

Důležitou abstrakcí v systému spoluvědců je představa turnaje, kde jsou hodnoceny a hodnoceny různé výzkumné návrhy, což umožňuje iterativní zlepšování. Agent Ranking využívá a organizuje turnaj založený na Elo, aby posoudil a upřednostnil generované hypotézy v daném okamžiku. To zahrnuje párové srovnání, usnadněné simulovanými vědeckými debatami, které umožňují diferencované hodnocení relativních předností každého návrhu.

Google tvrdí, že data ukazují, že čím dál tím více výpočtů, řazením a přehodnocováním, jsou hypotézy stále lepší, jak je hodnotí lidští pozorovatelé.

Překonává modely a lidské odborníky bez pomoci

Podle patnácti lidských expertů, kteří přezkoumali výstupy spolupracovníka, se program zlepšuje, když tráví více výpočetního času formulováním hypotéz a jejich vyhodnocováním.

Google říká, že spoluvědec s umělou inteligencí překonává relativní kvalitu neupraveného Gemini 2.0, protože výpočetní rozpočet se zvyšuje, což vede k vyšším Elo skóre jako v šachu a sportu.

"Jak systém tráví více času uvažováním a zlepšováním, kvalita výsledků podle vlastního hodnocení se zlepšuje a překonává modely a lidské experty bez pomoci," poznamenává článek.

Lidští pozorovatelé obecně dávali spoluvědcům "vyšší potenciál pro novost a dopad a upřednostňovali jeho výstupy ve srovnání s jinými modely", jako je neupravený Gemini 2.0 a model uvažování o1 od OpenAI.

Vzhledem k důrazu na škálování výpočetního úsilí je nešťastné, že Gottweis a jeho tým se ve své 70stránkové technické zprávě nikde nezmiňují, jak moc bylo výpočetní technika využita pro spoluvědce zabývající se umělou inteligencí.

Hypotéza, kterou však sdílejí, spočívá v tom, že rychlé snížení nákladů na výpočetní techniku toho druhu, jaký demonstruje DeepSeek R1, by mělo učinit něco jako spoluvědce použitelným ve výzkumných laboratořích.

"Trendy v nákladech na výpočet doby destilace a inference naznačují, že tyto inteligentní a obecné systémy umělé inteligence se rychle stávají cenově dostupnějšími a dostupnějšími," poznamenávají.