Startup Snorkel připravuje nový druh experta na podnikovou umělou inteligenci

Sada nástrojů pro vývoj modelů umožňuje lidskému odborníkovi na danou problematiku dát velkým neuronovým sítím pravidla pro označování dat, což v konečném důsledku vede k efektivnějším programům umělé inteligence, které budou znát "dlouhý chvost" případů.

Sada pro vývoj modelů Foundation od společnosti Snorkel zaměřená na data umožní neprogramátorovi používat textovou výzvu s dotazy v přirozeném jazyce, aby neuronová síť automaticky označovala data. Výstupní štítky se stávají prostředkem pro dohled nad trénováním navazujícího programu strojového učení, který může být jednoduchým klasifikátorem.

Při posledním velkém rozmachu umělé inteligence na přelomu 70. a 80. let se uchytil populární přístup známý jako expertní systémy, programy, které obsahovaly pravidla pro úkoly založené na lidských znalostech zadaných do počítače.

Expertní systémy nakonec selhaly, protože se ukázalo, že oba je příliš těžké kodifikovat - co může odborník skutečně formulovat o tom, co ví? - a také příliš náročné na výstavbu a údržbu. Jinými slovy, nezměnili měřítko.

Snorkel, tři roky starý startup zabývající se umělou inteligencí se sídlem v San Franciscu, ve středu představil nástroje, které podle nich přivedou odborníka na lidskou doménu zpět na sedadlo řidiče, pokud jde o vývoj neuronových sítí.

Vývoj modelu základu zaměřeného na data společnosti Snorkel, jak se tato nabídka jmenuje, je vylepšením vlajkové lodi startupu Snorkel Flow. Nové funkce umožňují společnostem psát funkce, které automaticky vytvářejí označená tréninková data pomocí takzvaných základních modelů, největších neuronových sítí, které existují, jako je GPT-3 od OpenAI.

Nové funkce v aplikaci Snorkel Flow umožňují osobě, která je odborníkem na doménu, ale ne programátorem, vytvořit pracovní postup, který pak automaticky vygeneruje označené datové sady, které lze použít k trénování základních programů pro konkrétní úkoly.

"Jsme nadšeni ze zvyšování kvalifikace a posílení postavení nevývojářů, odborníků na danou problematiku, aby byli schopni řídit více procesu" tvorby umělé inteligence, řekl spoluzakladatel a generální ředitel společnosti Snorkel Alex Ratner v rozhovoru pro ZDNET prostřednictvím zoomu. 

"Jsou to lidé, kteří mají znalosti v dané oblasti a často jsou tak trochu umístěni do sila kolem pouhého ručního označování dat," řekl Ratner. "Chceme, aby seděli tam, kde by měli a kde si myslíme, že to potřebují, na sedadle řidiče, kopilotovali s datovým vědcem nebo vedli sami."  

Základní modely, jako je GPT-3 a také Dall•E 2 od OpenAI a RoBERTa od Googlu, jsou stále více v módě díky své schopnosti generovat text a obrázky, které lze následně použít pro širokou škálu firemních úkolů, od automatizovaných robotů pro zákaznický servis přes vytváření podnikové dokumentace až po vytváření fotografií.

Základní modely jsou datoví žrouti. GPT-3 byl vyškolen společností Open-AI v roce 2020 s využitím populární datové sady webových stránek CommonCrawl z let 2016 až 2019, což jsou komprimovaná textová data v hodnotě 45 TB. OpenAI to musela zredukovat na zvládnutelných 570 GB dat. Trénovat takové modely je pro většinu firem neúnosné. 

K některým základním modelům, jako je GPT-3, lze přistupovat jako ke cloudovým službám, což snižuje část zátěže podniků, které je chtějí používat. Společnost si může modely pouze pronajmout a provést nějaké úpravy tak, aby vyhovovaly jejich případu použití. 

Aby však společnost mohla produktivně používat základní model, musí stále přizpůsobit fungování modelu konkrétním případům použití, jako je právní nebo marketingový, což je známé jako "jemné doladění" modelu. A zachycení potřebných znalostí domény může vyžadovat desítky gigabajtů nových dat, s příslušnými štítky, významem, nápovědami pro program.

"Mezi podniky vždy existuje určitý druh deziluze" z umělé inteligence hlubokého učení, řekl Ratner, "a pocit, že jsme toho tolik připsali umělé inteligenci, je toho tolik ve světě open-source, je toho tolik v naší podnikové organizaci. Proč nepostupujeme rychleji?"

Důvod, proč se společnosti nepohybují rychleji, často souvisí s touto hromadou dat, řekl. 

"Vždycky to bylo: A co data?" řekl Ratner. A zejména označená trénovací data, na která se tyto modely spoléhají a stále spoléhají i v éře základních modelů, aby byla přizpůsobena a vyladěna pro konkrétní případy použití, zejména pro složité vysoce výkonné případy v podniku, které vidíme u našich zákazníků."

Software Snorkel Flow společnosti Snorkel je komerčním úsilím, které vyrostlo z akademického výzkumu s otevřeným zdrojovým kódem v laboratoři umělé inteligence Stanfordovy univerzity, který začal v roce 2015 a který provedl Ratner a jeho spolupracovníci. Tato práce vedla k programu Snorkel Drybell vyvinutému společně s výzkumníky Googlu, který měl podle Ratnera "masivní dopad" na Google.

Program Drybell nabídl způsob, jak vytvořit pravidla, která by pak automaticky generovala štítky pro data, čímž by se ušetřilo obrovské manuální úsilí pro člověka při označování každého jednotlivého kusu dat.

Ratner si všiml, že je opravdu obtížné implementovat motor pravidel.

"Trvalo šest až devět měsíců, než jsme se s tím vypořádali, než jsme to nasadili," vzpomíná Ratner na program Drybell. "To byl okamžik rozsvícení žárovky," řekl. 

Drybell byl podle něj "jedním z několika příkladů, které ukázaly, jaký je potenciál dopadu v reálném světě, ale také kolik inženýrské a prioritizační práce bylo třeba k překlenutí této mezery, což byla velká motivace pro konečné vyčlenění společnosti v roce 2019."

Možná bude potřeba vytvořit komerční balíček, který společnostem pomůže tento přístup využívat.

Ratner a jeho vedoucí diplomové práce Christopher Re a tři další kolegové založili společnost v roce 2019 s rizikovým kapitálem od předních rizikových firem, jako jsou Greylock Partners a In-Q-Tel. 

Re je také zakladatelem, spolu s dalším Ratnerovým poradcem, profesorem počítačových věd na Stanfordu Kunlem Olukotunem, hardwarového startupu SambaNov Systems.

S novou schopností vývoje modelů Snorkel staví problém programů velmi náročných na data a staví ho na hlavu. Spíše než vymýšlet trénovací data pro tak masivní programy, jako je GPT-3, lze generativní funkci těchto modelů využít k vytváření trénovacích dat pro menší neuronovou síť nebo dokonce pro formy umělé inteligence, které nemají s neuronovými sítěmi nic společného.  

"Začali jsme experimentovat," řekl Ratner, "s myšlenkou, že místo toho, abychom se snažili najít základní model a zapojit ho do produkce, použijeme základní model k automatickému označování dat, abychom urychlili vývojovou smyčku zaměřenou na data, a pak budeme hledat jiný nasaditelný model."

Sada Model Development Suite má tři komponenty, které lze použít samostatně nebo v kombinaci. Jedním z nich je použití textové výzvy s dotazy v přirozeném jazyce, které vyzvou základní model k vygenerování popisků dat jako výstupu. 

"Jak spojit znalosti expertního systému, které můžete vyjádřit pomocí pravidla nebo heuristiky, nebo nyní otázky ve  výzvě, s masivními možnostmi zobecnění těchto statistických modelů?" je způsob, jakým Snorkel přemýšlí o tom, jak dostat lidské bytosti zpět do smyčky jako odborníky na danou problematiku, vysvětluje spoluzakladatel a generální ředitel společnosti Snorkel, Alex Ratner.

Tyto dotazy v přirozeném jazyce mohou být něčím, co odborník na danou doménu umí formulovat, například "Týkají se tyto smluvní dokumenty problémů s ochrannou známkou?" Tento dotaz se pak stane způsobem, jak přimět program, aby používal štítky podle toho, zda dokument je nebo není dokumentem souvisejícím s ochrannou známkou. Celkovým výstupem se pak stanou popisky, které naučí klasifikátor tak, aby seřadil dokumenty jako související s ochrannou známkou nebo nesouvisející.

Druhou možností nástrojů pro vývoj modelů je to, co se nazývá "teplý start". Schopnost základního modelu automaticky generovat výstup, když je zobrazeno nula nebo několik příkladů - učení nula a několik snímků - se stává mechanismem, pomocí kterého se automaticky generují štítky dat.

A třetí možností, základními modely, lze použít samotné modely základů použitím menšího souboru dat, který jednoduše "vyladí" velký základní model.

Myšlenkou všech tří přístupů je, že základní modely jsou samy o sobě "základy, na kterých se dá stavět, ale magicky nevyřeší všechny vaše problémy v reálném světě". 

"Stále na nich musíte stavět. Musíte je doladit, přijít na to, jak je nasadit," řekl Ratner. 

"Do tohoto pracovního postupu vkládáme základní modely mnoha způsoby, abychom jej urychlili a v podstatě překlenuli mezeru."

Někteří zákazníci pracují s funkcí Model Development již několik měsíců a jejich čas potřebný k vytváření programů strojového učení se výrazně zkrátil.

Ratner připomněl příklad zákazníka, který patří mezi pět největších bank a chtěl vycvičit program umělé inteligence, aby z bankovních dokumentů extrahoval věci týkající se obav z praní špinavých peněz a Know Your Customer.

Tento úkol zahrnoval skenování PDF, mnohasetstránkových dokumentů, "velmi složitých, velmi zakázkových dokumentů," řekl Ratner, a také "velmi kritických, z regulačních důvodů, aby banka tyto extrakce provedla správně".

"Pokud byste se pokusili ručně zkonstruovat označenou trénovací sadu, abyste naučili ML provádět tyto extrakce, zabralo by to měsíce odborného právního času" od specialisty na oblast lidské domény. Software Snorkel Flow byl schopen to zkrátit na pouhé týdny, řekl Ratner. 

"Skutečně vzrušujícím výsledkem této funkce základního modelu je ve skutečnosti zkrácení na hodiny nebo dny pomocí základních modelů k zahřátí a následnému automatickému označení dat."

Snorkel Flow je o tom, jak dostat všechny druhy zdrojů dat do cyklu automatické aktualizace štítků, aby se neustále vylepšovala označená data dostupná pro vyzkoušení modelů AI.

Schopnost vývoje modelu ukazuje na základní pravdu o hlubokém učení, řekl Ratner: Nyní je to více o datech než o konkrétní architektuře neuronové sítě, alespoň měřeno tím, kde je vynaloženo největší množství práce.

"Umělá inteligence se stává více zaměřenou na data oproti modelu z hlediska toho, jaká je průměrná iterace, kterou datový vědec provádí, aby něco fungovalo," dodal. "Datoví vědci ve skutečnosti dělají spoustu své práce tím, že se snaží označovat související se zlepšováním a iterací těchto dat," spíše než revidovat modely.

Zákazníci společnosti Snorkel museli dříve strávit šest měsíců nebo déle ručním označováním dat, než mohli spustit jediný program, poznamenává Ratner.

Použití sady Model Development Suite nevyžaduje žádné znalosti o základních modelech ze strany osoby, která úlohu popisování provádí. Pokud se však někdo náhodou zajímá o detaily základních modelů, "máme pod kapotou některé z těch vychytávek," poznamenal, jako je schopnost psát vlastní výzvy nebo šablony výzev pro základní modely.

Obrácením paradigmatu mohou být základní modely efektivnější pomůckou pro menší, méně náročné modely, které v konečném důsledku dosahují lepších výsledků. 

Využitím obecných schopností základních modelů je možné "urychlit trénování těchto specializovaných modelů nasazení, které jsou součástí vaší stávající a provozní infrastruktury," řekl Ratner. "Ve skutečnosti můžete získat modely, které jsou 10 000krát menší než velký základní model, ale jsou přesnější pro cílovou úlohu."

Konečným programem by mohl být jednoduchý regresní model nebo XG Boost nebo jiný druh přístupu, řekl Ratner. Takové modely mají další výhodu v tom, že se nejen snadněji spouštějí v produkci a mohou být přesnější než obecné předtrénované programy, jako je GPT-3, ale často jsou také mnohem lépe interpretovatelné a zvládnutelné než příslovečná černá skříňka velkých neuronových sítí.

"Tyto druhy případů použití mají často přísnější řízení," řekl Ratner o podnikových aplikacích, jako je Know Your Customer.

Ratner věří, že funkce vývoje modelů v některých ohledech naplňuje starý přístup expertního systému, který staví lidského experta na danou problematiku zpět do ústřední role.

"Jak spojit znalosti expertního systému, které můžete vyjádřit pomocí pravidla nebo heuristiky, nebo nyní otázky ve  výzvě, s masivními možnostmi zobecnění těchto statistických modelů?" Je to jeden způsob, jak o tom přemýšlet.

"Nechtějte po svém odborníkovi na danou problematiku, aby jen klikal na 10 000 smluv, jako byste hráli 20 000 otázek," navrhl. "Nechte je zapsat si své znalosti domény - opět, dříve jsme tomu říkali funkce pro označování, nyní ji nabízíme ve formě výzvy, což je další typ funkce pro označování."

Toto lidské úsilí je použito "k zavedení a vytrénování modelu, který lze zobecnit na dlouhý chvost vzorců, které moderní lidské modely tak dobře nasávají a rozpoznávají".