Trénujte modely umělé inteligence s vašimi vlastními daty, abyste zmírnili rizika

Základní modely poskytují dobrou platformu, na které mohou organizace stavět pro kontrolu svých tréninkových dat umělé inteligence.

Organizace, které chtějí efektivněji využívat generativní umělou inteligenci (AI), by měly používat svá vlastní data k trénování systémů umělé inteligence, přičemž jako výchozí bod by měly používat základní modely.

To může poskytnout relevantnější kontext a rozptýlit obavy z potenciálních rizik, jako je nepřesnost a porušování práv duševního vlastnictví.

Zejména přesnost je pro společnost, jako je Jiva, nejvyšší prioritou. Prodejce agritech využívá AI k napájení své mobilní aplikace Crop Doctor, která identifikuje choroby plodin pomocí zpracování obrazu a počítačového vidění a doporučuje léčbu. Také využívá AI, aby určila úvěrovou způsobilost farmářů, kteří žádají o zálohy v hotovosti před sklizní, a vrátí půjčky, když se jejich sklizeň vyplatí.

Využívá různé nástroje AI a strojového učení, včetně Pinecorn, OpenAI a scikit-learn, stejně jako TensorFlow a Vertex AI od Googlu. Jiva působí v Singapuru, Indonésii a Indii.

Trénuje své modely umělé inteligence na tisících anotovaných obrázcích pro každou nemoc, říká technický ředitel Jiva Tejas Dinkar. Agritech společnost shromáždila stovky tisíc snímků ze země prostřednictvím svých terénních týmů a farmářů, kteří jsou součástí sítě Jiva a používají její aplikaci AgriCentral, která je dostupná v Indii.

Její terénní experti se podílejí na počátečním sběru a anotaci snímků, než jsou tyto předány odborníkům z agronomie, kteří snímky dále anotují. Ty jsou poté přidány do tréninkového modelu používaného k identifikaci chorob rostlin.

Pro nové plodiny nebo plodiny, se kterými je její tým expertů méně obeznámen, Jiva přináší další platformy, jako je Plantix, které mají rozsáhlé datové sady umožňující rozpoznávání snímků a diagnostické informace.

Poskytování přesných informací je životně důležité, protože data mohou zlepšit sklizeň a živobytí farmářů, řekl Dinkar v rozhovoru pro ZDNET. K dalšímu zajištění věrohodnosti dat používají generativní umělá inteligence a velké jazykové modely (LLM) pouze datové sady, které sama Jiva získala a ověřila.

Chatbot je dále požádán, aby prostřednictvím rychlého inženýrství ignoroval všechna předem připravená data o zemědělství, která by mohla být v LLM, řekl.

Pokud nejsou k dispozici žádná data, ze kterých by bylo možné čerpat, chatbot vrátí odpověď, že není schopen identifikovat chorobu plodiny. "Chcete zajistit dostatek dat. Nechceme poskytovat vágní odpověď," řekl.

Jiva také používá svou knihovnu obrázků k budování na platformách, jako je Plantix. Tyto modely poskytují dobrý základ, ale jelikož jsou vyvíjeny globálními společnostmi, nemusí být nutně adekvátně vyškoleny na datech specifických pro region nebo trh, řekl Dinkar.

Tento problém znamenal, že Jiva musela vytvořit tréninkové modely pro plodiny, které byly běžnější v Indonésii a Indii, jako je kukuřice, řekl. Ty fungovaly lépe než Plantix nebo jiné běžně dostupné produkty, dodal s tím, že v modelech AI je důležitá lokalizace.

Vylaďte základní modely, abyste dosáhli lepších výsledků

Použití základních datových modelů ihned po vybalení je jedním ze způsobů, jak rychle začít s generativní AI. Podle Oliviera Kleina, hlavního technologa Amazon Web Services (AWS) pro Asii a Tichomoří, však společným problémem tohoto přístupu je, že data nemusí být relevantní pro odvětví, ve kterém firma působí.

Aby organizace uspěly ve svém generativním nasazení AI, měly by doladit model AI pomocí vlastních dat, řekl Klein. Společnosti, které vynaloží úsilí na to, aby to udělaly správně, budou s jejich implementací postupovat rychleji.

Použití generativní umělé inteligence jako takové se ukáže jako přesvědčivější, pokud bude začleněno do datové strategie a platformy organizace, dodal.

V závislosti na případu použití je běžným problémem, kterému společnosti čelí, zda mají dostatek vlastních dat pro trénování modelu AI, řekl. Poznamenal však, že kvantita dat nemusí nutně odpovídat kvalitě dat.

Důležitá je také anotace dat, stejně jako aplikace kontextu na tréninkové modely AI, takže systém chrlí odpovědi, které jsou specifičtější pro odvětví, ve kterém se podnik nachází, řekl.

Pomocí anotace dat jsou jednotlivé součásti trénovacích dat označeny, aby stroje AI mohly pochopit, co data obsahují a jaké součásti jsou důležité.

Klein poukázal na běžnou mylnou představu, že všechny systémy umělé inteligence jsou stejné, což není tento případ. Zopakoval, že je potřeba, aby organizace zajistily, že upraví modely umělé inteligence na základě případu použití a také jejich vertikály.

LLM podnítily mezi podnikovými zákazníky mnoho konverzací o využití generativní umělé inteligence v call centrech, řekl. Existuje zájem o to, jak může tato technologie vylepšit zkušenosti volajících agentů, kteří mají přístup k lepším odpovědím za běhu a začlenit je do zlepšení služeb zákazníkům.

Operátoři call center mohou trénovat model AI pomocí své vlastní znalostní báze, která může zahrnovat chatbota a interakce se zákazníky, poznamenal.

Podle zprávy Business Harvard Review přidání obsahu specifického pro doménu do stávajícího LLM, který je již vyškolen v oblasti obecných znalostí a jazykové interakce, obvykle vyžaduje podstatně méně dat. Tento přístup jemného ladění zahrnuje úpravu některých parametrů základního modelu a používá pouze stovky nebo tisíce dokumentů, nikoli miliony nebo miliardy. Ve srovnání s budováním nového základního modelu z nulového bodu je také potřeba méně výpočetního času.

Existují však určitá omezení. Zpráva uvádí, že tento přístup může být stále nákladný a vyžaduje odborné znalosti v oblasti datové vědy. Navíc ne všichni poskytovatelé LLM, jako je ChatGPT-4 od OpenAi, umožňují uživatelům dolaďovat nad jejich.

Využívání vlastních dat také řeší společný problém, který mají zákazníci uprostřed zvýšeného zájmu o generativní umělou inteligenci, kde si podniky chtějí ponechat kontrolu nad daty používanými k trénování modelů umělé inteligence a data zůstat v jejich prostředí, řekl Klein.

Tento přístup zajišťuje, že neexistuje žádná „černá skříňka“ a organizace přesně ví, jaká data se používají k naplnění modelu AI, poznamenal. Zajišťuje také transparentnost a pomáhá zavést odpovědné přijetí AI.

Pokračuje také úsilí o identifikaci politik potřebných k zamezení efektu černé skříňky, řekl a dodal, že AWS spolupracuje s regulačními orgány a tvůrci politik, aby zajistila, že její vlastní produkty AI zůstanou v souladu. Společnost také pomáhá zákazníkům dělat totéž s vlastními implementacemi.

Amazon Bedrock například dokáže odhalit zkreslení a filtrovat obsah, který porušuje etické zásady AI, řekl. Bedrock je sada základních modelů, které zahrnují proprietární i průmyslové modely, jako je Amazon Titan, AI21 Labs' Jurassic-2, Anthropic's Claude a Stability AI.

Klein předpokládá, že se v budoucnu objeví více základních datových modelů, včetně vertikálních základních modelů, které organizacím poskytnou další možnosti školení.

Klíčové problémy, které je třeba vyřešit pomocí generativní umělé inteligence

Tam, kde chybí robustní modely umělé inteligence, mohou lidé vstoupit zpět.

U vzácných nebo vysoce specifických problémů s plodinami Dinkar poznamenal, že tým odborníků na agronomii společnosti Jiva může na jejich vyřešení spolupracovat s místními výzkumníky a terénními týmy.

Tým společnosti pro hodnocení úvěruschopnosti také překrývá data generovaná systémy AI dalšími informacemi, řekl. Tým může například provést návštěvu na místě a zjistit, že plodina je teprve nedávno připravena ke sklizni, což systém poháněný umělou inteligencí nemusel při vytváření úvěrového hodnocení vzít v úvahu.

"Cílem není úplně odstranit lidi, ale přesunout je do oblastí, kde mohou zesílit a [aplikovat] adaptivní myšlenky, což stroje ještě neumí," řekl Dinkar.

Když byl dotázán na problémy, s nimiž se Jiva setkala při přijímání generativní umělé inteligence, poukázal na nedostatek standardní metodologie rychlého přístupu pro různé verze softwaru a poskytovatele.

"Skutečný omni-lingvismus" také chybí v LLM, řekl, zatímco halucinace zůstávají klíčovým problémem.

"Různé velké jazykové modely mají všechny své vlastní zvláštnosti [a] stejné rychlé techniky v nich nefungují," vysvětlil. Například díky rafinovanému rychlému inženýrství dokázala Jiva instruovat svého agronomického robota, aby objasnil, zda není schopen z kontextu odvodit plodinu, na kterou farmář odkazuje.

Nicméně, zatímco tato konkrétní výzva fungovala dobře na GPT-3.5, nevedla tak dobře na GPT-4, řekl. Také to nefunguje na jiném LLM.

"Nemožnost opětovného použití výzev napříč verzemi a platformami vyžaduje vytvoření sady výzev na míru pro každou z nich," řekl Dinkar. "Jak se nástroje zdokonalují a objevují se osvědčené postupy pro vybízení různých velkých jazykových modelů, doufáme, že se výzvy napříč platformami stanou realitou."

Vylepšení je také potřeba v podpoře mezi jazyky, řekl a poukázal na podivné odpovědi, které jeho chatbot někdy generuje a které jsou mimo kontext.