Cerebras a Abu Dhabi M42 vytvořili LLM věnovaný zodpovězení lékařských otázek

Neuronová síť Med42 s otevřeným zdrojovým kódem byla vyladěna pomocí souboru dat 700 000 párů otázek a odpovědí.

Aplikace umělé inteligence ve zdravotnictví jsou četné. Z velké části jim ale dominuje starší technologie umělé inteligence; novější věci, jako je takzvaná generativní umělá inteligence a velké jazykové modely (LLM), jsou šílenstvím současnosti, ale vzhledem k citlivé povaze zdravotnických aplikací jsou považovány za příliš riskantní na to, aby mohly být používány ve velké míře ve zdravotnictví, jako je tomu u ZDNET. nedávno hlášeno.

Úsilí v oblasti softwaru s otevřeným zdrojovým kódem by mohlo pomoci posunout generativní umělou inteligenci tím, že bude o něco snazší nahlédnout do „černé skříňky“ umělé inteligence ve srovnání s uzavřenými programy, jako je ChatGPT od OpenAI.

V tomto duchu výrobce počítačů s umělou inteligencí Cerebras Systems minulý týden oznámil společné úsilí s partnerem M42, provozovatelem zdravotnických zařízení ve 27 zemích, nabídnout open-source LLM navržený pro zdravotnické aplikace, aby sloužil jako „asistent“ poskytovatelům zdravotní péče. .

Program nazvaný Med42 je vylepšením Llama 2, open-source LLM vydaného společností Meta Properties v letošním roce, pomocí speciálního souboru dat souvisejících se zdravím sestaveného společnostmi.

„Využíváme umělou inteligenci při poskytování zdravotní péče,“ řekl spoluzakladatel a generální ředitel Cerebras Andrew Feldman v rozhovoru pro ZDNET.

Aplikace programu jako asistent lékařů zahrnují podle společností zodpovídání lékařských otázek, shrnutí záznamů o pacientech, pomoc při lékařské diagnóze a obecné otázky a odpovědi o zdraví. Nezahrnuje školení lékařů, zdůraznili.

Program Med42 využívá verzi Llama 2 se 70 miliardami parametrů. Práce na jemném doladění provedly Cerebras a M42 ve spolupráci s Core42, firmou spravovaných služeb a IT, která provádí základní výzkum AI. Oba M42 a Core42 jsou ve vlastnictví zákazníka Cerebras G42, globálního konglomerátu.

Neuronová síť Med42 byla vyladěna pomocí datového souboru 700 000 párů otázek a odpovědí z veřejně dostupných zdrojů, „spravovaných M42 a zkontrolovaných naším týmem lékařských expertů,“ uvedl M42 v e-mailu pro ZDNET. "Datový soubor obsahoval mimo jiné otázky s více možnostmi výběru, lékařské kartičky," uvedl.

"Med42 nebyl vyškolen s použitím údajů o pacientech nebo osobně identifikovatelných informací," řekl M42.

Kód M42 je nyní k dispozici na HuggingFace spolu s údaji o výkonu.Společnosti plánují vydat vylepšení, protože „spolupráci a testování modelu“ se zdravotníky pomohou zlepšit jeho schopnosti a výkon. " Na otázku, zda bude zveřejněna samotná datová sada, společnosti ZDNET v e-mailu odpověděly: "To se ještě určí."

Jemné ladění bylo provedeno na Condor Galaxy, masivním počítači s umělou inteligencí, který Cerebras letos postavil pro G42, který Cerebras nazývá „největším superpočítačem na světě pro umělou inteligenci“. Podle Cerebras "Rychlé nastavení a zkrácení doby tréninku bylo umožněno 82 terabajty paměti a 54 miliony AI jader v 64 systémech Cerebras CS-2 uvnitř CG-1."

"To, co máte, jsou všechny tyto zajímavé aplikace, které běží na vrcholu galaxie Condor, a to se nepodobá hardwaru žádného jiného startupu," řekl Feldman. "Opravdu posouváme průmysl dopředu."

Feldman v následném e-mailu poznamenal, že „Všechny parametry [Llama 2] byly vyladěny, a to bylo umožněno díky obrovské paměti dostupné na Condor Galaxy 1 […] Nastavení a školení pro 3 epochy bylo dokončeno v 5. dní, což by na velkém clusteru GPU trvalo měsíce."

V údajích o výkonu na HuggingFace společnosti poznamenávají, že „Med42 dosahuje konkurenčního výkonu v různých lékařských měřítcích, včetně klinických témat MedQA, MedMCQA, PubMedQA, HeadQA a Measuring Massive Multitask Language Understanding (MMLU).

Na americké lékařské licenční zkoušce nebo, USMLE, vzorové zkoušce, program „dosahuje 72% přesnosti“, podle M42, „převyšuje dosavadní stav techniky mezi volně dostupnými lékařskými LLM“. S velkým náskokem také překonal uzavřený zdrojový kód OpenAI GPT 3.5, který získal 59,6% přesnost, ačkoli Med42 zaostával za přesností GPT4 84,3%.

„Vezmete si velmi velký předtrénovaný model, jako je Llama 2 70 miliard, a pokud do něj přinesete opravdu zajímavé datové soubory, průkopnické datové soubory, můžete je nechat dělat opravdu zajímavé věci, a to za zlomek času a příkon něčeho jako GPT 3.5,“ řekl Feldman.

Cerebras byl v poslední době obzvláště aktivní v open-source projektech. V březnu společnost zveřejnila jako open-source několik verzí generativních programů umělé inteligence, které lze používat bez omezení.

V srpnu společnost představila nejvýkonnější LLM v arabštině na světě, Jais-Chat, jako program s otevřeným zdrojovým kódem.

V tuto chvíli se Med42 nevyrábí. "Po úspěšném testování bude Med42 zpřístupněn pro klinické nasazení," uvedly společnosti v e-mailu pro ZDNET.

"Důležité je, že Med42 bude mít schopnost být nasazen on-premise, plně přizpůsobený potřebám poskytovatelů zdravotní péče, využívat vlastní zdroje dat a omezovat možnost externích průniků," dodali. "Upřednostňujeme bezpečnou aplikaci technologie před rychlostí výroby a zavázali jsme se k rozsáhlému hodnocení bezpečnosti modelu před jeho uvedením."