Nákup AI startup MosaicML v hodnotě 1,3 miliardy USD od Databricks je bitvou o budoucnost databáze
MosaicML pracuje na znovuobjevení toho, co je databáze prostřednictvím umělé inteligence.
Naveen Rao, [vlevo] spoluzakladatel a generální ředitel MosaicML, a Hanlin Tang, spoluzakladatel a technický ředitel. Školicí technologie společnosti se aplikují na „odborníky na budování“ využívající velké jazykové modely efektivněji pro zpracování podnikových dat.
V pondělí společnost Databricks, desetiletý výrobce softwaru se sídlem v San Franciscu, oznámila, že za 1,3 miliardy dolarů koupí MosaicML, tři roky starý startup se sídlem v San Franciscu, který se zaměřuje na AI mimo laboratoř.
Dohoda je známkou nejen nadšení pro aktiva na rozžhaveném trhu generativní umělé inteligence, ale také známkou měnící se povahy trhu moderních cloudových databází.
MosaicML, osazená polovodičovými veterány, vytvořila program nazvaný Composer, který usnadňuje a za dostupnou cenu přijímá jakoukoli standardní verzi programů umělé inteligence, jako je OpenAI GPT, a výrazně urychluje vývoj tohoto programu, počáteční fázi známou jako školení nervová síť.
Společnost letos představila cloudové komerční služby, kde podniky mohou za poplatek trénovat neuronovou síť a provádět odvození, vykreslování předpovědí v reakci na dotazy uživatelů.
Hlubší prvek přístupu MosaicML však znamená, že celé oblasti práce s daty - jako je tradiční relační databáze - by mohly být zcela přepracovány.
"Modely neuronových sítí lze ve skutečnosti považovat téměř za databázi svého druhu, zvláště když mluvíme o generativních modelech," řekl Naveen Rao, spoluzakladatel a generální ředitel MosaicML, ZDNET v rozhovoru před obchodem.
„Na velmi vysoké úrovni je databáze sada koncových bodů, které jsou obvykle velmi strukturované, takže obvykle řádky a sloupce nějakého druhu dat, a na základě těchto dat je zde schéma, podle kterého uspořádáte to,“ vysvětlil Rao.
Na rozdíl od tradiční relační databáze, jako je Oracle, nebo databáze dokumentů, jako je MongdoDB, řekl Rao, kde je schéma předem určeno s velkým jazykovým modelem, „schéma je objevena z [dat], vytváří latentní reprezentaci na základě dat je flexibilní." A dotaz je také flexibilní, na rozdíl od pevných vyhledávání v databázi, jako je SQL, která dominuje tradičním databázím.
"Takže v podstatě," dodal Rao, "vzal jsi databázi, uvolnil jsi omezení jejích vstupů, schématu a výstupů, ale je to databáze." V podobě velkého jazykového modelu si taková databáze navíc dokáže poradit s velkými bloby dat, které se vyhnuly tradičním strukturovaným datovým skladům.
"Dokážu zhltnout celou hromadu knih od autora a mohu se ptát na myšlenky a vztahy v těchto knihách, což je něco, co nemůžete udělat pouze s textem," řekl Rao.
Pomocí chytrého dotazování v LLM poskytuje kontext výzvy flexibilní způsoby dotazování databáze. "Když to vyzvete správným způsobem, přimějete to, aby něco vytvořilo kvůli kontextu vytvořenému výzvou," vysvětlil Rao. "A tak se z toho můžete dotázat na aspekty původních dat, což je docela velký koncept, který lze aplikovat na mnoho věcí, a myslím, že to je vlastně důvod, proč jsou tyto technologie velmi důležité."
Práce MosaicML je součástí širokého hnutí za to, aby takzvané generativní programy umělé inteligence, jako je ChatGPT, byly relevantnější pro praktické obchodní účely.
Například Snorkel, tři roky starý startup s umělou inteligencí se sídlem v San Franciscu, nabízí nástroje, které firmám umožňují psát funkce, které automaticky vytvářejí označená tréninková data pro takzvané základní modely - největší existující neuronové sítě, jako je GPT od OpenAI. -4.
A další startup, OctoML, minulý týden představil službu, která má usnadnit práci při poskytování závěrů.
Akvizice společností Databricks přináší MosaicML na pulzující trh nerelačních databází, který již několik let posouvá paradigma datového úložiště mimo řádky a sloupce.
To zahrnuje datové jezero Hadoop, techniky, jak s ním pracovat, a mapování a redukované paradigma Apache Spark, jehož je Databricks hlavním zastáncem. Trh také zahrnuje streamingové datové technologie, kde úložiště dat může být v určitém smyslu v samotném toku dat, známém jako „data v pohybu“, jako je software Apache Kafka propagovaný společností Confluent.
Společnost MosaicML, která před obchodem získala 64 milionů dolarů, oslovila podniky s jazykovými modely, které by nebyly ani tak obecnými formami ChatGPT, ale více zaměřeny na případy obchodního použití specifické pro doménu, které Rao nazýval „odborníky na budování“.
Převládajícím trendem v oblasti umělé inteligence, včetně generativní umělé inteligence, je vytvářet programy, které jsou stále obecnější, schopné zpracovávat úkoly v nejrůznějších oblastech, od hraní videoher přes chatování až po psaní básní, popisování obrázků, psaní kódu. a dokonce i ovládání robotického ramene skládajícího bloky.
Vášeň nad ChatGPT demonstruje, jak přesvědčivý může být tak široký program, když jej lze využít ke zpracování libovolného počtu požadavků.
A přesto je pravděpodobné, že používání umělé inteligence ve volné přírodě jednotlivci a institucemi bude převládat mnohem cílenějšími přístupy, protože mohou být mnohem efektivnější.
"Mohu vytvořit menší model pro konkrétní doménu, který výrazně překoná větší model," řekl Rao ZDNET.
MosaicML se proslavil výkonnostními úspěchy tím, že prokázal svou zdatnost v benchmarkových testech MLPerf, které ukazují, jak rychle lze trénovat neuronovou síť. Mezi tajemství zrychlení umělé inteligence patří pozorování, že menší neuronové sítě postavené s větším zaměřením mohou být efektivnější.
Tato myšlenka byla rozsáhle prozkoumána v článku z roku 2019 vědců z MIT Jonathana Frankleho a Michaela Carbina, který toho roku získal cenu za nejlepší papír na Mezinárodní konferenci o reprezentacích učení. Článek představil „hypotézu loterijního lístku“, představu, že každá velká neuronová síť obsahuje „podsítě“, které mohou být stejně přesné jako celková síť, ale s menším výpočetním úsilím.
Frankle a Carbin byli poradci MosaicML.
MosaicML také výslovně čerpá z technik zkoumaných jednotkou DeepMind společnosti Google, které ukazují, že existuje optimální rovnováha mezi množstvím trénovacích dat a velikostí neuronové sítě. Zvýšením množství trénovacích dat až o dvojnásobek je možné vytvořit menší síť mnohem přesnější než větší sítě stejného typu.
Všechny tyto účinnosti jsou zapouzdřeny Raem v tom, co nazývá jakýmsi Moorovým zákonem o zrychlení sítí. Moorův zákon je polovodičové pravidlo, které zhruba předpokládalo, že počet tranzistorů v čipu se zdvojnásobí každých 18 měsíců za stejnou cenu. Toto je ekonomický zázrak, který umožnil revoluci počítačů, po níž následovala revoluce chytrých telefonů.
Ve verzi Rao se mohou neuronové sítě s každou generací čtyřikrát zrychlit, a to pouhým použitím triků chytrého počítání s nástrojem MosaicML Composer.
Z takového přístupu pochází několik překvapivých poznatků. Jedním z nich, v rozporu s často opakovanou frází, že formy umělé inteligence strojového učení vyžadují obrovské množství dat, může být, že menší soubory dat mohou dobře fungovat, pokud jsou aplikovány v optimální rovnováze dat a modelu à la práce DeepMind. Jinými slovy, opravdu velká data nemusí být lepší data.
Na rozdíl od gigantických generickýchneuronových sítí, jako je GPT-3, která je na internetu naučená na všechno, menší sítě mohou být úložištěm jedinečných znalostí společnosti o její doméně.
"Naše infrastruktura se téměř stává back-endem pro budování těchto typů sítí na datech lidí," vysvětlil Rao. "A existuje celý důvod, proč lidé potřebují stavět své vlastní modely."
"Pokud jste Bank of America nebo pokud jste zpravodajská komunita, nemůžete používat GPT-3, protože je vyškolen na Redditu, je to vyškolená spousta věcí, které mohou mít dokonce osobně identifikovatelné informace, a může mít věci, jejichž použití nebylo výslovně povoleno,“ řekl Rao.
Z toho důvodu byl MosaicML součástí snahy zpřístupnit open-source modely velkých jazykových modelů, aby zákazníci věděli, jaký druh programu pracuje s jejich daty. Je to názor sdílený dalšími vůdci v oblasti generativní umělé inteligence, jako je zakladatel a generální ředitel Stability.ai Emad Mostaque, který v květnu řekl ZDNET: „Neexistuje žádný způsob, jak můžete použít modely černé skříňky“ pro nejcennější data na světě, včetně firemních data.
MosaicML minulý čtvrtek zveřejnilo jako open source svou nejnovější verzi jazykového modelu - jeden obsahující 30 miliard parametrů neboli neuronových vah - nazvaný MPT-30B. Společnost tvrdí, že MPT-30B překonává kvalitu OpenAI GPT-3. Od chvíle, kdy společnost začátkem května představila jazykové modely s otevřeným zdrojovým kódem, zaznamenala více než dva miliony stažení jazykových modelů.
I když se automatické objevování schématu může ukázat jako plodné pro inovaci databází, je důležité mít na paměti, že velké jazykové modely stále mají problémy, jako jsou halucinace, kdy program bude generovat nesprávné odpovědi, zatímco trvá na tom, že jsou skutečné.
"Lidé ve skutečnosti nechápou, když se zeptáte na něco z ChatGPT, mnohokrát to není správné a někdy to zní tak správně, jako opravdu dobrý bullsh*t umělec," řekl Rao.
"Databáze očekávají absolutní správnost, předvídatelnost," založené na "mnoha věcech, které byly navrženy za posledních 30, 40 let v databázovém prostoru a které musí být pravdivé, nebo alespoň většinou pravdivé, pro nějaký druh." nového způsobu, jak to udělat,“ poznamenal Rao.
"Lidé se na to [velké jazykové modely] dívají, jako by to mohlo vyřešit všechny problémy, které měli," řekl Rao z podnikového zájmu. "Pojďme zjistit matice a šrouby, jak se tam skutečně dostat."