Google se připojuje ke společnému úsilí při vytváření lokalizovaných velkých jazykových modelů
Google Research bude spolupracovat s AI Singapore na trénování a dolaďování generativních modelů AI pro jazyky jihovýchodní Asie.
Google se připojuje ke společnému úsilí o vytvoření velkých jazykových modelů (LLM), které lépe uspokojí populaci a kulturní mix jihovýchodní Asie.
Jeho výzkumná část bude spolupracovat s AI Singapore na vylepšení datových sad používaných k trénování, dolaďování a hodnocení modelů AI v jazycích specifických pro daný region. Iniciativa s názvem Project Southeast Asian Languages in One Network Data (SEALD) si klade za cíl „zlepšit povědomí o kulturním kontextu“ v LLM vytvořených pro tento region, uvedla AI Singapore v pondělním prohlášení.
Vládní agentura dodala, že spolupráce se zaměří nejprve na indonéštinu, thajštinu, tamilštinu, filipínštinu a barmštinu, přičemž oba partneři budou společně vyvíjet translokalizační a překladatelské modely. Vyvinou také nástroje, které pomohou rozšířit možnosti translokalizace a osvědčené postupy pro ladění datových sad. Pro jazyky jihovýchodní Asie budou vydány předškolní průvodce.
Všechny datové sady a výstupy z projektu SEALD budou vydány jako open source, dodal AI Singapore.
Iniciativa dále podpoří tréninkové úsilí pro modelky v rámci SEA-LION (Jihovýchodní Asie Languages in One Network), které singapurská vládní agentura zahájila minulý rok.
Současná iterace SEA-LION se skládá z LLM s otevřeným zdrojovým kódem předem vyškolených pro společenské nuance regionu a běží na dvou základních modelech: třímiliardový parametrický model a sedmimiliardový parametrický model. Jeho tréninková data zahrnují 981 miliard jazykových tokenů. AI Singapore definuje tyto tokeny jako fragmenty slov vytvořené rozdělením textu během tokenizace. Tyto fragmenty zahrnují 623 miliard anglických tokenů, 128 miliard tokenů jihovýchodní Asie a 91 miliard čínských tokenů.
Projekt SEALD v současné době pracuje na případu použití ke zlepšení komunikace s migrujícími pracovníky v Singapuru, kteří mohou v různých regionálních jazycích konverzovat plynuleji než v angličtině. Úsilí o sběr dat bude odrážet jedinečné jazykové rysy v rámci této komunity a poskytne základ pro zlepšení spolupráce mezi singapurskou vládou a zaměstnavateli.
Datové sady a výstupy z projektu SEALD budou integrovány s generativními aplikacemi umělé inteligence vyvinutými společností Google Cloud a singapurskou vládou v rámci schématu AI Trailblazers singapurské vlády, aby podpořily dosah komunity.
Partneři projektu SEALD budou také spolupracovat s průmyslem, včetně akademické obce a veřejného sektoru, napříč funkcemi, jako je sběr dat a kontroly kvality. Toto úsilí bude zahrnovat spolupráci s akademickou obcí v různých zemích jihovýchodní Asie za účelem vytvoření metodik pro hodnocení a srovnávání generativních aplikací umělé inteligence v celém regionu.
AI Singapore také plánuje zpřístupnit SEA-LION LLM v Google Cloud's Model Garden na Vertex AI, což poskytne přístup k předem ověřeným modelům AI. Regionální LLM budou přidány do Hugging Face, otevřeného úložiště nástrojů AI a předem vyškolených modelů zaměřených převážně na schopnosti zpracování přirozeného jazyka.
AI Singapore v pondělí také oznámila, že podepsala memorandum o porozumění a dopisy o záměru s různými organizacemi v Indonésii, Malajsii a Vietnamu za účelem vývoje datových sad a aplikací pro regionální LLM.
Singapurská agentura navíc uvedla, že spolupracuje s partnery v Indonésii, Thajsku a na Filipínách na budování zdrojů o syntaxi a sémantice regionálních jazyků. Patří mezi ně thajský Vidyasirimedhi Institute of Science and Technology a filipínská Ateneo Social Computing Science Laboratory.
V roce 2022 odhalil Google Research partnerství s Indian Institute of Science při práci na projektu Vaani, jehož cílem je shromáždit anonymizovaná data řeči v 773 okresech a vybudovat LLM reprezentující různorodou populaci země.
Minulý týden ředitel inovací AI v Singapuru Laurence Liew vyzval hráče na generativní umělou inteligenci, aby začlenili regionální a místní datové modely, aby jejich produkty lépe odrážely různorodou globální populaci. Integrace SEA-LION například pomůže generativním nástrojům umělé inteligence generovat přesnější odpovědi, řekl Liew s tím, že regionální LLM vytvořila přesnější předpověď ve srovnání s globální veřejnou platformou, když byla dotázána na nedávné asijské volby.
Dodal, že většina dnešních veřejných generativních nástrojů umělé inteligence není zaměřena na Asii a může mít vlastní zkreslení dat. LLM jako SEA-LION jsou „kulturně citlivější“, což podle něj zajistí generativní odpovědi generované umělou inteligencí lépe odrážející společenský mix regionu.