K procházení webu jsem použil Copilot AI Vision, který má velký potenciál

Pomocí vlnového multiplexu byli vědci schopni provádět rozpoznávání obrazu pomocí optických výpočtů, čímž dramaticky snížili potřebnou energii.

Vědci z MIT použili speciální fotodetektory k provedení rovnice umělé inteligence pouhým vyzařováním světla do klientského zařízení s nízkou spotřebou. Tento přístup by mohl být obzvláště užitečný v hlubokém vesmíru. 

Jednou z nejnaléhavějších obav pro průmyslové využití umělé inteligence je, jak spouštět programy na malých výpočetních zařízeních, která mají velmi malý výpočetní výkon, velmi malou paměť a v případě baterií možná i limit z hlediska dostupné energie.

Takzvaný okrajový trh s umělou inteligencí je v poslední době obrovskou oblastí, kde startupy získávají desítky milionů rizikového kapitálu, aby přišly s čipy a softwarem. Snaha o okraj vedla ke vzniku speciálních vývojových nástrojů pro formy umělé inteligence založené na strojovém učení, jako je iniciativa TinyML od společnosti Google. 

Tyto dvě cesty představují dvě filozofie: Buď zvýšit výkon okrajových zařízení, nebo zeštíhlit programy umělé inteligence, aby používaly méně výpočtů. 

Existuje třetí možný přístup, a to pokusit se pečlivěji vyvážit, jaká práce se provádí na omezených zařízeních a jakými prostředky. To je plán, který v říjnu předložili výzkumníci z MIT ve vědeckém časopise Science. 

Výzkumník Alexander Sludds a jeho kolegové z MIT Research Laboratory of Electronics, Computer Science and Artificial Intelligence Laboratory a Lincoln Laboratory ve spolupráci se společnostmi Nokia a NTT Research vyvinuli systém, který využívá fotoniku k přenosu dat do klientského zařízení, kde je lze vypočítat v optické oblasti mnohem energeticky účinnějším způsobem.

Jejich síťové nastavení, které nazývají Netcast, může provádět základní operaci manipulace s váhami nebo parametry hluboké neuronové sítě pomocí asi 10 femtojoulů energie nebo 10 fJ, což, jak uvádějí, "je o tři řády nižší, než je možné v existujících digitálních CMOS" - což znamená standardní polovodičové čipy.

FemtoJoule, zapsaný jako desetinná čárka následovaná 14 nulami a 1, je jedna kvadriliontina, s velmi malým zlomkem joulu, přičemž joule je množství elektřiny potřebné k provozu zařízení o výkonu 1 wattu po dobu jedné sekundy. 

Tento malý, nepatrný zlomek wattu představuje velkou úsporu energie a je důležitý, protože mnoho okrajových zařízení, poznamenávají autoři, bude mít celkový energetický rozpočet v miliwattech nebo tisícinách wattu, oproti typickým výpočetním zařízením využívajícím desítky nebo stovky wattů. Operace femtoJoule Netcastu efektivně dostává program pod to, co bylo až dosud "tvrdohlavým úzkým hrdlem blízko 1 pJ", neboli 1 pikoJoule nebo jedna biliontina joulu.

Klíčem k Netcastu bylo, jak snížit práci, kterou musí klient vykonávat pro základní provoz neuronové sítě, aby se dostal do rozpočtu 10 femtoJoule. 

Neuronová síť vytváří předpovědi tak, že předává některá vstupní data svým parametrům nebo vahám a vynásobí vstup váhou. Tato matematická operace, součin vstupního vektoru a matice parametrů, se nazývá operace násobné akumulace nebo MAC a programy neuronových sítí jich provádějí tuny každou sekundu, protože na vstup je aplikováno více vah každé síťové vrstvy.

Největším žroutem energie pro většinu neuronových sítí obecně je získávání dat z paměťových čipů RAM a přístup k síti. To je problém, protože neurální váhy jsou obvykle uloženy v RAM, takže každá vrstva operací MAC může vyžadovat několik výletů přes sběrnici PCIe do RAM a možná i na síťovou kartu pro vzdálená paměťová úložiště. 

Klíčem k Netcastu tedy bylo, jak minimalizovat přístup do paměti a síťový provoz pro klientské zařízení. 

Řešením je existující fotonická technologie zvaná vlnový multiplex. Pomocí WDM, jak se mu běžně říká, lze přes optickou linku poslat více dat současně tím, že se každé části dat přiřadí vlastní vlnová délka světla, takže více dat sdílí celkové dostupné spektrum záření ve vlákně. WDM je velmi vyspělá a pevná technologie, která se používá ve všech moderních telekomunikačních sítích ke zvýšení kapacity přenosu dat z optických vláken; tvoří páteř internetu. 

Každý řádek matice může být zakódován na vlnové délce světla a poté "vysílán" do klientského zařízení, takže signál WDM s více vlnovými délkami může odeslat celou váhovou matici nebo dokonce více matic. Na klientském zařízení optický přijímač obnoví data zakódovaná v každé vlnové délce a zkombinuje je se vstupními daty, aby provedl násobení matice v optické doméně spíše než elektricky. Produkt pak může být po převedení z optického signálu elektricky uložen na místní paměti RAM.

Sludds a tým píší, že to vede k dramatickému zjednodušení komponent, které musí být v klientském zařízení na okraji. 

"Tato architektura minimalizuje aktivní komponenty u klienta a vyžaduje pouze jeden optický modulátor transceiveru, digitálně-analogový převodník (DAC) a analogově-digitální převodník (ADC)."

Autoři zkonstruovali skutečnou verzi Netcastu, která běží přes 84 kilometrů optických vláken pomocí WDM s kapacitou 2,4 terabitů za sekundu a běží z hlavního kampusu MIT do Lincolnovy laboratoře a zpět. Jejich testem systému je provádění předpovědí na klasické úloze strojového učení, databázi ručně psaných znaků MNIST. Obrázky ručně psaných znaků jsou vstupovány do neuronové sítě a síť musí provést úlohu rozpoznávání obrázků, která identifikuje, kterou postavu každý obrázek představuje.

"Na základě 1 000 testovacích snímků na místní úrovni demonstrujeme 98,7% přesnost výpočtu, což je srovnatelné se základní přesností modelu 98,7 %," uvádějí.

Autoři jdou ještě dál. V očekávání nasazení v satelitech a dalších exotických lokalitách pracovali na vývoji fotodetektorů, nazývaných integrační přijímače, které mohou pracovat s velmi malým počtem fotonů. 

"Aplikace Netcastu, včetně nasazení ve volném prostoru do dronů nebo kosmických lodí, mohou fungovat v prostředí hluboce vyhladovělém po fotonech," píší. Verze jejich integračních přijímačů je schopna detekovat výsledky operace MAC pracující pouze na zlomcích femtojoule, známé jako attoJoule, která vyžaduje pouze 100 fotonů pro operaci MAC. 

Autoři jdou ale ještě dál. Byli schopni jít až k teoretickému limitu Netcastu, kde každý Mac vyžaduje k detekci méně než jeden foton. Pomocí toho, co se nazývá supravodivé nanodrátové jednofotonové detektory (SNSPD), zkonstruují přijímač, který může měřit výsledky každého MAC s méně než fotonem informace. 

"Tento výsledek se může na první pohled zdát překvapivý vzhledem k tomu, že méně než jeden foton na MAC je neintuitivní," napsal Sludds a jeho tým. "Tomuto měření můžeme lépe porozumět, když si všimneme, že při odečtu jsme provedli vektorově-vektorový součin s M=100 MAC. Každá MAC může mít v sobě méně než jeden foton, ale měřený signál bude mít v sobě mnoho fotonů."

Důsledky pro výpočetní techniku by mohly být hluboké. 

"Realizace výpočtů s méně než jedním fotonem na MAC," napsali, "by mohla umožnit novou třídu výpočetních systémů, které chrání jak vstup klienta, tak data o váze serveru" z hlediska ochrany dat. Mohlo by to také učinit výpočetní techniku na kosmické lodi spolehlivější. "Údaje o hmotnosti ze směrové základnové stanice by mohly být přeneseny do kosmické lodi a klasifikovány na lodi, než budou výsledky odeslány na Zemi."

Všechny části Netcastu mohou být dnes vyrobeny v jakékoli standardní továrně na polovodičové čipy, poznamenal Sludds a tým.

V závěru napsali: "Náš přístup odstraňuje základní úzké hrdlo v edge computingu a umožňuje vysokorychlostní výpočty na nasazených senzorech a dronech."