Jistě, data v reálném čase jsou nyní „demokratizována“, ale je to jen začátek

Infrastruktury mnoha společností nejsou připraveny na analýzu dat v reálném čase. A ani společnosti samotné.

Zdá se, že data v reálném čase jsou všude - v rozšířené realitě, digitálních dvojčatech, 5G, IoT, AI, strojovém učení, nositelných zařízeních a technologii beacon. Lze odpustit myšlenku, že dnešní podniky přenášejí data v reálném čase napříč všemi důležitými oblastmi úkolů. Dostáváme se tam - z velké části díky mnoha open source řešením, jako jsou Apache Flink, Kafka, Spark a Storm, a také cloudovým platformám. Stále je však potřeba udělat spoustu práce, než dosáhneme bodu, kdy se data pohybují mezi organizacemi a mezi organizacemi rychlostí světla nebo něčím podobným.

Za prvé, sada úrovní, s laskavým svolením Johna Rydninga z IDC: "Často se termíny streamovaná data a data v reálném čase používají ve vzájemném spojení a někdy zaměnitelně. I když ne všechna vytvořená streamovaná data jsou v reálném čase a ne všechna v reálném čase Časová data jsou streamována, organizace uvádějí, že více než dvě třetiny případů použití streamování vyžadují data v ultra reálném čase nebo v reálném čase."

Používají se dokonce data v ultra reálném čase - a společnosti se snaží, aby to fungovalo. „Pochopení hodnoty zachycování a zpracování dat v reálném čase roste v poslední době nejrychlejším tempem,“ říká Avtar Raikmo, ředitel inženýrství ve společnosti Hazelcast. "Vzhledem k tomu, že platformy odstraňují složitost od jednotlivých uživatelů nebo inženýrů, urychlilo přijetí v celém odvětví. Inovace, jako je podpora SQL, pomáhají demokratizovat a poskytují snadný přístup drtivé většině, nikoli několika vybraným."

Existuje široká škála případů použití, včetně „počítačů na okraji pro streamování zvuku a videa, počítačové vidění pro AI a zpracování strojového učení nebo dokonce sluchátka s aktivním potlačením hluku,“ říká Raikmo. Dalším nově vznikajícím případem použití jsou digitální dvojčata, zejména pro mobilitu. "Schopnost zachytit data a telemetrii v reálném čase z automobilů, nákladních automobilů nebo raket umožňuje organizacím modelovat scénáře, jak se vyvíjejí. Digitální dvojčata lze použít k optimalizaci tras v reálném světě, spotřebované energie nebo zlepšení asistovaného řízení. Ve světě sport, stratégové Formule 1 určují optimální směsi pro zastávku v boxech a pneumatiky, aby maximalizovali závodní výkon."

Stále však existuje mnoho technických a organizačních problémů, které stojí v cestě plné realitě dat v reálném čase - nebo v ultra reálném čase. „Nasazení dat v reálném čase obvykle využívá technologie s vyšším výkonem, které se starají o velké objemy a rychlou analýzu, která je nutná k okamžitému rozhodování,“ říká Emma McGrattan, senior viceprezidentka pro inženýrství a produkt společnosti Actian. "U velmi velkých objemů, které některé vertikály, jako jsou finanční služby, mají tendenci generovat, bude přechod na reálný čas vyžadovat investice do dalších zdrojů pro hardware, software a síťové komponenty."

Jsou zapotřebí investice do „zvýšení dostupnosti a spolehlivosti datové infrastruktury a služeb,“ říká McGrattan. "Pro menší objemy bude pravděpodobně možné použít stávající infrastrukturu s úpravami aplikací pro provádění analýzy a nasazení v reálném čase."

Proces zachycování, vizualizace a ukládání dat v reálném čase vyžaduje „značné investice do komponent infrastruktury, které jsou schopné zpracovat těžké a složité datové toky,“ říká Rakesh Jayaprakash, vedoucí produktového managementu ve společnosti ManageEngine a Zoho. "To platí zejména tehdy, když datové toky v reálném čase vyžadují určitou úroveň předběžného zpracování. Bohužel mnoho organizací, zejména malé a střední podniky, postrádá nezbytnou infrastrukturu pro zvládnutí tak intenzivního zpracování."

Infrastruktura mnoha společností není připravena a ani organizace samotné. „Někteří ještě nepochopili nebo neviděli hodnotu reálného času, zatímco jiní jsou all-in, s řešeními, která byla navržena pro streamování v celé organizaci,“ říká Raikmo. "Kombinace datových sad v pohybu s pokročilými technikami, jako je vodoznak a okno, není triviální záležitost. Vyžaduje to korelaci více toků, kombinování dat v paměti a vytváření sloučených stavových sad výsledků v podnikovém měřítku a odolnosti."

Dobrou zprávou je, že ne každý kousek dat musí být streamován nebo doručován v reálném čase. "Organizace se často chytí do pasti investic do zdrojů, aby každý datový bod, který vizualizují, byl v reálném čase, i když to není nutné," zdůrazňuje Jayaprakash. "Tento přístup však může vést k přemrštěným nákladům a stát se neudržitelným."

„I když je vizualizace dat v reálném čase atraktivnější než analýza dat, která jsou několik minut stará, musíte pečlivě posoudit poměr nákladů a výnosů a návratnost investic spojených s vytvářením datových toků a vizualizací v reálném čase,“ říká Jayaprakash. "Navíc by organizace měly věnovat náležitou péči výběru metrik, které chtějí streamovat v reálném čase."

Amy Machado z IDC se zakládá na pečlivém zvážení toho, co je třeba dodat v reálném čase: „Vždy říkám: ‚Nechte se vést případem použití‘,“ píše v příspěvku na blogu. "Mělo by to nasměrovat, jak přemýšlíte o architektuře v reálném čase, což je v ideálním případě rozšíření vašeho stávajícího rámce, abyste se vyhnuli vytváření datových sil."

Machado nastiňuje klíčové otázky týkající se doručování dat v reálném čase:

• "Jaké jsou obchodní výhody, kterých chceme dosáhnout?"
• "Jaké poznatky potřebujeme k dosažení těchto cílů?"
• "Kdo potřebuje tyto poznatky a kde je potřebuje?"
• "S jakými dalšími systémy bychom se mohli integrovat, abychom získali kontext nebo zprovoznili poznatky?"

Chcete-li optimalizovat investice do dat v reálném čase, "pečlivě vybírejte metriky, které skutečně vyžadují reporting v reálném čase," doporučuje Jayaprakash. "Složitá povaha infrastruktury potřebné k provozu a údržbě datových toků v reálném čase představuje potenciální body selhání, což vyžaduje specializovaný personál pro odstraňování problémů a údržbu. Chcete-li zmírnit problémy s kontinuitou dat vyplývající ze selhání toku, musíte implementovat mechanismy bezpečné proti selhání. což zvyšuje celkové náklady.“