S2E condivide la sua visione riguardo i data warehouse logici e i loro vantaggi rispetto ai data warehouse tradizionali dove ha analizzato le best practice e l’architettura alla base di QuantiaS Data Director.
I data warehouse svolgono un ruolo cruciale nelle odierne operazioni ad alta intensità di dati. Tuttavia le infrastrutture fisiche necessarie per i Big Data vengono sempre più abbandonate a favore di soluzioni più agili. I data warehouse logici aggiungono un livello di architettura virtuale distinto dai servizi e dalle fonti di dati tradizionali. Astraggono lo storage fisico, ampliano l’aggregazione dei dati e ne semplificano l’accesso.
Definizione e architettura
I data warehouse (DWH) forniscono risorse per attività di calcolo ad alta intensità di dati, come AI, data mining, data analytics e business intelligence. Anche se in genere includono un qualche tipo di database relazionale, operano su una scala molto più ampia rispetto ai normali database e forniscono anche funzionalità più estese, come l’analisi e il reporting.
Limiti dei data warehouse tradizionali
I data warehouse tradizionali sono stati legati a grandi infrastrutture di server fisici e a implementazioni fisse. Ciò ha comportato dei limiti nella gamma di possibili fonti e tipi di dati ed elaborazioni possibili. Una delle funzioni principali dei DWH tradizionali era quella di estrarre, pulire e preparare i dati per adattarli all’architettura di storage richiesta, il che a sua volta limita la flessibilità. Vale la pena elencare i problemi principali che le soluzioni DWH tradizionali comportano per le aziende:
Costi. Il TCO molto elevato delle soluzioni proprietarie in termini di software (e hardware) è disincentivante. Inoltre, per operazioni complesse sono spesso necessari personale dedicato e infrastrutture aggiuntive.
Scarsa flessibilità. Il DWH tradizionale tende ad avere una scarsa adattabilità e reattività alle mutevoli esigenze. Nell’odierno ambiente tecnologico e di business in rapida evoluzione, questo è un grosso freno.
Scarsa integrazione. Dai data lake (archivi di dati grezzi) agli analytics, un sistema frammentato è difficile da gestire.
Esigenze aziendali
Le organizzazioni hanno esigenze che rispecchiano queste carenze, come la riduzione del TCO, il miglioramento del time to market e il supporto per le operazioni di intelligence e analytics. Hanno bisogno di accedere alle migliori tecnologie e ai mezzi per monetizzare i dati attraverso la vendita o la riduzione dei costi. Le tipologie di dati si sono evolute ed è sorta l’aspettativa che i dati possano essere elaborati e trasferiti nel sistema con facilità.
La soluzione? I logical data warehouse. Come affermano i ricercatori tecnologici di Gartner, “il logical data warehouse è ormai consolidato come best practice”. Gli LDW come QuantiaS Data Director offrono una maggiore flessibilità di accesso alle fonti di dati, consentendo l’accesso in tempo reale attraverso RDMS (Relational Database Management System), database NoSQL come CouchDB o soluzioni distribuite come Hadoop. Gli LDW forniscono inoltre nuovi stili e ruoli analitici all’interno di un’organizzazione, offrendo una fonte di verità unificata e una BI semplificata.
Soluzione indipendente dal settore, per progettazione
Il modo migliore per ottenere il tipo di flessibilità richiesto, non solo per le esigenze attuali dei dati ma anche per assicurarsi contro i cambiamenti futuri, è quello di utilizzare tecnologie standardizzate. L’uso di architetture standardizzate significa che la logica e la progettazione specifiche del settore possono essere limitate al livello software e alle definizioni dei dati. Gli sviluppatori di infrastrutture non hanno bisogno di ripetere sviluppi già noti o di riscrivere progetti da zero.
Elaborazione dei dati
La soluzione logica di data warehouse presenta tre aspetti fondamentali: l’elaborazione dei dati, la modellazione dei dati e l’analisi. Per molti versi, l’elaborazione delle informazioni è la funzione principale, che consente agli LDW di incorporare facilmente dati provenienti da fonti diverse. QuantiaS Data Director utilizza un approccio Big Data fin dall’inizio per l’integrazione dei dati. Questo copre aree fondamentali come i processi ETL/ELT.
ELT (extract, load, transform) ed ETL (extract, transform, load) sono processi fondamentali che trasferiscono i dati da un sistema di origine a uno di destinazione. Si differenziano per il livello di elaborazione prima di rendere le informazioni disponibili per il consumo. Con l’ELT, i dati non strutturati provenienti dall’origine vengono mantenuti dal sistema senza alcuna elaborazione preliminare. Con l’ETL, invece, i dati grezzi vengono prima tradotti in un formato nativamente accessibile per le operazioni di data warehouse. Il vantaggio del data warehouse logico è che non richiede una fase di consolidamento prima che i dati siano accessibili. Poiché l’operazione è logica anziché fisica, l’LDW può combinare più fonti o motori di dati, consentendo l’incorporazione in tempo reale e un’esperienza di accesso senza soluzione di continuità per l’analisi del cliente. Le fonti di dati non sono limitate e l’etica dei Big Data è promossa fin dall’inizio. Con QuantiasS questa pipeline di elaborazione dei dati è facilitata da vari software e utility. Gli strumenti open-source spesso forniscono soluzioni drop-in conformi agli standard per gestire le operazioni principali. In alcune occasioni, vengono utilizzati strumenti proprietari per gestire casi più particolari, oltre a calcoli serverless parallelizzati personalizzati. La scelta si basa sulle preferenze e sui requisiti del cliente.
Data warehouse: conclusioni, sfide e tendenze future
Gli LGW e i loro sottocomponenti associati tra motori di analisi, architetture cloud e servizi HPC sono ormai consolidati nell’ecosistema dei Big Data. Essi consentono ai consumatori di dati di effettuare analisi più ricche per la business intelligence, la gestione del rischio, l’analisi predittiva e, man mano che si fa strada, l’Internet of Things. Naturalmente ci sono delle sfide: i dati non strutturati gestiti male possono ancora essere problematici. Nonostante le capacità, gli utenti non devono essere imprudenti riguardo alle loro fonti di dati. Inoltre, nonostante l’ubiquità di piattaforme scalabili e open-source, per casi d’uso più specifici le organizzazioni dovranno ancora ricorrere a soluzioni proprietarie o a specializzazioni interne. Tuttavia, i data warehouse logici come QuantiaS Data Director offrono l’approccio migliore alle sfide dei Big Data.
Per maggiori informazioni: Codemotion
