Data Lineage

Ogni azienda che utilizzi i dati per prendere decisioni o compiere operazioni ha bisogno di conoscere le trasformazioni che essi subiscono durante tutto il ciclo di vita, a partire dal momento in cui vengono creati fino a quando vengono utilizzati.

Con l’aumentare della complessità delle architetture e delle organizzazioni non è più possibile fare affidamento sulle conoscenze delle persone o sulla documentazione. Il lineage dei dati permette di eseguire attività di Root Cause Analysis o di Impact Analysis in maniera immediata, migliorando l’efficienza dei progetti di Data Management, ottimizzando i tempi di risposta agli incident e minimizzando il rischio di errori.

Inoltre le normative, di settore o generiche come il GDPR, raccomandano una corretta identificazione e documentazione dei flussi dati come prerogativa per la compliance.

Una soluzione integrata di Data Governance garantisce la possibilità di analizzare i flussi dati, sia in termini di dipendenze tra Data Product, in un approccio basato sul paradigma Data Mesh, sia in termini di relazioni tra singole colonne delle strutture dati presenti sulle diverse applicazioni analitiche (Column-Level Lineage).

Utilizzando connettori dedicati con capacità di Reverse Lineage è possibile ricostruire automaticamente i flussi dati, interpretando le trasformazioni che essi subiscono all’interno delle varie porzioni della Data Platform.

Il modulo SQL Lineage di Blindata utilizza i metadati dello schema e le istruzioni SQL (inclusi oggetti standard del database come viste e routine, log delle query e script generati dagli strumenti ELT) per dedurre i flussi di dati e le trasformazioni.

Il parser SQL automatizzato all’interno di Blindata genera un albero di sintassi SQL che illustra vividamente i flussi di dati e le trasformazioni presenti nelle istruzioni. Successivamente, semplifica questa rappresentazione eliminando le trasformazioni, creando un grafico di lineage conciso che collega esclusivamente tabelle e colonne.

Per migliorare l’accessibilità degli utenti, la visualizzazione del lineage incorpora funzionalità di drill-down. Questa funzione consente agli utenti di identificare rapidamente lo script o la routine responsabile della generazione di un flusso di dati specifico. Inoltre, gli utenti possono facilmente approfondire i dettagli delle trasformazioni con pochi clic, facilitando un’analisi completa dei processi sottostanti.

Connettori dedicati a tool di reporting, come Microsoft PowerBi o Tibco Spotfire, permettono la ricostruzione automatica end-to-end del lineage, dalla sorgente fino all’utilizzo finale del dato.

Funzionalità specifiche di impact analisys evidenziano, a partire da un qualunque punto della Data Platform, tutte gli asset dati impattati, isolando se necessario le sezioni di interesse.

L’integrazione con funzionalità di Data Quality Monitoring permette di gestire in maniera proattiva la comunicazione di potenziali criticità nei dati a tutti i soggetti impattati.