Quantyca Data Mesh use cases image
Scopri

Contesto

Ogni azienda che utilizzi i dati per prendere decisioni o compiere operazioni ha bisogno di conoscere le trasformazioni che essi subiscono durante tutto il ciclo di vita, a partire dal momento in cui vengono creati fino a quando vengono utilizzati.

Con l’aumentare della complessità delle architetture e delle organizzazioni non è più possibile fare affidamento sulle conoscenze delle persone o sulla documentazione. Il lineage dei dati permette di eseguire attività di Root Cause Analysis o di Impact Analysis in maniera immediata, migliorando l’efficienza dei progetti di Data Management, ottimizzando i tempi di risposta agli incident e minimizzando il rischio di errori.

Inoltre le normative, di settore o generiche come il GDPR, raccomandano una corretta identificazione e documentazione dei flussi dati come prerogativa per la compliance.

Punti critici

I problemi principali derivati dalla mancanza di uno strumento di Data Lineage sono:

→ Difficoltà nell’individuare le cause di eventuali incoerenze nei dati, con conseguente impatto su tempi e costi

→ Inefficienza negli interventi evolutivi e correttivi sulle catene elaborative esistenti

→ Rischio di errori nelle attività di Data Management

→ Mancanza di controllo sulle risorse inutilizzate

→ Potenziale assenza di compliance

6%
Diminuzione di aziende Data Driven
nel periodo 2017-2019, a causa di scarsa fiducia nei dati
HBR

Soluzione

La possibilità di visualizzare i flussi dati e conoscere come questi si muovono all’interno della Data Platform è un elemento cruciale per garantire efficienza ai team di Data Management.

Una soluzione integrata di Data Governance garantisce la possibilità di analizzare i flussi dati, sia in termini di dipendenze tra Data Product, in un approccio basato sul paradigma Data Mesh, sia in termini di relazioni tra singole colonne delle strutture dati presenti sulle diverse applicazioni analitiche (Column-Level Lineage).

Utilizzando connettori dedicati con capacità di Reverse Lineage è possibile ricostruire automaticamente i flussi dati, interpretando le trasformazioni che essi subiscono all’interno delle varie porzioni della Data Platform.

Il modulo SQL Lineage di Blindata utilizza i metadati dello schema e le istruzioni SQL (inclusi oggetti standard del database come viste e routine, log delle query e script generati dagli strumenti ELT) per dedurre i flussi di dati e le trasformazioni.

Il parser SQL automatizzato all’interno di Blindata genera un albero di sintassi SQL che illustra vividamente i flussi di dati e le trasformazioni presenti nelle istruzioni. Successivamente, semplifica questa rappresentazione eliminando le trasformazioni, creando un grafico di lineage conciso che collega esclusivamente tabelle e colonne.

Per migliorare l’accessibilità degli utenti, la visualizzazione del lineage incorpora funzionalità di drill-down. Questa funzione consente agli utenti di identificare rapidamente lo script o la routine responsabile della generazione di un flusso di dati specifico. Inoltre, gli utenti possono facilmente approfondire i dettagli delle trasformazioni con pochi clic, facilitando un’analisi completa dei processi sottostanti.

Connettori dedicati a tool di reporting, come Microsoft PowerBi o Tibco Spotfire, permettono la ricostruzione automatica end-to-end del lineage, dalla sorgente fino all’utilizzo finale del dato.

Funzionalità specifiche di impact analisys evidenziano, a partire da un qualunque punto della Data Platform, tutte gli asset dati impattati, isolando se necessario le sezioni di interesse.

Data-flow-chart

L’integrazione con funzionalità di Data Quality Monitoring permette di gestire in maniera proattiva la comunicazione di potenziali criticità nei dati a tutti i soggetti impattati.

1 Setup
Configurazione iniziale della piattaforma di Data Governance e dei connettori verso le applicazioni in perimetro
2 Tuning
Analisi e validazione dei flussi dati, gestione degli eventuali errori nell’analisi dei flussi, assegnazione delle responsabilità
3 Analyse
Utilizzo dello strumento di Data Lineage per analizzare i flussi dati, in particolare per effettuare analisi d’impatto o di individuazione delle cause di eventuali problematiche nella gestione dei dati

Vantaggi

Monitoraggio e ottimizzazione dei costi
Chiarezza nelle ownership
Ottimizzazione del Mean Time to Detect
Governance e controllo dei Data Asset
Riduzione dei costi operativi
Maggior agilità di sviluppo

Risorse

Video
Subscription
13/05/2024

Data product catalog: from data contracts to knowledge graph | Video Speech

Link
Subscription
15/07/2024

Partnership spotlight: Blindata

Contattaci!

Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Entra a far parte del team Quantyca, facciamo squadra!

Siamo sempre alla ricerca di persone di talento da inserire nel team, scopri tutte le nostre posizioni aperte.

VEDI TUTTE LE POSIZIONI APERTE