A2A Data Replication Energia generata da pale eoliche al tramonto
Scopri
Business Summary

Nata nel 2008 dalla fusione di alcune aziende municipalizzate lombarde, A2A Energia è oggi presente su tutto il territorio nazionale italiano con servizi di fornitura di energia elettrica e gas, illuminazione pubblica, teleriscaldamento e soluzioni di efficientamento energetico. Fornisce energia a oltre 2,5 milioni di clienti ed è prima nel settore per livello di soddisfazione.

Entro il 2030 A2A punta a raddoppiare la propria base clienti, mantenendo alti i propri livelli di servizio, ed è per questo che ha intrapreso negli ultimi anni un programma di progressivo replatforming e di migrazione verso il cloud.

Quantyca collabora con A2A nell’offloading di vecchi e nuovi sistemi (SAP IS-U, SAP S/4HANA, Salesforce ecc.) verso la nuova Cloud Data Platform (sviluppata in Google Cloud Platform). Lo strumento individuato è Qlik Replicate e permette una replica in real-time, near rea-time o batch affidabile, estremamente efficiente e completamente governata.

Sfide e Obiettivi

Prima di intraprendere il programma di replatforming, la mappa applicativa di A2A era composta principalmente da soluzioni on-premises. Queste soddisfavano le esigenze esistenti ma considerando gli obiettivi di business, uno su tutti il raddoppio della base clienti in meno di dieci anni, la soluzione attuale non era più sufficiente. È stato così intrapreso un percorso di evoluzione della mappa applicativa, volto a sfruttare gli enormi benefici offerti dalle piattaforme cloud.

A2A ha scelto una Cloud Data Platform basata su GCP ed è stato evidente come anche il sistema di ingestion dei dati dai sistemi operazionali alla nuova Data Platform dovesse essere riprogettato per massimizzare i benefici. Per questo motivo si è affidata a Quantyca, con oltre un decennio di esperienza nell’ambito del data management, e Qlik, tramite la suite Qlik Data Integration.

I pilastri fondamentali della nostra proposta di soluzione sono stati:

  • Scalabilità

La soluzione avrebbe dovuto tenere in considerazione non solo gli attuali volumi di dati ma anche gli aumenti futuri, strettamente connessi all’espansione commerciale prevista.

  • Efficienza

Con decine di TB di dati e milioni di eventi CRUD al giorno, la soluzione avrebbe dovuto essere altamente efficiente per permettere un’alta reattività e una bassa latenza.

  • Frequenza di aggiornamento

Il precedente aggiornamento della data platform ogni 24h avrebbe limitato i possibili casi d’uso, era fondamentale passare ad un ingestion real-time o al più near real-time.

  • Affidabilità

Bisognava garantire che i dati trasferiti verso la nuova data platform combaciassero al 100% con il contenuto dei sistemi sorgente perché solo in questo modo si sarebbe potuto prendere con convinzione decisioni basate sul contenuto della nuova piattaforma.

  • Governance

Tutti i flussi di ingestion sarebbero dovuti essere facilmente governabili, avendo sempre una chiara visione della situazione e potendo monitorare in tempo reale il corretto funzionamento della replica, venendo avvisati tempestivamente in caso di anomalie.

Soluzione

Le esigenze di A2A erano senza dubbio sfidanti ma con la nostra esperienza nel campo del data management siamo riusciti a proporre un’architettura altamente efficace ed efficiente capace di supportare l’evoluzione programmata.

La scelta tecnologica è infatti ricaduta sulla suite Qlik Data Integration ed in particolare su Qlik Replicate, in grado di coprire l’intero ciclo di vita del dato garantendo bassa latenza, elevata qualità e una governance estremamente precisa.

Per alcune specifiche esigenze abbiamo sviluppato anche un sistema custom di estrazione batch dei dati. Siamo stati in grado di mantenere standard di efficienza altissimi sfruttando meccanismi di trasferimento parallelo dei dati verso la destinazione.

 

Con Qlik Replicate è stato possibile mantenere un’architettura estremamente semplice, collegandosi direttamente ai sistemi sorgente e altrettanto direttamente alla destinazione finale, Google BigQuery.

Per un solo caso d’uso, a causa di specifiche esigenze di estrazione dal sistema Salesforce, abbiamo affiancato un applicativo custom da noi sviluppato in Python per l’estrazione dei dati batch.

Abbiamo integrato svariati sistemi tra cui:

 

  • Salesforce
    Con più di 100 oggetti replicati in real-time e la possibilità di procedere mediante batch orari per alcuni oggetti particolari
  • SAP IS-U
    Con quasi 200 tabelle dal peso di quasi 30TB replicate in real-time
  • SAP S4/HANA
    Con più di 250 oggetti estratti in near real-time o batch
  • Diversi RDBMS (Oracle Database, Microsoft SQL Server)
    Quasi 500 tabelle, appertenenti a diversi sistemi operazionali, replicate in real-time

 

Considerando la varietà di sistemi sorgente, ed in particolare la loro distribuzione tra diverse reti on-premises e in cloud, abbiamo realizzato un’infrastruttura multi-nodo che permettesse di sfruttare il concetto di Data Locality.

I nodi Replicate sono stati infatti opportunamente posizionati in modo da massimizzare l’efficienza di estrazione e di trasferimento dei dati, mantenendo al tempo stesso una governance centralizzata mediante l’utilizzo di un’istanza Qlik Enterprise Manager capace di gestirli tutti.

Risultati

Con il supporto di Quantyca e di Qlik, A2A è riuscita a mettere in produzione diversi progetti di offloading dai sistemi operazionali, legacy e non.

Sono già in replica decine di TB di dati, con milioni di eventi CRUD gestiti ogni giorno in real-time o near real-time con una latenza massima di 5 minuti.

La soluzione realizzata sta permettendo ad A2A di concentrarsi sui nuovi casi d’uso e sulle nuove integrazioni per supportarli, con un basso effort di manutenzione ed una elevata elasticità e reattività in presenza di evolutive. I dati, prima sparsi e strutturati in silos, sono ora centralizzati in un’unica Cloud Data Platform e quindi maggiormente accessibili e disponibili a più consumer, siano essi analitici, operazionali o altro ancora.

Contattaci!

Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Entra a far parte del team Quantyca, facciamo squadra!

Siamo sempre alla ricerca di persone di talento da inserire nel team, scopri tutte le nostre posizioni aperte.

VEDI TUTTE LE POSIZIONI APERTE