Talend, un’esperienza in Istat
Tempo fa sono venuto a conoscenza del software open source e freeware Talend, strumento di ETL di cui abbiamo già parlato su questo blog, e ho iniziato ad utilizzarlo per alcune rilevazioni della direzione delle statistiche congiunturali dell’Istat, Istituto Nazionale di Statistica.
Ho effettuato diversi caricamenti di file con decine di migliaia di record direttamente da un foglio di lavoro (Excel, ma anche con Calc non ci sono problemi) ad un database Oracle, schedulando un apposito job.
L’impatto sui processi delle rilevazioni interessate è stato immediato migliorando notevolmente le performance e la qualità dei dati.
Mettete alla prova Talend nella vostra realtà lavorativa: non vi deluderà.
Presto torneremo a parlare di Talend e a come utilizzare alcune funzionalità.
talend è in produzione nei processi delle rilevazioni sulle retribuzioni e sul movimento turistico
> novità sul sito di talend <
Extract data from SAS databases, and integrate SAS with other applications and databases in the information system.
Get the connector now from the Talend Ecosystem:
http://www.talendforge.org/ext/extension_view.php?eid=52
In particolare, per la rilevazione sul Movimento Turistico, talend ha assolto molto bene i “classici” compiti di uno strumento ETL:
- Estrazione dati da un foglio di lavoro Excel
- Trasformazione dello schema dati (con delle operazioni di aggregazione/disaggregazione/confronto di variabili)
- Caricamento dei dati su una tabella di un db Oracle.
E’ ora possibile effettuare un’operazione annuale piuttosto laboriosa con soli due click sul job definito con l’editor grafico.
Alcuni colleghi si stanno occupando di testare Talend con dataset SAS: aspettiamo i loro feedback sul blog.
Stiamo facendo dei test con dati in formato SAS sia in Input che in Output – vi invieremo un feedback al termine.
S.