Nell’analisi di grandi moli di informazioni, per esempio i dati di vendita per la pianificazione di strategie di marketing, è difficile fare a meno di prodotti software specializzati supportati dalla tecnologia dei DBMS. Purtroppo l’utilizzo di questi sistemi è generalmente molto costoso poiché si chiede di elaborare quantità crescenti di dati, in tempi sempre più stringenti e sotto la costante pressione del top management aziendale.

Per questo la possibilità di analizzare al volo una tabella da decine di milioni di record in tempi rapidi, anche eseguendo query abbastanza pesanti, non può che essere benvenuta, specie se si prospetta una diminuzione del TCO rispetto ad una architettura più tradizionale.

In questo post vorrei segnalare SADAS, un DBMS colonnare compatibile SQL-99 standard (sono disponibili JDBC driver, ODBC driver, Ado connection). Come riportato in una delle brochure, in cui si descrive l’integrazione con Pentaho, SADAS è un DBMS ‘column-oriented’ specificatamente progettato per soluzioni di data warehouse. L’architettura è ottimizzata per operazioni di lettura dei dati e rispetto ai tradizionali DBMS organizzati per righe, consente delle prestazioni tra le 10 e le 100 volte migliori in ambito analitico. Tali risultati derivano innanzitutto dal modello di organizzazione dei dati per colonne, ma sopratutto da specifiche strutture di indici concepite per migliorare le performance di SADAS nell’analisi di grandi volumi di dati.

SADAS, è il risultato di un progetto di ricerca (Progetto N.11384 di Ricerca Industriale nel Settore Informatico e Telematico – Fondo FAR, legge 297/99) in collaborazione con l’Università di Pisa e l’Università degli Studi del Sannio. Il responsabile del progetto è stato Antonio Albano, professore ordinario di basi di dati presso la Facoltà di Scienze MFN dell’Università di Pisa.

Visitando il sito di SADAS, cliccando sulla voce descrizione dei benchmark, è possibile accedere liberamente ai contenuti della documentazione, suddivisa in commerciale e tecnica. Sono riportati numerosi case study (tra cui figurano alcune banche e le Poste Italiane) ed una presentazione PowerPoint del prodotto. E’ richiesta la registrazione al sito solo per scaricare alcuni documenti, tra cui una interessantissina descrizione di SADAS dal punto di vista accademico.

Un ultimo suggerimento: non perdetevi la demo del prodotto e la prima e seconda parte di un video tutorial!

Una novità molto interessante del prodotto IBM DB2 9.7 riguarda la possibilità di eseguire nativamente codice scritto in linguaggio Oracle PL/SQL. Mi sembra una notizia degna di attenzione che credo possa spingere molti utenti a valutare la possibilità di migrare dati ed applicazioni da Oracle verso IBM DB2. Pare che la compatibilità sia molto alta e che dal 90  al 99% del codice non debba essere affatto modificato. Potete trovare qui ulteriori dettagli sulla compatibilità, su come si possano eseguire Oracle Applications con DB2 9.7 per Linux, Unix, Windows e su come utilizzare MEET, uno strumento per verificare quante istruzioni di codice PL/SQL siano direttamente “trasferibili” in DB2.

Fonte: www.ibm.com

Molto interessante anche questo video su PL/SQL Support in IBM DB2 9.7

Nel documento di analisi dal titolo “Value Proposition For IBM DB2 9.7 – Cost Savings Potential Compared to Oracle Database 11g” sono esaminate componenti di costo come sistemi di storage, database servers, costi del personale, costi della rete e costi di migrazione. Sono evidenziate anche altre caratteristiche di DB2 come la forte compressione dei dati, che consente una significativa riduzione dello storage utilizzato, e le sofisticate funzioni di self-tuning che riducono l’attività dei DB Administrator.

Fonte: www.ibm.com

Esiste una versione Community Edition di DB2 9.7 chiamata DB2 Express-C: i dettagli del prodotto sono qui e  potete scaricarlo qui. Nella stessa pagina trovate un link ad una nutrita serie di video tutorial tecnici su DB2.

In questo post abbiamo copiato/incollato l’”embed code” di cui abbiamo parlato nell’articolo precedente.

Questo  e’ un esempio di come e’ possibile, con un semplice Copia/Incolla, condividere sul Web una intera applicazione. In questo caso, i dati visualizzati provengono in tempo reale dal sito Istat per la diffusione dei dati sulla popolazione (demo.istat.it)

Istruzioni:

1) Aprire “WordPad” o “Blocco Note” sul vostro PC.  (No Windows? Ovviamente qualunque Editor di  testo va bene)

2) Copiareincollare il seguente “embed code”

<script type="text/javascript" src="http://www.vincenzopatruno.org/dir/net_migration.js"></script>

3) Salvare sul Desktop il documento con estensione .html (es. saldo.html)

4) Doppio Click  sull’icona “saldo.html” che sara’  apparsa sul Desktop

Ovviamente potete incollare il codice anche su qualunque pagina Web o su qualunque Blog.

Innanzitutto Buon Anno a tutti. Parliamo ancora una volta di dati statistici. In particolare, questa volta parleremo di come si sia evoluto nel tempo il concetto di “diffusione dati” negli Enti e nelle Organizzazioni che questi dati li producono.

Cercare di comprendere, studiare, conoscere fenomeni sociali ed economici anche complessi di un Paese o di un territorio è possibile grazie al lavoro quotidiano di Enti che fanno indagini, rilevano dati e li elaborano, diffondendone i risultati. La “diffusione” è il momento in cui tali Enti e Organizzazioni consegnano dati alla Comunità Scientifica, ai Governi, agli Enti Locali, alle Aziende, ai Professionisti, alla Politica e ai Cittadini. Che utilizzano questi dati per analizzare e capire cosa sta accadendo, per prendere coscienza della realtà del territorio, per prendere provvedimenti legislativi, per decidere i contenuti della prossima manovra Finanziaria.

L’avvento di Internet è stato “devastante” in tantissimi campi e settori della vita moderna. Con Internet nulla è più stato come prima, e questo è stato particolarmente vero per chi fa informazione, per chi produce dati, per i produttori di software. Ossia di tutto ciò che può essere consegnato a destinazione mediante la Rete stessa. Posso gestire attraverso Internet un ordine per, chessò, un monitor per PC o quello per l’acquisto di una cassa di vini pregiati. Ma resta comunque il problema di come farli arrivare a destinazione. Internet infatti non risolve questo tipo di problema, che invece può essere risolto affidandosi a ditte specializzate in spedizioni. Non è ovviamente così per i dati, la conoscenza, per il software, a cui la Rete ha dato una straordinaria opportunità: quella di poter circolare liberamente e di arrivare in modo istantaneo a destinazione senza intermediari e senza oneri o costi aggiuntivi.

Con Internet e con il Web, quelle che erano pubblicazioni “tradizionali” fatte di carta e inchiostro e che erano la modalità con cui venivano resi pubblici i dati e le tavole di dati statistici, si sono via via trasformate in “elettroniche”. Un link sul sito Web dell’Ente, un click da parte dell’utente e la pubblicazione veniva scaricata (a pagamento o meno) dal sito Web sul PC dell’utente. Che così ne poteva utilizzare a suo piacimento il contenuto, in genere tavole di dati. I dati venivano diffusi principalmente all’interno di documenti HTML, file Word e tavole Excel (con buona pace dei formati aperti). Ma anche mediante file di testo e file PDF. Un approccio di questo tipo delega all’Ente produttore tutte le decisioni a riguardo di che tipo di dati diffondere. Un certo numero di tavole vengono decise “a priori” a tavolino e l’utente quando andrà a scaricare il relativo file, si troverà “quelle” tavole e non altre. Questo è un approccio sicuramente molto facile da implementare da parte dell’Ente produttore di dati, ma ha un forte limite nel fatto che la pubblicazione va comunque fatta e le tavole di dati vanno comunque preparate, oltre al fatto che l’utente non può intervenire in nessun modo per ottenere i dati a cui è realmente interessato. E’ costretto a scaricarli e poi vedere se tra questi ci sono quelli desiderati.

Queste (e altre) ragioni hanno costituito la base per il successo nella diffusione dati (o “Data Dissemination”) dei cosiddetti “Data Warehouse” statistici. Organizzare cioè i dati in modo adeguato all’interno di Data Base per consentire all’utente di generare tavole in tempo reale. Non più dunque tavole predefinite ma tavole di dati generate a “run-time” sulla base di scelte fatte dall’utente. In questo caso è l’utente che decide, selezionando gli opportuni parametri, il tipo di dato a cui è interessato, l’anno di riferimento, il livello territoriale (ad esempio se vuole dati provinciali, regionali, comunali, …) e così via. In questo caso non ci sarà alcun limite al numero di tavole pubblicabili in quanto ognuna sarà generata in tempo reale sulla base dei parametri di input decisi dall’utente. Capite bene come i Data Warehouse su Web hanno generato una abbondanza di informazione inimmaginabile fino a qualche anno prima. E infatti, se fino a poco prima realizzare una pubblicazione (anche elettronica) contenente ad esempio i dati sulla popolazione o su qualunque altra cosa a livello comunale avrebbe richiesto 8100 pagine (il numero di Comuni in Italia) riducibili a 4050 pagine (supponendo di scrivere piccolo e di mettere due tavole per pagina), realizzare un Web Warehouse con i dati demografici di tutti i comuni italiani significa di fatto implementare un data base di piccole dimensioni.

Ora tutti gli Enti e le Organizzazioni più importanti diffondono i propri dati per mezzo di un ”Data Warehouse” più o meno sofisticato. Lo scrivo tra virgolette e in corsivo in quanto il termina viene utilizzato molto spesso in maniera impropria per indicare un qualunque data base per la diffusione dati, indipendentemente da come è stato progettato. (Diciamocela tutta: “Data Warehouse” è un termine più “figo”!)

Ma chi è l’utente dei dati? Sia che si tratti di pubblicazioni o di file contenenti tavole di dati, sia che si tratti di sistemi di Warehouse per la generazione a run-time di tavole l’utente è sempre stato visto come il punto finale del processo di diffusione. Questa è però una idea “storica” di utente che trova una collocazione sempre più marginale all’interno del Web. L’utente ha infatti cessato da tempo di essere un “lettore” o un “utilizzatore” del Web per diventarne invece protagonista. Un protagonista che a sua volta veicola l’informazione, la contestualizza, la condivide, la discute, la promuove, la valorizza. In questo nuovo contesto l’idea stessa di “diffusione dati” descritta fino ad ora diventa improvvisamente inadeguata. Questi nuovi scenari sono infatti il terreno ideale per quella che va sotto il nome di “condivisione dei dati” (Data Sharing) . E non è ovviamente un dettaglio lessicale, in quanto il “Data Sharing” ha delle forti implicazioni sia a livello tecnologico che a quello relativo ai comportamenti dell’”utente protagonista”.

In questo caso i dati non vengono più scaricati (e quindi replicati) sul PC dell’utente per poter essere utilizzati, ma vengono rilasciati attraverso modalità tali da consentire di essere facilmente “incorporati” in altri Blog e in altri siti Web oppure visualizzati on line attraverso sistemi di visualizzazione avanzati o ancora utilizzati direttamente da applicazioni e sistemi Web.

DEMO, il sistema che ISTAT utilizza per la diffusione dei dati demografici. Dal 1999, anno del suo rilascio ad oggi è diventato quello che a me piace chiamare un “sistema interconnesso”.

Fin dal suo esordio, sono stati “diffusi” dati in modo che ora definiremmo “tradizionale” attraverso il download di tavole predefinite, di file di dati o mediante i semplici Web Warehouse implementati. (es. Bilancio Demografico)

Ora mi scuso in anticipo con chi da tempo segue SegnalazionIT visto che gli esempi che seguono sono già comparsi in passato in altri articoli. Ma credo che raggrupparli ora tutti assieme possa servire a spigare meglio quanto detto fin’ora.

Nella figura seguente un output “classico” (con layout e stile di dieci anni fa ) di quelli che si possono ottenere connettendosi a DEMO e interrogando il sistema. I dati in tabella sono quelli che riguardano il Bilancio Demografico per l’anno 2008 del comune di Roma.

Supponiamo poi di connetterci con il nostro BlackBerry o con il nostro Nokia N70 a istat.mobi (o mobile.istat.it). Seguendo i link riguardanti il Bilancio Demografico e selezionando il comune di Roma, troveremmo che

Ancora, dal sito ufficiale dell’Istat, inserendo il comune di Roma nell’apposito box in Home Page avremmo che

E se volessimo vedere come come questi dati possono essere utilizzati per la realizzazione di una applicazione mash-up con i dati di Google Maps, possiamo connetterci a http://cheapguru.org/comuni,  e ottenere il risultato in figura.

Oppure possiamo semplicemente copiareincollare il seguente codice su un qualunque blog/sito web

<script type="text/javascript" src="http://www.vincenzopatruno.org/dir/bilancio.js"></script>

per incorporare all’interno del blog/sito la seguente tabella

Ovviamente gli esempi fatti non sono casuali. I dati infatti sono esattamente gli stessi. E provengono tutti dalle API pubbliche di DEMO. In nessun caso c’è stata una replicazione di dati. I dati sono stati semplicemente condivisi con altre applicazioni, su altri sistemi e attraverso l’utilizzo del codice di “embedding”. DEMO pertanto è stato “agganciato” tramite API agli altri siti web, diventandone parte integrante e condividendo con questi ultimi la parte dati.

In realtà i sistemi e i siti Web che condividono i dati di DEMO secondo queste logiche sono molti di più. Quando a Giugno 2010 saranno disponibili i dati del Bilancio 2009, DEMO e tutti i sistemi interconnessi di cui abbiamo parlato prima nonchè tutti i blog/siti che già hanno e quelli che nel frattempo avranno incorporato l’”embedded code” per la chart o la tabella del comune desiderato presenteranno istantaneamente i nuovi dati. Istantaneamente e senza intermediari. Dal “Data Dissemination” al “Data Sharing”.

]]> http://segnalazionit.org/2010/01/data-dissemination-e-data-sharing/feed/ 3 http://segnalazionit.org/2009/11/good-data/ http://segnalazionit.org/2009/11/good-data/#comments Mon, 30 Nov 2009 01:00:02 +0000 Eric Sanna http://segnalazionit.org/?p=2821 Good Data è una piattaforma di business intelligence disponibile sul web. Good Data è in grado di memorizzare i dati online, permette di costruire e gestire un modello di dati multi-dimensionale utilizzando diverse fonti di dati, fornisce gli strumenti per analizzare i dati in un ambiente collaborativo, ed i mezzi per condividere i risultati con [...]]]>

Good Data è una piattaforma di business intelligence disponibile sul web.

Good Data è in grado di memorizzare i dati online, permette di costruire e gestire un modello di dati multi-dimensionale utilizzando diverse fonti di dati, fornisce gli strumenti per analizzare i dati in un ambiente collaborativo, ed i mezzi per condividere i risultati con gli altri. Tutto ciò senza alcun software da installare, alcuna licenza per l’acquisto e alcuna necessità di supporto informatico.

Il sito di Good Data promette una “Agile BI”, ovvero gli analisti di dati possono sfruttare la potenza di una piattaforma di modellazione altamente flessibile, mentre gli utenti business hanno a disposizione degli strumenti di analisi e di reporting estremamente intuitivi. Questa combinazione consente ai team di analisti di creare e iterare rapidamente sulla proprie analisi.

Dal punto di vista delle tecnologie, Good Data utilizza lo stato dell’arte in materia, è costruita infatti utilizzando  AWS – Amazon Web Service, una delle più estese ed avanzate soluzioni di cloud computing esistenti al mondo. Ciò consente di ottenere diversi vantaggi:

• Potenza elaborativa a basso prezzo. La parallelizzazione ottenuta dal cloud-computing consente di distribuire contemporaneamente su molte CPU le query ROLAP.
• Elevata scalabilità. Le elaborazioni di business intelligence risentono spesso di imprevedibili ed elevati picchi di carico, il cloud-computing consente di rispondere in maniera elastica alla domanda, quando ciò accade.
• Massivo numero di utenti. Good Data esegue una singola istanza della piattaforma di business intelligence per migliaia di utenti, consentendo di tenere molto bassi i costi marginali di mantenimento, servizio e aggiornamento per ciascun utente.
• Orientamento al servizio. Dato che i nodi hardware sono allocati “in the cloud” e quindi sono transienti, nel senso che posso aggiungerne e toglierne quando ne ho bisogno, al fine di bilanciare il carico e massimizzare il throughput Good Data si basa su una serie di servizi stateless, orientati a garantire il servizio piuttosto che chi lo eroghi e dove.

Per effettuare qualche prova consiglio di registrarsi, effettuare il login, andare su “Switch Project” e scegliere “Create new”.

A questo punto si possono utilizzare le freccette laterali finchè non viene mostrato “New Zealand Census project template”, poi si da un nome al progetto e, dopo aver premuto il tasto “Create”, alcuni dati del Censimento 2006 della Nuova Zelanda saranno disponibili per essere visualizzati, combinati, manipolati tramite Good Data

Sarà inoltre possibile visualizzare o modificare i report predefiniti o crearne degli altri, nonchè esportarli in formato Excel, condividerli, “taggarli”.

Insomma, Good Data è un’applicazione complessa, potente, ben progettata, che utilizza praticamente tutti i paradigmi 2.0: possibilità di upload e condivisione di dati ed esperienze, rich internet application, creazione di comunità, tagging, export degli output generati, possibilità di generare widget da incapsulare nelle proprie pagine Internet.

Il modello di business è il “Freemium”, piuttosto usuale per questo tipo di applicazioni: gratuito fino a 50 utenti, 10 progetti, 10 MB per upload e 100 MB max per progetto. Non sono riportati i costi a seguito del superamento dei limiti.

Io credo che la complessità intrinseca dell’argomento Business Intelligence, prima che dello strumento, renderà Good Data un servizio di nicchia o comunque non adatto alla maggioranza dei navigatori…
però è un gran bello strumento!

Amazon Web Services (AWS) è una piattaforma di servizi web interamente basata su una infrastruttura di cloud computing. Per una definizione esaustiva di cloud computing rimando alla definizione di Wikipedia ed al mio precedente post sull’argomento.

Con AWS si può avere a disposizione, in sintesi, potenza di elaborazione, memoria di massa per archiviazione, servizi di database, attraverso una infrastruttura IT “elastica”, variabile in base alle esigenze di business.

Per quanto riguarda la fatturazione dei servizi si paga solo per quello che si usa, senza la necessità di effettuare ingenti spese di avvio o prendere impegni a lungo termine.

AWS usufruisce di una infrastruttura informatica che è la spina dorsale di Amazon.com, un’impresa che fattura circa 15 miliardi dollari l’anno in attività di vendita e distribuzione al dettaglio, eseguendo milioni di transazioni finanziarie ogni mese per i propri clienti.

Dal punto di vista tecnologico AWS poggia su una complessa infrastruttura di cloud computing ed offre diversi servizi:

* Amazon EC2 – Amazon Elastic Compute Cloud – Un servizio web che offre capacità di elaborazione ridimensionabile “in the cloud”, ovvero consente di configurare una Amazon Machine Instance (AMI) e caricarla in servizio Amazon EC2, aumentando o diminuendo la capacità di calcolo al variare dei requisiti di elaborazione.

* Amazon S3 – Amazon Simple Storage Service – Un servizio dotato di una semplice interfaccia web che può essere utilizzato per archiviare e recuperare grandi quantità di dati, in qualsiasi momento, da qualsiasi punto della rete. Fornisce agli sviluppatori un accesso alla stessa infrastruttura di archiviazione datii, scalabile, affidabile, veloce, che Amazon utilizza per gestire la propria rete globale di siti web. > Per saperne di più su

* Amazon CloudFront – Un servizio web per la distribuzione di contenuti. Si integra con gli altri servizi Amazon per fornire agli sviluppatori e alle imprese un modo facile per distribuire contenuti agli utenti finali, con bassa latenza e alta velocità di trasferimento dati.

* Amazon SimpleDB – Un servizio web per l’esecuzione di query in tempo reale su dati strutturati. Il servizio opera in stretto collegamento con Amazon S3 e Amazon EC2, collettivamente, fornendo la capacità di immagazzinare, elaborare e interrogare insiemi di dati “in the cloud”. > Per saperne di più su

* Amazon SQS – Amazon Simple Queue Service – Un servizio affidabile, altamente scalabile, che ospita le code per la memorizzazione dei messaggi mentre questi viaggiano tra i computer. Utilizzando Amazon SQS, gli sviluppatori possono semplicemente spostare i dati tra componenti distribuiti delle loro applicazioni che svolgono compiti diversi, senza perdere messaggi o richiedere ad ogni componente di essere sempre disponibile. Ciò rende semplice la costruzione di workflow, in quanto ogni computer su Internet può aggiungere o leggere messaggi senza aver installato alcun software o aver configurato particolari regole nei firewall. > Per saperne di più su

* Amazon RDS – Amazon Relational Database Service – Un servizio che rende facile configurare, operare e modificare un database relazionale “in the cloud”. Amazon RDS fornisce le stesse caratteristiche di un database  MySQL.

* Amazon Elastic MapReduce – Un servizio che mette in grado ricercatori, analisti di dati, sviluppatori, di processare grandi quantità di dati. E’ basato su Hadoop framework, del quale abbiamo parlato in un precedente post, ed è pensato tipicamente per applicazioni di web indexing, data mining, log file analysis, machine learning, financial analysis, scientific simulation.

Il tutto gestito attraverso la AWS Management Console, che consente di avere visivamente sotto controllo l’ambiente di cloud computing, in maniera tale da verificare quali risorse si stanno utilizzando e poter decidere  come sfruttarle più convenientemente.

Infine, casomai non bastasse, c’è anche Amazon VPC – Amazon Virtual Private Cloud – un servizio che consente di collegare una infrastruttura IT esistente ad una nuvola di risorse e servizi AWS. Ciò avviene tramite una VPN (Virtual Private Network) e consente di estendere le caratteristiche dell’infrastruttura IT esistente (es. sicurezza, firewall, intrusion detection, ecc.) alla nuvola di risorse AWS, che pertanto viene isolata dal rimanente mondo AWS.

—-

Si potrebbero fare varie considerazioni rispetto a questo genere di servizi, mi soffermo in particolare sulle seguenti.

Per un informatico è un sogno diventato realtà: lo stato dell’arte della tecnologia moderna, un’estasi di astrazione e virtualizzazione di server, applicazioni e filesystem, distribuiti fisicamente in tutto il mondo e disponibili in tempo reale senza grandi difficoltà.

Per una organizzazione di medio-grandi dimensioni, penso valga la pena di porsi il problema se sia economicamente conveniente continuare a sostenere alti costi di hardware, software, energia elettrica e personale addetto ad un datacenter proprietario, oppure affidarsi -parzialmente o completamente- a servizi professionali del genere AWS. Certo è che nella valutazione economica (cfr. anche post di Donato Moscara sull’argomento) non si può non considerare e monetizzare il valore del patrimonio di dati e di conoscenza diffuso all’interno dell’organizzazione, nonchè valutare attentamente l’opportunità che i propri dati e sistemi siano esterni al perimetro dell’organizzazione.

Milano, 18 novembre 2009

Segnaliamo un evento della Sun Microsystems in cui ci sarà anche un intervento su Talend:

Circa dieci anni fa i data warehouse hanno fatto il loro ingresso nel mercato enterprise. Da allora queste piattaforme hanno suscitato molto interesse grazie alla promessa di raccogliere e centralizzare le informazioni in un unico punto offrendo, ai manager di ogni livello, la possibilità di prendere decisioni basate sui fatti concreti e misurabili e non più su intuizioni e supposizioni.

Purtroppo questa promessa non si è ancora realizzata per la maggior parte delle aziende. Il motivo non dipende certo dalla debolezza dell’idea, che anzi ha fornito sofisticati modelli di analisi dei dati provenienti da più sorgenti. Più semplicemente, per molte imprese, i data warehouse sono ancora troppo costosi da acquistare, implementare e gestire. Un lusso consentito solo a chi dispone di ingenti risorse finanziare.

Fortunatamente il software open source sta rivoluzionando anche il data warehousing, offrendo alternative valide ai costosi prodotti proprietari. Alternative in grado di soddisfare anche le esigenze più complesse a costi contenuti. Database,  sistemi di ETL,  strumenti di reporting e analisi diventano finalmente accessibili alle imprese di ogni dimensione e capacità di spesa.

• Tecnologie Oracle a supporto delle soluzioni per l’alta affidabilita’
• Ottimizzazione delle prestazioni
• Come intervenire per proteggersi e/o correggere gli errori umani
• Strumenti a supporto della gestione dei sistemi