Questa volta vi voglio parlare di un progetto decisamente originale che va sotto il nome di Real Time Statistics Project. Si tratta di un gruppo di ricercatori, sviluppatori e volontari di vari Paesi che ha deciso di far conoscere al maggior numero di persone nel mondo alcuni dati statistici di interesse generale. E questo in un modo molto interessante.

Disponibile i 32 lingue diverse è Worldometers che ci mostra alcuni dati mondiali su popolazione, economia, energia mentre StopTheHunger ci fornisce in “tempo reale” dati su cibo e sulla fame nel mondo. E’ interessante scoprire che hanno aderito al progetto anche un gruppo di italiani che hanno dato vita a

su cui presentano alcuni dati di facile lettura, molto curiosi e originali.  E’ doveroso sottolineare che  è anche disponibile una versione  in sardo, cosa che, sono sicuro, sarà molto apprezzata in particolare da uno degli administrator di SegnalazionIT.

Dal 29 giugno al 4 luglio, a Riva del Garda, si terrà la XXX SunBelt ovvero l’incontro dell’INSNA, International Network for Social Networks Analysis.  Basta uno sguardo al programma per notare con facilità come lo studio delle reti complesse sia ormai ampiamente praticato nei diversi ambiti delle scienze sociali, SegnalazionIT ne ha parlato più volte nel corso degli ultimi anni.

I circa 700 paper presentati al meeting mettono a confronto, nell’ambito di workshop, presentazioni in sessioni parallele e poster, studiosi appartenenti a varie discipline, con lavori che vanno dall’ambito “classico” dello studio delle relazioni amicali, a quello semantico; dal marketing alla politica; dalla salute al capitale sociale.

Un aspetto che colpisce della ricca agenda è l’ampio spazio che la conferenza dedica all’IT e in particolare al Web.

Da una parte molti interventi, di stampo metodologico, sono dedicati all’innovazione software e alle nuove prospettive che questa apre nell’ambito della Social Network Analysis; diversi  lavori sono dedicati alla visualizzazione interattiva dei network, tra questi anche un contributo di ricercatori Istat dal titolo Visualizing networks and territory: interactive systems and web 2.0 technologies.

Dall’altra l’IT e il Web, nell’ambito del programma dei lavori della SunBelt, non si affermano solo come uno strumento, ma anche come oggetto di analisi molto frequente nelle relazioni presentate.

Facebook è protagonista di diversi lavori. I titoli proposti suggeriscono un interessante confronto tra “vecchi” e “nuovi” modi di costruire relazioni sociali;  Are Facebook friends real friends? The role Facebook friends play in people’s social support networks è, ad esempio, il titolo di uno degli interventi che verranno presentati (ovviamente l’Insna è su Facebook). Un panel è intitolato Network Science Meets Web Science e due intere sessioni sono dedicate a Twitter.

Quindi sembra che a Riva del Garda l’incontro tra Social Network Analysis e Web avverrà su due piani diversi, ma, senza dubbio, non distinti:  sempre più Network nel Web, sempre più Web nella Network.

Oltre agli eventi evidenziati nel precedente post, segnaliamo che anche quest’anno l’Istat sarà presente al Forum della Pubblica Amministrazione:

Presente con uno stand fortemente connotato dai colori istituzionali e da una visualizzazione dinamica dei principali fenomeni statistici, l’Istat intende comunicare il crescente investimento dell’Istituto in innovazioni tecnologiche sia nelle attività di comunicazione e diffusione, che nei processi di produzione.

Ecco il programma degli interventi:

In questo post abbiamo copiato/incollato l’”embed code” di cui abbiamo parlato nell’articolo precedente. In realta’ il codice e’ un po’ diverso in quanto nel frattempo ho realizzato una versione parziale in italiano dell’applicazione per la visualizzazione del saldo migratorio. Il codice utilizzato e’ pertanto il seguente:

Questo  e’ un esempio di come e’ possibile, con un semplice Copia/Incolla, condividere sul Web una intera applicazione. In questo caso, i dati visualizzati provengono in tempo reale dal sito Istat per la diffusione dei dati sulla popolazione (demo.istat.it)

Istruzioni:

1) Aprire “WordPad” o “Blocco Note” sul vostro PC.  (No Windows? Ovviamente qualunque Editor di  testo va bene)

2) Copiareincollare il seguente “embed code”

<script type="text/javascript" src="http://www.vincenzopatruno.org/dir/net_migration.js"></script>

3) Salvare sul Desktop il documento con estensione .html (es. saldo.html)

4) Doppio Click  sull’icona “saldo.html” che sara’  apparsa sul Desktop

Ovviamente potete incollare il codice anche su qualunque pagina Web o su qualunque Blog.

Innanzitutto Buon Anno a tutti. Parliamo ancora una volta di dati statistici. In particolare, questa volta parleremo di come si sia evoluto nel tempo il concetto di “diffusione dati” negli Enti e nelle Organizzazioni che questi dati li producono.

Cercare di comprendere, studiare, conoscere fenomeni sociali ed economici anche complessi di un Paese o di un territorio è possibile grazie al lavoro quotidiano di Enti che fanno indagini, rilevano dati e li elaborano, diffondendone i risultati. La “diffusione” è il momento in cui tali Enti e Organizzazioni consegnano dati alla Comunità Scientifica, ai Governi, agli Enti Locali, alle Aziende, ai Professionisti, alla Politica e ai Cittadini. Che utilizzano questi dati per analizzare e capire cosa sta accadendo, per prendere coscienza della realtà del territorio, per prendere provvedimenti legislativi, per decidere i contenuti della prossima manovra Finanziaria.

L’avvento di Internet è stato “devastante” in tantissimi campi e settori della vita moderna. Con Internet nulla è più stato come prima, e questo è stato particolarmente vero per chi fa informazione, per chi produce dati, per i produttori di software. Ossia di tutto ciò che può essere consegnato a destinazione mediante la Rete stessa. Posso gestire attraverso Internet un ordine per, chessò, un monitor per PC o quello per l’acquisto di una cassa di vini pregiati. Ma resta comunque il problema di come farli arrivare a destinazione. Internet infatti non risolve questo tipo di problema, che invece può essere risolto affidandosi a ditte specializzate in spedizioni. Non è ovviamente così per i dati, la conoscenza, per il software, a cui la Rete ha dato una straordinaria opportunità: quella di poter circolare liberamente e di arrivare in modo istantaneo a destinazione senza intermediari e senza oneri o costi aggiuntivi.

Con Internet e con il Web, quelle che erano pubblicazioni “tradizionali” fatte di carta e inchiostro e che erano la modalità con cui venivano resi pubblici i dati e le tavole di dati statistici, si sono via via trasformate in “elettroniche”. Un link sul sito Web dell’Ente, un click da parte dell’utente e la pubblicazione veniva scaricata (a pagamento o meno) dal sito Web sul PC dell’utente. Che così ne poteva utilizzare a suo piacimento il contenuto, in genere tavole di dati. I dati venivano diffusi principalmente all’interno di documenti HTML, file Word e tavole Excel (con buona pace dei formati aperti). Ma anche mediante file di testo e file PDF. Un approccio di questo tipo delega all’Ente produttore tutte le decisioni a riguardo di che tipo di dati diffondere. Un certo numero di tavole vengono decise “a priori” a tavolino e l’utente quando andrà a scaricare il relativo file, si troverà “quelle” tavole e non altre. Questo è un approccio sicuramente molto facile da implementare da parte dell’Ente produttore di dati, ma ha un forte limite nel fatto che la pubblicazione va comunque fatta e le tavole di dati vanno comunque preparate, oltre al fatto che l’utente non può intervenire in nessun modo per ottenere i dati a cui è realmente interessato. E’ costretto a scaricarli e poi vedere se tra questi ci sono quelli desiderati.

Queste (e altre) ragioni hanno costituito la base per il successo nella diffusione dati (o “Data Dissemination”) dei cosiddetti “Data Warehouse” statistici. Organizzare cioè i dati in modo adeguato all’interno di Data Base per consentire all’utente di generare tavole in tempo reale. Non più dunque tavole predefinite ma tavole di dati generate a “run-time” sulla base di scelte fatte dall’utente. In questo caso è l’utente che decide, selezionando gli opportuni parametri, il tipo di dato a cui è interessato, l’anno di riferimento, il livello territoriale (ad esempio se vuole dati provinciali, regionali, comunali, …) e così via. In questo caso non ci sarà alcun limite al numero di tavole pubblicabili in quanto ognuna sarà generata in tempo reale sulla base dei parametri di input decisi dall’utente. Capite bene come i Data Warehouse su Web hanno generato una abbondanza di informazione inimmaginabile fino a qualche anno prima. E infatti, se fino a poco prima realizzare una pubblicazione (anche elettronica) contenente ad esempio i dati sulla popolazione o su qualunque altra cosa a livello comunale avrebbe richiesto 8100 pagine (il numero di Comuni in Italia) riducibili a 4050 pagine (supponendo di scrivere piccolo e di mettere due tavole per pagina), realizzare un Web Warehouse con i dati demografici di tutti i comuni italiani significa di fatto implementare un data base di piccole dimensioni.

Ora tutti gli Enti e le Organizzazioni più importanti diffondono i propri dati per mezzo di un ”Data Warehouse” più o meno sofisticato. Lo scrivo tra virgolette e in corsivo in quanto il termina viene utilizzato molto spesso in maniera impropria per indicare un qualunque data base per la diffusione dati, indipendentemente da come è stato progettato. (Diciamocela tutta: “Data Warehouse” è un termine più “figo”!)

Ma chi è l’utente dei dati? Sia che si tratti di pubblicazioni o di file contenenti tavole di dati, sia che si tratti di sistemi di Warehouse per la generazione a run-time di tavole l’utente è sempre stato visto come il punto finale del processo di diffusione. Questa è però una idea “storica” di utente che trova una collocazione sempre più marginale all’interno del Web. L’utente ha infatti cessato da tempo di essere un “lettore” o un “utilizzatore” del Web per diventarne invece protagonista. Un protagonista che a sua volta veicola l’informazione, la contestualizza, la condivide, la discute, la promuove, la valorizza. In questo nuovo contesto l’idea stessa di “diffusione dati” descritta fino ad ora diventa improvvisamente inadeguata. Questi nuovi scenari sono infatti il terreno ideale per quella che va sotto il nome di “condivisione dei dati” (Data Sharing) . E non è ovviamente un dettaglio lessicale, in quanto il “Data Sharing” ha delle forti implicazioni sia a livello tecnologico che a quello relativo ai comportamenti dell’”utente protagonista”.

In questo caso i dati non vengono più scaricati (e quindi replicati) sul PC dell’utente per poter essere utilizzati, ma vengono rilasciati attraverso modalità tali da consentire di essere facilmente “incorporati” in altri Blog e in altri siti Web oppure visualizzati on line attraverso sistemi di visualizzazione avanzati o ancora utilizzati direttamente da applicazioni e sistemi Web.

DEMO, il sistema che ISTAT utilizza per la diffusione dei dati demografici. Dal 1999, anno del suo rilascio ad oggi è diventato quello che a me piace chiamare un “sistema interconnesso”.

Fin dal suo esordio, sono stati “diffusi” dati in modo che ora definiremmo “tradizionale” attraverso il download di tavole predefinite, di file di dati o mediante i semplici Web Warehouse implementati. (es. Bilancio Demografico)

Ora mi scuso in anticipo con chi da tempo segue SegnalazionIT visto che gli esempi che seguono sono già comparsi in passato in altri articoli. Ma credo che raggrupparli ora tutti assieme possa servire a spigare meglio quanto detto fin’ora.

Nella figura seguente un output “classico” (con layout e stile di dieci anni fa ) di quelli che si possono ottenere connettendosi a DEMO e interrogando il sistema. I dati in tabella sono quelli che riguardano il Bilancio Demografico per l’anno 2008 del comune di Roma.

Supponiamo poi di connetterci con il nostro BlackBerry o con il nostro Nokia N70 a istat.mobi (o mobile.istat.it). Seguendo i link riguardanti il Bilancio Demografico e selezionando il comune di Roma, troveremmo che

Ancora, dal sito ufficiale dell’Istat, inserendo il comune di Roma nell’apposito box in Home Page avremmo che

E se volessimo vedere come come questi dati possono essere utilizzati per la realizzazione di una applicazione mash-up con i dati di Google Maps, possiamo connetterci a http://cheapguru.org/comuni,  e ottenere il risultato in figura.

Oppure possiamo semplicemente copiareincollare il seguente codice su un qualunque blog/sito web

<script type="text/javascript" src="http://www.vincenzopatruno.org/dir/bilancio.js"></script>

per incorporare all’interno del blog/sito la seguente tabella

Ovviamente gli esempi fatti non sono casuali. I dati infatti sono esattamente gli stessi. E provengono tutti dalle API pubbliche di DEMO. In nessun caso c’è stata una replicazione di dati. I dati sono stati semplicemente condivisi con altre applicazioni, su altri sistemi e attraverso l’utilizzo del codice di “embedding”. DEMO pertanto è stato “agganciato” tramite API agli altri siti web, diventandone parte integrante e condividendo con questi ultimi la parte dati.

In realtà i sistemi e i siti Web che condividono i dati di DEMO secondo queste logiche sono molti di più. Quando a Giugno 2010 saranno disponibili i dati del Bilancio 2009, DEMO e tutti i sistemi interconnessi di cui abbiamo parlato prima nonchè tutti i blog/siti che già hanno e quelli che nel frattempo avranno incorporato l’”embedded code” per la chart o la tabella del comune desiderato presenteranno istantaneamente i nuovi dati. Istantaneamente e senza intermediari. Dal “Data Dissemination” al “Data Sharing”.

Il Forum Pa 2009 è stato l’occasione per l’Istat per discutere dell’utilizzo delle nuove tecnologie Web 2.0 e del rapporto tra produttori e fruitori dell’informazione statistica

di Stefano De Francisci / Daniele Frongia / Giulia Mottura (Giornale del Sistan 41/2009)

Innovare il modo di rendere disponibile l’informazione statistica, migliorare il dialogo tra chi produce contenuti e chi ne fruisce, favorire il processo di condivisione della conoscenza. Con questi obiettivi gli Istituti nazionali di statistica si muovono nell’universo dei servizi online in direzione del Web 2.0. Ne sono un esempio l’esperienza dell’Ocse (Swivel e IBM Many Eyes per la condivisione di dataset e la rappresentazione grafica interattiva, Wikigender per dare visibilità al tema dell’uguaglianza di genere, in modalità wiki) e quella dell’Unece (Metis-wiki per condividere idee sui metadati statistici).
Tra le novità più rilevanti si segnalano inoltre il nuovo Google Public Data sperimentato dallo U.S. Bureau of Labor Statistics, il servizio Zoho per creare e condividere documenti di testo a carattere scientifico, alcuni tool per la creazione rapida e semplice di questionari online, piattaforme wiki per la gestione di progetti e software per la creazione di mappe mentali.

Ma cos’è il Web 2.0? Si tratta di uno stato di evoluzione di Internet caratterizzato dal passaggio da un insieme di siti statici collegati fra loro a un ambiente globale nel quale piattaforme online con potenti interfacce grafiche offrono contenuti ampi e una stretta interazione tra gli utenti che – ed è questa la vera novità – forniscono valore aggiunto all’informazione originaria. Solo in Italia i servizi 2.0 più noti (YouTube, Wikipedia, Google, Flickr ecc.) vengono utilizzati da oltre 10 milioni di utenti. Anche l’Istat sperimenta l’utilizzo delle tecnologie Web 2.0 tramite strumenti di lavoro cooperativo (wiki, l’espressione forse più democratica di diffusione della conoscenza attraverso la tecnologia) e di visualizzazione interattiva (Gapminder, Google Motion Chart), sito per smartphone e motori di ricerca (soluzioni enterprise Google); inoltre, è in corso il riadattamento in chiave 2.0 del sito web http://www.istat.it con l’introduzione di web services e mashup, forniture in XML, RSS e widgets (per approfondimenti su questi temi è disponibile una biblio/sitografia su http://www.wiki.istat.it/doku.php/ forumpaweb20: webografia).

Il Forum Pa 2009, che si è tenuto a Roma lo scorso maggio, è stato l’occasione per presentare riflessioni ed esperienze sulle applicazioni Web 2.0 in Istat e sul contributo delle nuove tecnologie per la statistica. L’obiettivo che l’Istituto si pone è trasformare il Web 2.0 da fenomeno episodico a sistema governato e orientato all’utenza, selezionando le opportunità 2.0 più utili per la produzione e la comunicazione statistica. Quest’ultima, in particolare, può trarre indubbi vantaggi dall’evoluzione del web, giocando un ruolo chiave nel rapporto tra produttore e fruitore dell’informazione. Del resto, individuare nuovi canali e modalità di risposta alla dilatazione della domanda di informazione statistica è importante al fine di incidere sull’aumento di un’audience partecipe e motivata.

La sfida che l’Istat oggi si trova ad affrontare consiste nel rendere identificabile la statistica ufficiale rispetto alla grande quantità di dati immessi in rete, riuscendo a comunicarne le caratteristiche di qualità. E per orientare l’utente, divenuto coprotagonista nella produzione dell’informazione, è fondamentale una chiara strategia di comunicazione. L’interpretazione sociale della rete determina, infatti, una stringente concorrenza dal basso che può generare ridondanza e perdita di controllo sull’informazione pubblicata: la fonte dei dati diventa difficilmente individuabile e aumenta il rischio di degenerazione della statistica online. Come la comunicazione della statistica ufficiale possa incidere su tale contesto tramite le opportunità del Web 2.0, resta un argomento di dibattito aperto.

Un primo approccio è stato avviato da alcuni Istituti di statistica con il monitoraggio della blogosfera, la realizzazione di prodotti editoriali ipertestuali in modalità wiki, l’animazione di community di settore e di blog tematici e la pubblicazione di video per la formazione online.
Certo è che l’introduzione di strumenti di collaborazione con siti esterni e l’apertura all’uso diretto dei dati sono elementi fortemente attesi dall’utenza. Per questo motivo l’integrazione dei propri sistemi informativi attraverso le tecnologie 2.0 è un’altra sfida fondamentale per l’Istat. L’Istituto è attualmente impegnato nello sviluppo di sistemi basati su nuovi modelli di disegno, condivisione e integrazione di conoscenza e di architettura dell’informazione. Elemento saliente di tale approccio è costituito dalla centralità degli utilizzatori, non più solo destinatari finali ma parte attiva dei sistemi informativi. Ciò avviene, da una parte, coinvolgendo i diversi segmenti di utenti in modo mirato tramite la costruzione di ambienti collaborativi, e dall’altra adeguando i sistemi informativi alla molteplicità di linguaggi, esigenze e modalità di interazione caratteristici degli utilizzatori.

Lo sviluppo di ambienti di ricerca specializzati, capaci di integrare simultaneamente informazioni statistiche a vari livelli di strutturazione (da testi liberi a dati formattati e rigidamente strutturati), l’adozione di sistemi aperti di classificazione dell’informazione, la costruzione di glossari tematici vicini al linguaggio di varie tipologie di utenti, sono al centro di tali esperienze. Questo approccio, sostenuto dal riuso di software generalizzato e di strumenti standard proposti in ambito internazionale per la condivisione e la visualizzazione, si propone come modello innovativo per migliorare i livelli di servizi offerti dall’Istituto e forte incentivo verso l’ottimizzazione delle risorse.

Le esperienze che l’Istat sta conducendo in ambito Web 2.0 stanno dimostrando come l’informazione statistica può trarre diretto beneficio ed arricchirsi ulteriormente dalla convergenza e integrazione dei nuovi concetti, metodi, sistemi e tecnologie di organizzazione, condivisione, rappresentazione e visualizzazione della conoscenza, costituendo una delle più significative innovazioni per la statistica del Paese.

Google Public data, di cui abbiamo parlato sei mesi fa al ForumPA e su questo blog, torna con interessanti novità per i dati italiani.

Lo scopo del servizio Public data è così presentato da Google:

I dati statistici pubblici, come ad esempio il tasso di disoccupazione o i numeri della popolazione, non devono essere né difficili da trovare né, cosa ancora più importante, difficili da comprendere. Google sta rendendo più facile trovare e utilizzare i dati statistici prodotti  da governi e da istituzioni ufficiali. Questi dati vengono poi inclusi nei risultati di ricerca di Google.com e visualizzati sotto forma di grafici interattivi che è possibile personalizzare e condividere con gli altri.

I dati quindi vengono mostrati non sul sito di chi produce i dati, ma direttamente nella pagina dei risultati della ricerca, al primo posto, così:

google public data

[the worlds life expectancy]

Come dicono gli sviluppatori del servizio, anche le persone che normalmente rifuggono dalle statistiche dovrebbero trovare questi grafici dinamici facili da usare e capire.

E ci sono novità anche i per i dati italiani, inseriti dalla Banca Mondiale.  I risultati sono molto interessanti, anche se limitati a Google.com (se inseriamo le stesse parole su Google.it non otteniamo nulla):

Good Data è una piattaforma di business intelligence disponibile sul web.

Good Data è in grado di memorizzare i dati online, permette di costruire e gestire un modello di dati multi-dimensionale utilizzando diverse fonti di dati, fornisce gli strumenti per analizzare i dati in un ambiente collaborativo, ed i mezzi per condividere i risultati con gli altri. Tutto ciò senza alcun software da installare, alcuna licenza per l’acquisto e alcuna necessità di supporto informatico.

Il sito di Good Data promette una “Agile BI”, ovvero gli analisti di dati possono sfruttare la potenza di una piattaforma di modellazione altamente flessibile, mentre gli utenti business hanno a disposizione degli strumenti di analisi e di reporting estremamente intuitivi. Questa combinazione consente ai team di analisti di creare e iterare rapidamente sulla proprie analisi.

Dal punto di vista delle tecnologie, Good Data utilizza lo stato dell’arte in materia, è costruita infatti utilizzando  AWS – Amazon Web Service, una delle più estese ed avanzate soluzioni di cloud computing esistenti al mondo. Ciò consente di ottenere diversi vantaggi:

• Potenza elaborativa a basso prezzo. La parallelizzazione ottenuta dal cloud-computing consente di distribuire contemporaneamente su molte CPU le query ROLAP.
• Elevata scalabilità. Le elaborazioni di business intelligence risentono spesso di imprevedibili ed elevati picchi di carico, il cloud-computing consente di rispondere in maniera elastica alla domanda, quando ciò accade.
• Massivo numero di utenti. Good Data esegue una singola istanza della piattaforma di business intelligence per migliaia di utenti, consentendo di tenere molto bassi i costi marginali di mantenimento, servizio e aggiornamento per ciascun utente.
• Orientamento al servizio. Dato che i nodi hardware sono allocati “in the cloud” e quindi sono transienti, nel senso che posso aggiungerne e toglierne quando ne ho bisogno, al fine di bilanciare il carico e massimizzare il throughput Good Data si basa su una serie di servizi stateless, orientati a garantire il servizio piuttosto che chi lo eroghi e dove.

Per effettuare qualche prova consiglio di registrarsi, effettuare il login, andare su “Switch Project” e scegliere “Create new”.

A questo punto si possono utilizzare le freccette laterali finchè non viene mostrato “New Zealand Census project template”, poi si da un nome al progetto e, dopo aver premuto il tasto “Create”, alcuni dati del Censimento 2006 della Nuova Zelanda saranno disponibili per essere visualizzati, combinati, manipolati tramite Good Data

Sarà inoltre possibile visualizzare o modificare i report predefiniti o crearne degli altri, nonchè esportarli in formato Excel, condividerli, “taggarli”.

Insomma, Good Data è un’applicazione complessa, potente, ben progettata, che utilizza praticamente tutti i paradigmi 2.0: possibilità di upload e condivisione di dati ed esperienze, rich internet application, creazione di comunità, tagging, export degli output generati, possibilità di generare widget da incapsulare nelle proprie pagine Internet.

Il modello di business è il “Freemium”, piuttosto usuale per questo tipo di applicazioni: gratuito fino a 50 utenti, 10 progetti, 10 MB per upload e 100 MB max per progetto. Non sono riportati i costi a seguito del superamento dei limiti.

Io credo che la complessità intrinseca dell’argomento Business Intelligence, prima che dello strumento, renderà Good Data un servizio di nicchia o comunque non adatto alla maggioranza dei navigatori…
però è un gran bello strumento!