SegnalazionIT » Statistica

Competizione sul debito pubblico italiano

Daniele Frongia — Sun, 08 Apr 2012 23:53:49 +0000

Duccio Schiavon, già fondatore di Stat Project e ora di Statistica Ning, ha ideato un nuovo progetto molto interessante: una competizione sul debito pubblico italiano, nell’ambito di una serie di iniziative di Giornalismo Analitico Collettivo (G.A.C.), un metodo di redazione e pubblicazione di notizie basato sull’elaborazione di dati estratti da diverse fonti e sulla partecipazione di una collettività di autori analisti. Insomma qualcosa di utile e interessante per i molti che si stanno occupando di Data journalism e di Open Data.

In cosa consiste questa competizione?

Il primo progetto consiste nella raccolta di una serie di visualizzazioni (semplici grafici, infografiche, diagrammi, ecc.) sul debito pubblico italiano. L’obiettivo è descriverne l’evoluzione, i principali responsabili, la dinamica e le cause, al fine di creare un “documento definitivo” che possa rappresentare il principale punto di riferimento divulgativo sull’argomento dal momento della sua pubblicazione in poi.

Perché partecipare

Chi parteciperà al progetto godrà di un livello di visibilità proporzionato alla qualità del lavoro svolto e potrà beneficiare delle opportunità secondo quanto previsto dalle regole del G.A.C.. Aggiunge inoltre Schiavon: “mi auguro che questo progetto possa diventare una delle più eccitanti esperienze analitiche mai vissute in ambito statistico. Personalmente farò tutto il possibile perché il prodotto finale realizzato con i vostri contributi divenga in breve tempo un vero e proprio riferimento conclusivo sul debito pubblico italiano, e affinché ognuno dei suoi autori possa ritenersi orgoglioso per il proprio coinvolgimento nel progetto”.

Come funziona la competizione

Le visualizzazioni dovranno essere realizzate attraverso l’utilizzo del software gratuito Tableau Public, uno dei più avanzati strumenti di visualizzazione e condivisione dei dati attualmente disponibili su web. Per la realizzazione delle rispettive creazioni grafiche si consiglia ai partecipanti di prendere visione delle numerose rappresentazioni disponibili alla gallery di visualizzazioni d’esempio di Tableau.

La scadenza della competizione è prevista per il 30 giugno 2012, data entro la quale i partecipanti dovranno inviare un messaggio al profilo di Stat Project comunicando l’URL del proprio lavoro pubblicato sul server web di Tableau Software. Per partecipare è inoltre indispensabile iscriversi inviando un messaggio al profilo di Stat Project o un’e-mail a info@stat-project.com entro e non oltre il 20 aprile 2012 in cui siano specificati nome, cognome ed una brevissima auto-presentazione del partecipante (5 righe).

Approfondimenti e ulteriori informazioni su http://statistica.ning.com/page/giornalismo-analitico

SegnalazionIT, che farà parte della giuria, è orgogliosa di partecipare e promuovere il progetto!

Open Data ed Istat: un legame già solido

Eric Sanna — Sun, 25 Mar 2012 22:31:52 +0000

Secondo Wikipedia IT «I dati aperti, comunemente chiamati con il termine inglese open data anche nel contesto italiano, sono alcune tipologie di dati liberamente accessibili a tutti, senza restrizioni di copyright, brevetti o altre forme di controllo che ne limitino la riproduzione… …con la locuzione “open data” si identifica una nuova accezione piuttosto recente e maggiormente legata a Internet come canale principale di diffusione dei dati stessi». Wikipedia EN aggiunge che la tematica ha raggiunto un certo livello di popolarità “especially, with the launch of open-data government initiatives such as Data.gov“.

Le istituzioni pubbliche producono e possiedono una enorme quantità di dati che appartengono alla collettività. Parlare di Open Data con riferimento ai dati della PA significa, quindi, rendere i dati e le informazioni disponibili e accessibili direttamente online, da parte di cittadini ed imprese sia per elaborazioni che per creare applicazioni di pubblica utilità.

L’obiettivo è evidente: rendere più trasparente l’azione pubblica, favorendone il controllo sociale, supportare la partecipazione attiva dei cittadini, la collaborazione tra pubblico e privato. Inoltre, la disponibilità di dati, nell’era dell’economia della conoscenza, significa dare spazio all’innovazione ed alla creatività, chiavi strategiche per supportare lo sviluppo economico avanzato.

In Italia sono state avviate, a livello governativo, delle iniziative come dati.gov.it, che tuttavia non hanno raggiunto i livelli di complessità e ampiezza di dati messi a disposizione ad esempio dalle iniziative americana e del regno unito.

L’Istituto Nazionale di Statistica ha fin da subito percepito l’importanza di essere presente in modo attivo nel dibattito che si è sviluppato attorno agli Open Data, attivando I.Stat, il data warehouse della statistica ufficiale e creando un dialogo fra il mondo delle istituzioni, il mondo scientifico-accademico, la società civile e le diverse community tematiche su Internet.

Già dal 2010 l’Istat è intervenuto in modo ufficiale a diversi eventi che avviavano la riflessione sul tema degli Open Data. Di particolare rilevanza alcune iniziative della X Conferenza Nazionale di Statistica, ad es. l’Agorà La Statistica ufficiale incontra il movimento Open Data, le due sessioni dello StatCamp (Data Gov e condivisione dei dati; Statistica, Information Technology e innovazione), che hanno affrontato temi legati al data sharing, data visualization, open data e datagov. L’Istituto è stato anche presente ad eventi esterni come il convegno Fammi Sapere e il Digital Experience Festival 2011, inoltre ha organizzato, insieme a questo Blog, il BarCamp Sharing Data and Statistical Knowlwdge, in occasione della Prima Giornata Mondiale della Statistica.

Nel 2011, sono stati diversi gli eventi di particolare interesse a cui l’Istat ha partecipato: Open Data: dalle parole ai fatti, durante il ForumPA 2011, in cui è stata annunciata l’iniziativa AppsForItaly, ossia la competizione italiana che prevede la creazione di applicazioni basate su Open Data e di cui l’Istat è stato uno dei primi sostenitori (l’iniziativa si concluderà con la premiazione dei vincitori al prossimo ForumPA 2012). Il convegno internazionale La Politica della Trasparenza e dei Dati Aperti, organizzato da Radio Radicale insieme alle maggiori associazioni italiane che si occupano di trasparenza e dati aperti. Il Workshop Istat Open Official Statistical Data, nel corso della Prima Giornata Italiana della Statistica, dove si sono ritrovati rappresentanti del mondo delle istituzioni, della Commissione Europea, del Ministero della Pubblica Amministrazione, insieme a movimenti, associazioni, fondazioni ed enti locali, a parlare di dati aperti, open government, statistica ufficiale e cultura del dato. L’Internet Governance Forum 2011, infine, ha consolidato la presenza ufficiale dell’Istat all’interno del dibattito culturale italiano sugli Open Data.

Il 2012 si presenta come un anno particolarmente significativo per il consolidamento del legame tra Istat ed Open Data. Nel prossimo mese di Maggio si terrà una iniziativa di assoluta rilevanza: la prima Data Journalism School italiana realizzata da una istituzione. L’Istat ha organizzato l’evento in collaborazione con la Fondazione di Trento, curando in prima persona, attraverso la Scuola superiore di statistica e di analisi sociali ed economiche, sia la parte più specificatamente statistica del corso che quella relativa agli Open Data e agli aspetti legali dei dati aperti.

Parlare di Open Data e di Istat non significa però solo aderire ad una “filosofia” portando l’esperienza e la cultura di chi produce dati per mandato istituzionale, ma confrontarsi con altri attori istituzionali centrali e locali, attivare scambi di opinioni e di know-how con le diverse comunità scientifiche e accademiche, interagire a livello internazionale con gli altri produttori di statistiche ufficiali per arrivare a modalità di interscambio e diffusione dati condivise, essere riconosciuti come attori credibili dalla varie community Internet (es. Spaghetti Open Data, Open Knowledge Foundation Italia) che si occupano di aspetti che vanno dalle licenze d’uso dei dati alla loro rintracciabilità e alle modalità tecnologiche con cui vengono resi disponibili sulla Rete. Significa, in altri termini, essere capaci di proporre una visione di sistema nella quale i differenti stakeholder possano riconoscersi.

Il passaggio è significativo perchè richiede l’utilizzo di soluzioni di governance che siano in grado di mettere insieme competenze ed esigenze diverse: strategiche, tecnologiche, giuridiche, di produzione, diffusione, comunicazione, nonchè una capacità di gestire relazioni con tutti gli altri interlocutori con cui “fare Rete”.

E’ questa la grande sfida che l’Istat ha di fronte a se per i prossimi anni sul tema degli Open Data.

Data Journalism School 2012

Vincenzo Patruno — Thu, 22 Mar 2012 03:29:58 +0000

Da qualche tempo sta crescendo in modo sempre più diffuso la consapevolezza del valore che possono avere i dati. Sta crescendo tra le pubbliche amministrazioni, che pian piano stanno lanciando le proprie iniziative legate agli Open Data rilasciando sui propri siti Web i dati in proprio possesso. Sta crescendo tra i governi, che stanno via via promuovendo i vari “data.gov”, i cataloghi governativi dei dati pubblici. Tutto questo mentre la Commissione Europea colloca gli Open Data all’interno delle iniziative strategiche della Digital Agenda for Europe. E anche chi produce dati per mandato istituzionale sta cogliendo l’occasione per ridisegnare le proprie politiche di diffusione, rilasciando sulla Rete grandi quantità di dati di alta qualità e con elevate potenzialità nell’utilizzo.

C’è pertanto una grande disponibilità di dati che è possibile ritrovare sulla Rete ma che pone però un problema: sappiamo infatti bene quanto possa essere pericoloso utilizzare i dati senza avere la necessaria dimestichezza ed esperienza. Questo è ancora più vero per chi utilizza i dati per fare informazione. Una informazione di qualità non può infatti prescindere da un corretto utilizzo dei dati.

Ed è sulla base di queste considerazioni che Istat (tramite la sua Scuola Superiore di Statistica e di Analisi Sociali ed Economiche) e Fondazione lanciano la prima edizione della Data Journalism School, un corso di tre giorni in cui i partecipanti avranno la possibilità di capire come poter utilizzare correttamente i dati per fare informazione di qualità e simulando i tempi di lavoro di una redazione giornalistica.

La Data Journalism School (#DJS12) si terrà dal 24 al 26 Maggio prossimi presso la sede Istat di P.zza Indipendenza 4 a Roma. Per questa prima edizione sono disponibili 20 posti con 4 borse di studio a totale copertura delle spese di iscrizione. Qui il programma completo dell’iniziativa. Per ulteriori informazioni è possibile visitare il sito Web della Fondazione o il sito dell’Istat. Vi ricordo infine che le iscrizioni potranno essere accettate a partire dal prossimo lunedì 26 Marzo fino ad esaurimento dei posti disponibili.

Una giornata normale: il nuovo film del CBS -Statistics Netherlands

Cinzia Conti — Mon, 13 Feb 2012 00:01:14 +0000

Qualche giorno fa un collega olandese mi ha segnalato questo video:

Si tratta di un breve filmato d’animazione – anzi di una explanimation, come viene definita sul sito dell’Istituto Nazionale di Statistica olandese – che racconta attraverso numeri, immagini, parole e suoni quello che accade in una giornata normale alla popolazione olandese: quante persone nascono, quante muoiono, quante immigrano, quante emigrano, etc.

Un bell’esempio di story telling demografico.

Convegno “Prendere decisioni: il ruolo della statistica per la conoscenza e la governance”.

Concetta Ferruzzi — Thu, 09 Feb 2012 00:00:24 +0000

Il Gruppo permanente per la valorizzazione delle statistiche pubbliche (SISVSP) della Società Italiana di Statistica organizza il 19 e 20 aprile 2012 presso l’Università Europea di Roma il Convegno Prendere decisioni: il ruolo della statistica per la conoscenza e la governance.

Il convegno 2012 si propone come un’occasione di confronto e discussione tra esperti e ricercatori sul ruolo della statistica pubblica e privata per i processi decisionali e la governance ai diversi livelli di responsabilità. Nel corso del Convegno saranno approfondite, in tale prospettiva, le seguenti aree tematiche: benessere equo e sostenibile; coesione sociale; crescita e competitività delle imprese; dataGov, open data, trasparenza e privacy; dati e strumenti statistici per la valutazione delle politiche pubbliche; informazione statistica e social media; mercato del lavoro e capitale umano; metodologie per la produzione e le analisi delle statistiche pubbliche; ricerche ed analisi di mercato; sondaggi politici ed elettorali; utilizzo statistico di archivi amministrativi.

Gli Autori che desiderano proporre un contributo dovranno redigere - entro il 29 febbraio 2012 – uno short paper in italiano della lunghezza massima di quattro pagine secondo gli standard tecnici della SIS .

Le proposte di contributo dovranno essere trasmesse seguendo le indicazioni disponibili all’indirizzo http://meetings.sis-statistica.org/

Gli short paper saranno valutati dal Comitato Scientifico e tutti gli Autori riceveranno – entro il 12 marzo 2012 – una comunicazione sull’esito della valutazione al proprio indirizzo di posta elettronica.

Gli short paper accettati saranno raccolti in un volume in distribuzione il 19/20 aprile e resi disponibili on line sul sito del convegno.

Dopo il convegno, gli autori dei lavori di particolare interesse scientifico per il gruppo VSP saranno invitati a sottoporre un articolo per la pubblicazione, previo referaggio, sulla Rivista Statistica Applicata – Italian Journal of Applied Statistics e sulla Rivista di Statistica Ufficiale.

A supporto dei lavori è prevista la seconda edizione dello “Statistics Café”, uno spazio aperto e libero di confronto tra la ricerca teorica ed applicata per la condivisione di conoscenze, esperienze e proposte riguardanti le statistiche, in primo luogo pubbliche.

L’account Twitter, che verrà utilizzato prima e durante l’evento per raccogliere e diffondere idee e suggerimenti è @stat_coffee. l’hashtag del convegno è #vsp2012.

Tutte le informazioni relative al Convegno 2012 del Gruppo SIS per la Valorizzazione delle Statistiche Pubbliche sono disponibili ai seguenti riferimenti:

sito web: http://sisvsp.sis-statistica.org

mail: gruppo.sisvsp@sis-statistica.org

Intervista a Sardinia Open Data

Vincenzo Patruno — Thu, 15 Dec 2011 03:43:10 +0000

Ci sono persone che con le loro iniziative portano quell’innovazione che può cambiare (in meglio) un territorio. SegnalazionIT ha intervistato Andrea Zedda, specialista nell’elaborazione dati e promotore del progetto Sardinia Open Data.

D. Come nasce Sardinia Open Data?

R. L’idea del progetto nasce essenzialmente nella rete e precisamente nel social network Statistica.ning del quale sono membro da diverso tempo. Agli inizi di settembre, un mio amico, Marco Calderisi, (con il quale stiamo fondando una piccola società molto interessante denominata [Kode], ma questa è un’altra storia…) pubblica un post riguardante Datawithoutborders, un’iniziativa nata negli USA, dove statistici volontari aiutano in maniera completamente gratuita le ONG presenti nel territorio per quanto riguarda l’elaborazione dei dati in loro possesso. Avendo continue esperienze di collaborazione con l’Osservatorio delle politiche sociali della provincia di Cagliari, ho iniziato a pensare che un’iniziativa del genere potesse essere rivolta al mondo delle associazionismo locale e che, con le opportune modifiche, fosse una cosa attuabile anche qui da noi.
Poi è successo che ho partecipato al corso “Web e statistica” a Pisa, organizzato dalla SIS dove ho avuto modo di approfondire, tra le altre cose, le tematiche dell’open data e quindi di prendere maggiore consapevolezza dell’enorme importanza che l’intelligenza collettiva e la condivisione della conoscenza hanno e avranno sempre di più nel nostro mondo. Ho così deciso che l’open data sarebbe stato al centro del nuovo progetto che avevo in mente.
Il corso mi ha poi dato la possibilità di conoscere molte persone estremamente interessanti, sia tra i docenti che tra gli studenti, e ho potuto interagire con un ambiente aperto alle innovazioni e alla creatività. Tutti questi fattori hanno fatto si che le idee che mi frullavano in testa si trasformassero in convinzioni. Così tornato in Sardegna ho iniziato a parlarne un po’ in giro e ho trovato subito l’appoggio e l’ entusiasmo di alcune persone, tutte donne, molto capaci e determinate (colgo l’occasione per citarle, sono Alessandra Murgia, Alessandra Peddis, Claudia Mocci e Cinzia Pusceddu) con le quali si è deciso di fondare l’associazione Sardinia Open Data, e grazie alle quali il progetto è diventato qualcosa di più concreto e molto ambizioso.

D. Quali sono le iniziative e i progetti che Sardinia Open Data sta supportando?

R. Attualmente portiamo avanti due progetti. Il primo è “OnData”, un progetto che ha tre finalità. La finalità primaria, che prende appunto ispirazione da Datawithoutborders, è il sostegno al mondo dell’associazionismo no-profit. Siamo partiti dalla considerazione che le associazioni, pur potendo spesso disporre di basi dati interessanti, non hanno di solito le risorse per sfruttarle, oppure non sono consapevoli del potenziale nella gestione di tali informazioni in termini di sviluppo organizzativo e strategico. Abbiamo così deciso di mettere a disposizione di queste associazioni la nostra esperienza nel campo della raccolta, dell’elaborazione e della presentazione dei dati, oltre che un supporto logistico, il tutto in maniera completamente gratuita.
Al contempo abbiamo intenzione di ricorrere all’aiuto di giovani volontari ai quali offriamo la possibilità di avere una prima esperienza pratica sul campo, quindi di sporcarsi le mani con dati reali e con esperienze concrete per quanto riguarda le varie fasi di un’indagine statistica.
La terza finalità del progetto consiste nel rendere il risultato di questo lavoro il più aperto possibile nel pieno rispetto della filosofia open data. L’obiettivo è in sostanza avviare un’apertura dei dati non calata dall’alto delle organizzazioni pubbliche ma un’informazione proveniente direttamente dal basso, e di incentivarne il riutilizzo in modo che questi dati acquistino un valore che vada oltre il contesto nel quale sono stati raccolti.
Un secondo progetto molto interessante è la partecipazione al concorso Appsforitaly. Intediamo partecipare sia nella categoria datasets che nella categoria applicazioni. Per quanto riguarda il dataset abbiamo già siglato un accordo di collaborazione con l’Ente parco di Molentargius, per cui contribuiremo all’apertura dei dati ambientali, di flora e forse anche fauna sotto licenza IODL.
Su quei dati abbiamo poi qualche idea su come svilupparci una app per smartphone o una webapp. Per ora stiamo ancora valutando se questa parte del progetto sia fattibile, c’è ancora da definire un modello, e per la parte dello sviluppo applicativo contiamo sull’aiuto di alcune aziende condotte da persone con le quali ho avuto modo di collaborare in passato, e che si sono rivelate estremamente disponibili ed interessate al nostro progetto.
Infine abbiamo intenzione di portare avanti una campagna continua di promozione dell’open data presso i vari enti e la società, attuata attraverso incontri diretti face to face o anche piccole presentazioni pubbliche.

D. La Pubblica Amministrazione Locale: gioie o dolori sulla questione Open Data?

R. Lavorando per diversi anni nella pubblica amministrazione (anche se solamente come collaboratore ultra-precario), ho preso parte alla progettazione e all’attuazione di diverse indagini e ricerche sociali, e posso dire che ho vissuto direttamente sulla mia pelle il problema della mancanza di consapevolezza per quanto riguarda l’importanza che dovrebbe avere il dato statistico presso le amministrazioni pubbliche. Le difficoltà purtroppo non si limitano alla sola apertura dei dati alla società, ma addirittura è la trasmissione di questi tra i diversi enti e tra i diversi dipartimenti che risulta essere una barriera difficile da superare. Manca l’idea dell’utilizzo di uno standard condiviso, e vige ancora una sorta di gelosia tra i vari uffici, i cui funzionari spesso si comportano come se fossero gli effettivi detentori del dato e per cui sono restii a condividere determinate informazioni addirittura con gli altri organismi pubblici che ne fanno richiesta. Per esperienza posso dire che nel momento in cui una struttura come un osservatorio avvia una raccolta dati rivolgendosi ad altre amministrazioni o ad altri uffici dell’ente a cui appartiene, quando va bene le informazioni vengono trasmesse tramite disordinati fogli di calcolo e la casistica più frequente sono dei file pdf blindati e file doc, per non parlare di chi preferisce ancora utilizzare il fax e il materiale cartaceo!
Per questo crediamo che la promozione e la sensibilizzazione presso la PA locale verso un approccio più aperto e consapevole riguardo l’importanza sociale ed economica che hanno le informazioni condivise, possa in un certo modo indicare la giusta via che porta ad una maggiore efficienza e ad una maggiore produttività nel settore pubblico.

D. Open data e trasparenza. E’ un binomio praticabile in Sardegna?

Oltre alle difficoltà che ho appena citato, posso dire che in Sardegna esistono anche realtà estremamente positive e in rapida ascesa. Un chiaro esempio di Open Data trasparente è il portale della Provincia di Carbonia Iglesias (e di recente quello del Comune di Sestu) che, primo in Italia, ha reso liberi i dati dei propri atti amministrativi in modalità semantica. In questo modo non ci sono intermediari tra la produzione del dato e i possibili fruitori esterni, sia che siano cittadini o aziende che vogliano sfruttarli per le loro applicazioni. L’iniziativa fa parte di un progetto Open Source più ampio che si chiama ontologiapa.it e che fa leva su una piattaforma Drupal 7 per la PA denominata “LinkedPA“. Questo è sicuramente il binomio perfetto tra Open Data e trasparenza e fa piacere dire che la nostra Regione faccia scuola per tutto il paese.

D. La Sardegna ha giovani brillanti e capaci. Può l’Open Data essere una opportunita’?

R.La Sardegna è una piccola isola nel contesto globale, oltre al turismo abbiamo poche risorse naturali da sfruttare, e ovviamente ormai è chiaro che non possiamo competere con la forza produttiva dei colossi mondiali nel settore manifatturiero. Per cui si tratta di investire tutto nel capitale umano. Sposare il concetto di Open data significherebbe poter disporre di una nuova risorsa praticamente a costo zero, perché si tratterebbe solo di aprire gli archivi già esistenti e di adottare nuovi standard per la loro diffusione. In questo modo, chiunque abbia idee e competenze avrebbe la possibilità di integrare i servizi offerti dal settore pubblico o inventarne di nuovi, il tutto senza che le amministrazioni debbano spendere ulteriori risorse. Quindi una grossa opportunità per i giovani che con l’open data avrebbero a disposizione un solido punto di partenza sul quale far fruttare le proprie idee e la propria creatività.

D. Come vedi il ruolo di Sardinia Open Data nelle due domande precedenti?

R. Per ora siamo solo una piccola associazione, certamente una delle prime realtà nell’Isola a portare avanti questo tipo di iniziative. Ci sentiamo delle specie di pionieri anche se bisogna dire che abbiamo diversi punti di riferimento nel territorio nazionale. Vedremo come si andrà avanti, quel che è certo è che l’entusiasmo e l’intraprendenza non ci mancano.
Per seguire le nostre iniziative o contattarci è possibile visitare il nostro sito web http://sardiniaopendata.org/ ma siamo presenti anche su Facebook, Twitter e Google+.

3, 2, 1… Al via AppsForItaly, il contest italiano sugli Open Data

Vincenzo Patruno — Mon, 28 Nov 2011 03:27:56 +0000

Ha preso il via ufficialmente AppsForItaly, la competizione tutta italiana sugli Open Data. Un concorso quindi, con tanto di premi in denaro, rivolto ai cittadini, alle communities di sviluppatori, alle aziende e alle associazioni che proporranno le migliori soluzioni per l’utilizzo del patrimonio informativo pubblico. Il concorso si articola in quattro categorie: Idee e Progetti, Applicazioni, Dataset e Visualizzazioni e potranno essere presentate anche proposte che in passato abbiano già partecipato ad altre competizioni simili.

Il montepremi? Al momento è arrivato a ben 40.000 euro, di cui buona parte messi dal Ministero per la Pubblica Amministrazione e Innovazione che ha supportato il lancio dell’iniziativa assieme a ForumPA e Formez e a cui sta subentrando il MIUR in conseguenza del recente cambio di Governo. Il contest è organizzato dal Comitato AppsForItaly ma va detto che sono partner dell’iniziativa enti del calibro di Regione Piemonte, ISTAT, Regione Emilia Romagna, ENEL che mettono a disposizione i propri dati.

C’è una sola regola da seguire: le proposte inviate devono esser basate sui dati pubblici, ma se volete dare una occhiata al regolamento completo potete farlo visitando l’apposita pagina. Il contest si chiuderà il 10 Febbraio 2012. A partire da quella data una apposita giuria selezionerà le proposte vincitrici che verranno premiate a fine Febbraio all’interno di un apposito evento. Per il momento buon lavoro a chi avrà intenzione di partecipare e …. vinca il migliore!!

Google Refine: trasformiamo un dataset disordinato in una base dati affidabile!

Andrea Zedda — Wed, 23 Nov 2011 23:40:05 +0000

Google Refine è un software prodotto da Google finalizzato principalmente all’esplorazione e alla pulizia di dataset disordinati. Grazie ad un’interfaccia estremamente intuitiva e semplice da usare risulta essere uno strumento assai potente e particolarmente adatto all’analisi di basi dati ancora sconosciute, ed eventualmente alla disposizione dei necessari aggiustamenti in maniera immediata e veloce, senza dover fare troppi studi preliminari, senza dover utilizzare lunghe stringhe di astruso codice o progettare complessi schemi di trasformazione dei dati.

Google Refine è un software maturo, questo significa che è abbastanza affidabile e completo (è arrivato infatti alla versione 2.1) ed è rivolto in particolar modo a tutti coloro che hanno a che fare con fonti di dati eterogenee o decidono di raccogliere informazioni da formati differenti come siti web, file di testo, fogli di calcolo e quindi vogliono confezionare il tutto in un unica base dati coerente, standardizzata e chiaramente leggibile.

Il caso classico di necessità di pulizia del dato lo abbiamo quando si accodano diversi dataset che presentano i medesimi campi ma che provengono da fonti diverse. È quindi possibile che i valori dei vari campi vengano riportati in maniera diversa pur avendo il medesimo significato. Ad esempio, per definire il sesso di un individuo spesso si utilizzano le più disparate coppie di valori come M/F, maschio/femmina, 0/1 e così via. Google Refine permette in un attimo, attraverso l’utilizzo di strumenti come i “facet” o le “trasformazioni”, di decidere quale coppia utilizzare e quindi estendere questa scelta a tutti i valori del campo del dataset.

Attraverso i facet si individuano facilmente le incongruenze, siano esse ripetute o sporadici errori di battitura e conversione, ed è semplice apporre le dovute correzioni utilizzando le opzioni presenti negli stessi facet o avvalendosi delle “trasformazioni” che agiscono sull’intero campo.

Il software, infatti, offre una serie di trasformazioni preconfezionate dette “trasformazioni comuni”, che riguardano le operazioni più popolari che si effettuano sui campo. Volendo si possono però effettuare operazioni di trasformazione più sofisticate e su misura utilizzando il linguaggio GREL (Google Refine Expression Language).

Il software di Google, pur essendo un programma molto ben fatto, non è esente da aspetti negativi. Ad esempio, se si lavora in locale, non è possibile operare direttamente sul file, ma è necessario un caricamento dello stesso (come facciamo con gli allegati quando usiamo la nostra webmail) per cui non è possibile lavorare sul dataset utilizzando contemporaneamente software differenti.

Inoltre, alcune trasformazioni come quelle riguardanti il formato del campo (ad esempio la modifica del formato della data), sono abbastanza problematiche se non si ha dimestichezza con il linguaggio GREL. Questo video-tutorial esplora le principali funzionalità che Google Refine ci offre. Le funzionalità più importanti, core del programma, che hanno reso Google Refine uno strumento di successo.

Statisticamente Honky Tonk

Vincenzo Patruno — Mon, 14 Nov 2011 03:16:36 +0000

Tutto è cominciato tempo fa proprio grazie (o per colpa) di SegnalazionIT quando nell’articolo “Lo Statistico su Youtube” si faceva riferimento al brano Statistician’s Blues del cantante americano Todd Snider.

Da bravo “mezzo” musicista quale sono, ho visto quel video come uno stimolo e un invito a fare anch’io qualcosa che parlasse in qualche modo di statistica. Cosa che ovviamente ho fatto ma, altrettanto ovviamente, ho fatto a modo mio.
Da sempre seguo la Country music americana. Nei miei numerosi viaggi per concerti ho avuto non solo il modo di ascoltare dal vivo tantissimi artisti (Brad Paisley, Mark Chesnutt, Marty Stuart, Terri Clark, Randi Travis giusto per fare qualche nome), ma di incontrarli personalmente grazie al fatto che mi sono sempre mosso dotato di “press pass” in qualita’ di inviato free lance per questa o quella rivista di musica.
Sono pero’ anche un autore, scrivo principalmente musica e negli ultimi anni mi sono, per cosi’ dire, “specializzato” sulla musica ironica e surreale. Quella musica comunemente definita “demenziale” che in Italia è stata portata al successo da grandi artisti come Cochi e Renato, Enzo Jannacci, Pippo Franco, Elio e le Storie Tese, Renzo Arbore. Quello che ne e’ uscito fuori è stato innanzitutto un brano di musica “Country Demenziale” che fa della surreale ironia sulla Statistica mettendone in risalto i piu’ comuni paradossi, e successivamente un videoclip, che è quello che vi presento oggi:

Ladies & Gentlemen

ecco a voi

“Statisticamente Honky Tonk”

Statisticamente Honky Tonk di vpatruno

La versione sottotitolata in inglese e’ stata premiata lo scorso Agosto a Miami, Florida, durante la convention della piu’ importante associazione di statistici del mondo, la American Statistical Association. Ne ha parlato qui il Significance Magazine. Thank you so much, Guys! E visto che ho cominciato con i ringraziamenti, non posso dimenticare tutti coloro che hanno preso parte alla realizzazione del videoclip. Mi riferisco ai miei colleghi e amministratori di SegnalazionIT Eric Sanna e Daniele Frongia, per l’occasione al violino e alla chitarra acustica, a Bob Morelli al basso, a Edo Patruno alla batteria, a Piero Chiti al pianoforte e che ha accettato di buon grado di ricoprire il ruolo di protagonista. (qui il link della sua associazione)

Ringrazio ancora le Cowgirls Francesca Pelliccia e Silvia Comanducci e tutta la troupe diretta magistralmente dal regista Gianluigi Bartolini a dalla sua preziosa assistente Barbara Diego: Cristiano De Nicola, Salvatore Marino, Michele Saullo e, per finire in bellezza, il fotografo Giampaolo Vasselli. Grazie ragazzi per il vostro prezioso lavoro!

Infine, da oggi (14 Novembre) fino alla fine della settimana potete votare il video al concorso PIVI visitando il link http://www.dailymotion.com/video/xlq7ge_statisticamente-honky-tonk_music e cliccando su “vota”. Ringrazio in anticipo tutti quelli che lo faranno. E che il grande Banjo vi accompagni.

Contest di statistical graphics della Scuola SIS “Web e Statistica”

Daniele Frongia — Wed, 09 Nov 2011 23:07:27 +0000

A settembre, a Pisa, si è svolta la prima Scuola della Società Italiana di Statistica “Web e Statistica”, conclusa con un contest di statistical graphics tra i partecipanti. Ha vinto, di misura, Marco Calderisi, un brillante chimico (e statistico) fondatore di Terradata.

Qui riportiamo tutti i lavori del contest, (più che) meritevoli di pubblicazione. Complimenti!

Imprese italiane per settore di attività (Dina Alessandro)

I 6 grafici illustrano la situazione a Genova e provincia degli imprenditori “stranieri” (nati all’estero) per paese di nascita, per settore economico, per carica sociale, partendo dalle sedi d’impresa operanti sul territorio italiano fino agli imprenditori italiani operanti a Genova e provincia.

L’intento è stato di evidenziare il diverso andamento dei cittadini nati all’estero in paesi extracomunitari, in particolare delle nazionalità più corposamente presenti sul territorio genovese (marocchina, senegalese, albanese ed ecuadoriana), rispetto ai cittadini comunitari (esclusi gli italiani, francesi, inglesi e tedeschi).

Emerge che gli imprenditori nati in paesi extracomunitari preferiscono operare in qualità di titolari di imprese individuali, in realtà dimensionalmente più contenute e prevalentemente nei settori delle costruzioni e del commercio mentre gli imprenditori nati in paesi comunitari sono maggiormente attivi nell’ambito di strutture societarie più complesse in qualità di socio o di amministratore.

Dina Alessandro: nell’ambito delle attività del Servizio Statistica e Prezzi della Camera di Commercio di Genova mi occupo di elaborazione, analisi dati demografici, economici e non solo, preferibilmente fino al dettaglio comunale e della loro rappresentazione grafica, sempre alla ricerca di tecnologie innovative e visualizzazioni accattivanti.

Come è gestita l’acqua in Italia? (Marco Calderisi)

L’elaborazione prova a rispondere alla domanda: come è gestita l’acqua in Italia? I dati sono relativi al 2003 e sono stati estratti dalle banche dati dell’ISTAT e dei Comuni Italiani. Un primo grafico mostra la distribuzione sul territorio nazionale del consumo di acqua per uso domestico, espresso in m3 per abitante. Le regioni del Sud sono quelle che hanno un minor consumo di acqua, mentre la regione con il consumo superiore è la Valle d’Aosta. Il secondo grafico invece da una indicazione della percentuale di popolazione servita da impianti di depurazione di acque reflue urbane. In questo caso la situazione è molto più omogenea della precedente. La Val d’Aosta ha il 100% della popolazione servita da impianti di trattamento, mentre la Liguria si attesta al 59%.

La due successive treemap mostrano rispettivamente quantità e tipologie di depuratori presenti sul territorio nazionale in termini assoluti e rapportati al numero di abitanti di ciascuna regione.

Si tenga presente che i depuratori possono essere di tre tipi diversi: i depuratori più semplici sono quelli che danno un trattamento primario (T1), mentre quelli più importanti per la depurazione ed il riutilizzo delle acque sono quelli che forniscono un trattamento terziario (T3).

Salta subito all’occhio come siano la Toscana e l’Emilia Romagna le regioni maggiormente attrezzate, ma che solo la Toscana abbia un numero di depuratori di tipo T3 percentualmente maggiore rispetto a quelli di altro tipo. D’altro canto, rapportando questi dati alla popolazione delle regioni si vede che sono la Lombardia e la Campania ad avere più impianti per abitante. La Lombardia ha più impianti di tipo primario, la Campania più impianti di tipo terziario.

Marco Calderisi, chimico/chemiometra, mi occupo di analisi statistica multivariata applicata alla chimica, all’ambiente e alla R&S. Socio fondatore di Terradata, società dedita all’analisi di dati ambientali. Borsista post-doc presso il Centro NMR dell’Università di Siena. Interessi attuali: Open Data, infografica.

Studio di tipo osservazionale longitudinale per raccogliere i dati utili (Barbara Romani)

Il primo gruppo di dati consiste in una lista di enunciati che il soggetto esaminato (io) vorrebbe che gli fossero rivolti nell’arco di una giornata rilevando anche la frequenza con cui dovrebbero essere emessi.

Il secondo gruppo di dati è stato raccolto durante una giornata tipo, registrando gli enunciati che sono stati effettivamente rivolti al soggetto e la loro frequenza.

Barbara Romani, Psicologa-Psicoterapeuta, svolgo attività clinica come libero professionista e mi occupo -come borsista- di ricerca nell’ambito dell’umanizzazione delle cure presso l’Azienda Ospedaliera Universitaria Integrata di Verona. Interessi attuali: metodologia e strumenti per la ricerca.

Pil pro capite e la percentuale di acquisti di beni e servizi via web (Andrea Zedda)

Lo scatterplot interattivo mostra il legame tra Pil pro capite e la percentuale di acquisti di beni e servizi via web nelle regioni di alcuni stati europei. La grandezza dei punti è relativa
ad un ulteriore indicatore che descrive la percentuale di persone che utilizzano abitualmente internet. Per non appesantirne la lettura sono stati distinti per colore solo alcuni stati considerati più rilevanti. Si nota come la correlazione tra i due indicatori sia abbastanza modesta, mentre, di contro, le varie regioni tendono a raggrupparsi quasi naturalmente per Stato di appartenenza. Si può ipotizzare che la tendenza all’uso del web dipenda più da fattori culturali e infrastrutturali che dalle risorse economiche effettivamente disponibili in un dato territorio.

Andrea Zedda, laureato in Scienze Politiche, esperto in ricerca demo-sociale, mi occupo principalmente di elaborazione, trattamento, analisi dei dati e reportistica. Ho collaborato con ISTAT, Provincia di Cagliari, Ablativ scrl, Camera di Commercio di Cagliari, e l’Università di Cagliari. Sono socio fondatore dell’associazione Sardinia Open Data.

(Andrea tornerà presto su SegnalazionIT con alcuni articoli da non perdere, ndr)