
ADaMSoft, progetto del Consorzio per le Applicazioni di Supercalcolo Per Università e Ricerca (Caspur) coordinato da Marco Scarnò, si presenta così:
ADaMSoft è un progetto che si propone di rendere accessibili a tutti, in un modo semplice e immediato, i concetti e le metodologie alla base del processo di analisi dell’Informazione. Esso consiste di: * un sistema multimediale che si propone di contribuire attivamente alla diffusione di tali concetti e metodologie; * un software, Open Source, contenente alcune tra le più innovative tecniche statistiche e di Data Mining… e molto altro ancora
Come è nato il progetto ADaMSoft?
ADaMSoft nasce nell’ambito di una collaborazione internazionale supervisionata dall’UNESCO iniziata nel 2003, volta alla realizzazione di un software free e open-source per il trattamento, la gestione e l’analisi dell’Informazione. Il gruppo di esperti ha avuto il compito di definire le caratteristiche ottimali del software (TOR) quali ad esempio: l’interfaccia grafica user-friendly, la possibilità di manipolare e memorizzare grandi set di dati, la realizzazione di documentazione per utenti e sviluppatori ecc. Il progetto UNESCO si conclude con l’elaborazione di tale documento e non se ne sarebbe fatto niente se un gruppo di statistici e informatici appassionati, testardi (e anche un po’ matti) non avesse deciso di continuare ciò che era stato appena iniziato. Così un po’ per gioco, un po’ perché il progetto aveva il sapore di una sfida, abbiamo iniziato a sviluppare il software mettendoci dentro la nostra esperienza e seguendo anche le linee guida UNESCO. Così è nato ADaMSoft (Software per l’Analisi dei Dati e Metodologie Statistiche) il 1 Marzo 2007. In un anno e mezzo è stato scaricato 1440 volte e a breve verrà rilasciata la versione 2.0.0.
L’idea che mi sono fatto è che il software ADaMSoft abbia un’interfaccia grafica non dissimile da quella di SAS, e che sotto ci sia un robusto motore open source: è così?
Esattamente e anche la sintassi lo ricorda, tuttavia c’è una bella differenza rispetto a SAS: dal menù principale si accede a tutte le procedure (statistiche e non) presenti in ADaMSoft che possono essere eseguite semplicemente cliccando sulle opzioni suggerite. L’utente quindi non ha bisogno di conoscere sintassi o parole chiave per lavorare: un po’ come in SPSS. Attualmente sono state implementate circa 150 procedure di analisi e gestione dei dati. Le analisi statistiche disponibili comprendono sia i metodi classici (test statistici, modelli lineari, analisi fattoriali…), sia le tecniche innovative (reti neurali, analisi fuzzy, alberi di decisione…). Il motore di ADaMSoft è Java, che lo rende compatibile con Unix e Windows. Inoltre sono state utilizzate le librerie scientifiche Open Source sviluppate da uno dei più grandi centri di ricerca europei, il CERN.
Una delle questioni che stanno più a cuore dei ricercatori che effettuano analisi statistiche è: ma il software “regge” grosse moli di dati?
ADaMSoft è in grado di gestire e analizzare dati di elevate dimensioni, anche di diversi milioni di unità. Questo è possibile grazie a una lettura sequenziale e bufferizzata dei record che può anche essere personalizzata dall’utente in base alla potenza della macchina in cui il processo di analisi è eseguito. Un grosso passo avanti rispetto al progetto statistico open source più importante al livello mondiale: R.
Ci puoi parlare di un progetto dove ADaMSoft è stato utilizzato ed è entrato in produzione?
Tante e diverse sono le esperienze. All’interno del consorzio Caspur è stato dismesso il SAS e tutti i progetti vengono gestiti con ADaMSoft. Attualmente al Policlinico universitario Umberto I ADaMSoft viene utilizzato per attività di Business Intelligence su un db contenente i dati clinici e amministrativi degli ultimi 10 anni. In passato il Ministero dell’Istruzione lo ha utilizzato per la raccolta e l’analisi dei dati per una indagine sul tempo libero degli studenti delle scuole secondarie di II grado. Numerose esperienze hanno interessato il mondo accademico e in particolare la facoltà di Statistica e di Sociologia della Sapienza dove sono stati tenuti corsi e seminari che hanno raccolto il consenso di studenti e docenti. Il nostro software è stato utilizzato anche per analisi pubblicate su riviste scientifiche dall’università di Pavia. Per il futuro, oltre a continuare l’attività accademica, abbiamo ricevuto l’interessamento della RAI nella gestione e trattamento dei dati di ascolto.
Ho trovato interessante la digressione semiseria dei vostri scritti: oltre al forum è in previsione l’apertura di un blog in cui coinvolgere anche gli utenti esterni? (Mi sa che questa, più che una domanda, è un consiglio:-)
E’ un’ottima idea, anche se non credo che riusciremo ad attuarla nell’immediato. Infatti portare avanti il progetto di sviluppo del software comprese la redazione della documentazione (il manuale utente è di oltre 300 pagine) e del materiale didattico… è molto impegnativo e non abbiamo molto tempo da dedicare ad altro. Considera che il gruppo è composto da 5 persone che devono gestire anche altri progetti oltre ad ADaMSoft. Chi volesse partecipare al progetto può compilare il form di registrazione oppure può scriverci o telefonarci, tutti i riferimenti sono sul nostro sito.
Come sai in Istat è in corso una non facile “migrazione” da SAS ad R; in questo contesto come credi si possa inserire ADaMSoft?
Rispetto ad ADaMSoft, R è decisamente un software più solido e navigato da anni di esperienza e gruppi di sviluppatori in tutto il mondo. Tuttavia l’uso del nostro software dentro l’istituto potrebbe costituire un grosso vantaggio per chi, abituato al SAS, teme il command editor di R che in effetti tutto è tranne che friendly! Inoltre R non è ancora in grado di gestire grossi archivi, sebbene stia facendo importanti progressi. E’ azzardato, almeno per ora, dire che R o ADaMSoft sostituiranno completamente il SAS però posso dire che ADaMSoft ha le potenzialità per eseguire processi di analisi e di reportistica senza troppa fatica da parte dell’utente. A breve comunque terremo dei corsi di formazione per il personale Istat, poi si vedrà…
Che consigli possiamo dare a chi vuole iniziare a lavorare con ADaMSoft?
In generale consultare il sito http://adamsoft.caspur.it/ è il modo migliore per conoscere ADaMSoft. Qui c’è tutto: informazioni, esempi, guide, materiale didattico… In particolare agli utenti che non conoscono la statistica e che non hanno mai lavorato con i software statistici consiglio di leggere il materiale didattico iniziando dalle famigerate dispense di Leone e Beatrice che illustrano i fondamenti di informatica, statistica e ADaMSoft in modo divertente. Per fare pratica con le prime analisi in ADaMSoft sono a disposizione alcuni esempi di utilizzo (lettura e scrittura dei dati, analisi della correlazione). Infine ci sono dei moduli di autoapprendimento e dei veri e propri processi di analisi svolti in ADaMSoft che comprendono sintassi commentata e risultati. Gli utenti già esperti possono tranquillamente lanciare ADaMSoft e cominciare subito a lavorarci. Per chi dovesse incontrare difficoltà è a disposizione il supporto tecnico con utenze skype, msn e posta elettronica.
Il vostro gruppo è alla ricerca di nuovi collaboratori? Tra i lettori del nostro blog ci sono ottimi statistici con competenze informatiche e viceversa…
Periodicamente ricerchiamo nuovi collaboratori, sia per ADaMSoft sia per altri progetti; perciò cari statistici e informatici tenete d’occhio il sito del Caspur perché è lì che vengono pubblicati tutti i bandi di selezione del personale! Sicuramente per continuare a far crescere e conoscere ADaMSoft ci sarà bisogno di nuove leve!