La ripresa delle attività lavorative sembra iniziare bene per la ricerca italiana. Entro il 30 settembre, infatti, i ricercatori interessati a contribuire attivamente alla valorizzazione della ricerca sul proprio territorio potranno partecipare al Bando indetto da AIR per la formazione di 4 Comitati di Coordinamento nazionale sulle seguenti aree di studio: Energia, Economia, Scuola e Impresa.

Il compito dei Comitati sarà quello di discutere su specifici temi e problematiche attuali (relative naturalmente a ciascuna area) per definire la posizione dell’AIR, redigere documenti ufficiali, rappresentare l’Associazione in contesti ufficiali e istituzionali, svolgere azioni di sensibilizzazione e supportare l’organizzazione di specifici eventi. Le riunioni di coordinamento si svolgeranno in forma itinerante tra Milano, Bologna, Roma, Firenze, Trieste e Napoli (queste le prime città indicate ma ce ne saranno anche altre) con l’obiettivo di potenziare la rete a livello nazionale.

La partecipazione ai Comitati avverrà in forma gratuita, in qualità di Socio dell’AIR, ma sembra comunque una buona occasione per “uscire dalla scrivania” e confrontarsi con altri esperti del settore, un’ottima esperienza di crescita per i giovani ricercatori con un buon curriculum di studio, nonché uno stimolo per impegnarsi attivamente in termini di promozione del settore.

Per un approfondimento delle diverse aree di studio vi rimandiamo alla sezione Forum del sito dell’AIR, dove è possibile anche scaricare i moduli per partecipare al Bando.

Come tutti gli utenti ho la necessità di fare i backup in modo sicuro e quanto più possibile automatizzato. Capita sovente, infatti, che presi dalla necessità del momento si utilizzi una delle innumerevoli schede USB che generalmente affollano la scrivania finendo così per perdere il conto di cosa ci sia registrato e quali siano le versioni dei file sparse qua e là . Su Linux c’è il mitico RSync; esiste per il mondo Microsoft uno strumento altrettanto versatile e soprattutto di libero utilizzo? La risposta è sì, esiste e si chiama Synctoy

Funziona bene ed è molto semplice da usare. Utilizzando le tipiche modalità di interazione a cui ci ha abituati Microsoft, basta configurare una origine ed una destinazione dati e registrarne il nome in modo da poterla poi richiamare manualmente o in maniera automatica.

• Tuning and Optimizing MySQL for Maximum Performance, il 9 Settembre
• Advanced Techniques for High Traffic Sites, il 17 Settembre
• High Availability Architectures for Online Applications, il 30 Settembre

La tecnologia della virtualizzazione, complici i progressi tecnologici, la diminuzione dei costi hardware e la maturità dei prodotti commerciali, da qualche anno si è estesa dal mercato dei mainframe a quello dei server. Come sempre Microsoft interpreta un ruolo di primo piano e propone Microsoft Hyper-V Server 2008, con cui è possibile creare anche macchine virtuali Linux. Al momento il funzionamento dei Linux Integration Components è certificato per le seguenti distribuzioni:

• SUSE Linux Enterprise Server 10 con Service Pack 2 x 86 Edition
• SUSE Linux Enterprise Server 10 con Service Pack 2 x 64 Edition
• SUSE Linux Enterprise Server 10 con Service Pack 1 x 86 Edition
• SUSE Linux Enterprise Server 10 con Service Pack 1 x 64 Edition

Tuttavia il 16 febbraio scorso Taylor Brown, Hyper-V Integration Test Lead, ha dato notizia di un accordo tra Microsoft e Red Hat. Maggiori informazioni e dettagli possono essere ottenuti consultando:

• Il blog del Team di Virtualizzazione Microsoft
• Il sito ufficiale di RedHat

Per scopi di sperimentazione ho installato RedHat Enterprise 5 senza incontrare alcuna difficoltà. A quanti volessero approfondire le modalità con cui gli Integration Components possono essere utilizzati per altre distribuzioni Linux suggerisco:

• http://www.jules.fm/Logbook/files/category-hyper-v.html
• http://www.jules.fm/Logbook/files/win2008_linuxic_rc2_rhel.html

Il 20 luglio 2009 Microsoft ha annunciato che i Linux Integration Components per Hyper-V sono stati rilasciati sotto licenza GPL v2, e i driver sintetici (che abilitano la para-virtualizzazione) sono stati sottomessi alla Linux Kernel Community per l’inclusione nelle successive versioni del kernel di linux. Da ciò consegue consegue che tali driver saranno disponibili a chiunque esegua un’appropriata versione del kernel di linux. La speranza di Microsoft è che ogni distribuzione Linux (come CentOS, Ubuntu, e altre…) possa renderli disponibili ad ogni utente attraverso le loro nuove release.

Maggiori informazioni possono essere tratte dai seguenti link:

• Microsoft PressPass
• Channel 9 Video

Ovvero come i nerds o i geeks nel loro piccolo possono dare una mano al mondo.

Forse sembra un po’ esagerato come incipit. Quel che voglio dire è che il lavoro dietro ad un computer a volte può essere piu’ appagante di quel che possa sembrare.

Le ONG (Organizzazioni Non Governative) si presentano sotto varie forme. Piccole organizzazioni locali, ma anche più grandi con grossi budget.

In ogni caso il più grande sforzo è certo quello di tagliare al massimo i costi di amministrazione o di attività extra, cosicchè la maggior parte del budget possa essere usato per la missione principale della ONG stessa.

Inoltre, qualsiasi sia l’obiettivo della ONG, la raccolta, il processamento e la diffusione delle informazioni diventa importante per monitorare i progetti e ottenere finanziamenti.

Ed è in questo ambito che l’Information Technology e i vari strumenti informatici possono giocare un ruolo fondamentale

Già qualche autore del nostro blog (me compresa) ha partecipato a progetti IT per aiutare alcune attività di Emergency, una ONG italiana: la gestione delle riviste e degli articoli, e la gestione dei gruppi di volontari

L’automatizzazione di alcune operazioni di processamento dei dati, riduce il tempo da dedicare a queste, per cui anche un abbattimento dei costi.

Nell’ottica di riduzione delle spese le soluzioni basate su OSS sono da prediligere

Volevo quindi segnalare questo sito (in inglese) per quelli di voi che che lavorano o fanno volontariato in una ONG e possano necessitare di strumenti informatici per le loro attività: Open Source Software for Non-Governative Organisation

Mozilla Firefox è meglio, molto meglio, di Internet Explorer. E di Chrome?

Video DownloadHelper

Per scaricare e convertire video su YouTube, Google Video, MySpace, iFilm ecc con un paio di clic.

AutoCopy

Supponiamo di avere un file ASCII contenente valori di parametri ambientali, ad esempio le temperature orarie giornaliere di una data zona relative ad un intero anno. Un tale file potrebbe essere prodotto da una centralina di rilevamento del tipo utilizzato in meteorologia. Supponiamo adesso di voler calcolare la temperatura media di ciascun mese oppure di ciascun giorno della settimana. Quali strumenti potremmo utilizzare? Potremmo importare il file in un foglio elettronico (OpenOffice Calc/Excel) e poi analizzare i dati con l’ausilio di una tabella pivot, oppure caricarlo in una tabella di un database relazionale come MySQL (Oracle) e produrre i risultati voluti eseguendo delle query SQL, oppure scrivere uno script AWK o un programma che faccia una scansione dell’intero file e calcoli i valori di cui abbiamo bisogno.

Ma se le centraline di rilevamento fossero migliaia, ad esempio quelle di un intera nazione o se si trattasse di analizzare file ASCII enormi come i log di decine di web server o di creare indici di ricerca analizzando milioni di pagine web, quale sarebbe la reale praticabilità delle soluzioni prima esaminate? Viviamo nell’era dei dati digitali e ne produciamo di nuovi ogni giorno con un ritmo vertiginoso: una stima di IDC prevede che i dati registrati elettronicamente raggiungeranno nel 2011 la dimensione di 1.8 zettabyte. Intuiamo tutti che una buona strategia di analisi consista nel suddividere il lotto di input in più parti ed esaminarli in parallelo su diversi elaboratori: dividi e conquista!

Tuttavia anche con un approccio a forza bruta rimangono aperte alcune questioni molto importanti: coordinare il lavoro, raggruppare i risultati intermedi, rilanciare le elaborazioni fallite per errore applicativo o per guasto hardware, bilanciare e sfruttare in modo ottimale le risorse disponibili, il tutto utilizzando una soluzione che sia anche scalabile. In questo post vi parlerò di Hadoop, di Map/Reduce (un framework software per processare in parallelo dataset enormi) e di HDFS (un file system distribuito progettato per gestire file grandi centinaia di GB o di TB).

Il paradigma di programmazione è alquanto singolare. In sintesi mediante l’operazione di map si creano delle coppie chiave/valore che poi verranno ordinate e fuse insieme mediante un tipico meccanismo di sort/merge. E’ possibile personalizzare le funzioni sopra citate scrivendo il codice necessario a seconda della struttura del dato di input.

Lo storage è reso disponibile da un cluster comprendente anche migliaia di nodi di macchine comuni, non costosissimi elaboratori ma pur sempre macchine destinate al mercato professionale: ad esempio processore quad-core Intel Xeon, 8 GB ECC RAM e storage FC/SATA. Hadoop è stato creato da Doug Cutting, il creatore di Apache Lucene, e fonda le sue origini in Apache Nutch, un motore di ricerca web open source. Spigolando qua e là ho trovato una nota di colore: pare che Doug abbia chiarito che il nome Hadoop non è un acronimo ma il nome dato da suo figlio ad un elefantino giallo.

Ho passato qualche giorno a leggere l’ottimo libro di Tom White, uno dei membri del progetto, ed impegnato un week end per installare Hadoop e fare qualche test di funzionamento. Ovviamente confinare un “mostro” come Hadoop all’interno di un blog è davvero impossibile, tuttavia i link di cui è disseminato questo post dovrebbero essere sufficienti a mettere sulla buona strada i lettori più curiosi. Per padroneggiare lo strumento c’è davvero molto da studiare sia dal punto di vista sistemistico che applicativo (Hadoop è scritto in Java ma è possibile sviluppare anche in Ruby, Python, C++). Le figure che ho riportato sono tratte dalla mia installazione e si riferiscono alla interfacce web con cui è distribuito Hadoop: Task Tracker (porta 50060), HDFS name node (porta 50070), MapReduce Job Tracker (porta 50030).

Prima di parlarvi dei risultati ottenuti vorrei segnalarvi due tutorial di Michael Noll; contengono indicazioni preziose su come costruire un single-node cluster e multi-node cluster con sistema operativo Ubuntu. Io ho utilizzato Fedora 11 e, dopo qualche peripezia, sono riuscito ad avere un sistema funzionate ed a condurre qualche test su un PC con 1GB di RAM che ho chiamato (e qui tradisco la mia passione per la fantascienza) BorgCube. Mi è sembrato un nome adatto: un cubo Borg (il cluster), la collettività (il framework), i droni (i nodi).

Dopo aver verificato il corretto funzionamento di Hadoop (a proposito c’è qualche differenza di configurazione tra la versione 18 e la 20), ho scaricato un file ASCII dal progetto Gutenberg e, dopo aver ricompilato l’applicazione di esempio WordCount.java e generato il file JAR l’ho mandata in esecuzione ottenendo i risultati riportati nella figura seguente.

Le prove effettuate non potevano avere altra pretesa se non quella di verificare a grandi linee il funzionamento di Hadoop ma credo che questo progetto possa rivelarsi molto interessante per studenti e ricercatori universitari e per tutti coloro interessati a macinare grandi volumi di dati (ed a spendere anche qualche euro per le macchine).

Nella lista di quanti utilizzano Hadoop si sono nomi del calibro di AOL, Facebook, Google, IBM, Yahoo (solo per citarne alcuni). Un ultima nota da segnalare: Yahoo ha ordinato 1 terabyte di dati in 209 secondi con un cluster di 910 nodi.