Big Data vs. Pig Data

IBM Filing Assistant 2.0Secondo un’interessante analisi di Gianni Riotta, la vittoria presidenziale americana sarebbe stata favorita dalla corretta elaborazione di una grande messe di dati a disposizione o raccolti dallo staff di Obama.

Lo staff del presidente rieletto ha dispiegato con molto anticipo il progetto Narwhal, un sistema che integra da modelli matematici, capacità di elaborare e analizzare big data, applicazioni mobili, raccolta dati e, soprattutto, tanti volontari sul campo.

Romney non è restato certamente con le mani in mano e ha risposto con il progetto Orca (le orche sono i predatori dei narvali), che però ha sofferto di alcuni piccoli intoppi informatici e di infrastruttura, al punto tale che alcuni l’hanno descritto come uno “huge clusterfuck”.

Il problema principale di Orca è che è stato sviluppato da zero in soli sette mesi, dopo i risultati delle primarie repubblicane, con l’aiuto di Microsoft e di una società di consulenza il cui nome non viene rivelato.

Orca voleva dotare i 37.000 volontari di un’applicazione mobile basata sul web con cui potessero fare più o meno le stesse cose che facevano i volontari della campagna del concorrente: registrare le attività quotidiane di attivismo sul territorio aggiungendo alcuni alcuni dati che potevano essere poi elaborati dalla sede centrale.

Prima del passaggio in produzione Orca era stato effettivamente verificato con sistemi automatici di stress test, ma il suo funzionamento non era mai stato verificato su Internet prima del go live. Inoltre i 37.000 volontari non hanno ricevuto, di fatto, nessuna istruzione su come utilizzare il sistema (non dimentichiamo che l’approccio americano medio non è quello dello smanettone italiano).

Il risultato si è presto reso palese: Orca risultava inaccessibile per la gran parte della giornata; non è dato sapere se per sovraccarico del sistema oppure per mancanza di banda.

Se un sistema di raccolta ed elaborazione dati così capillare sembra fantascienza, nel 1994 Neal Stephenson e George Jewsbury, con lo pseudonimo di Stephen Bury, avevano pubblicato Interface, edito in Italia l’anno successivo con il medesimo titolo (e la medesima copertina!) dalla Nord. Parte del piano dei cattivi del romanzo era basato su un campione statistico affidabile di 100 persone a cui era stato fornito a loro insaputa un sistema di monitoraggio delle emozioni che trasmetteva in tempo reale le loro reazioni ad un centro di controllo. Il romanzo è dell’era pre-Internet, ma Narwhal e Orca non ci vanno molto lontani.

Autore: Luigi Rosa

Consulente IT, sviluppatore, SysAdmin, cazzaro, e, ovviamente, geek.

2 pensieri riguardo “Big Data vs. Pig Data”

  1. Solo per curiosità, per piacere ci chiarisci l’inciso “(non dimentichiamo che l’approccio americano medio non è quello dello smanettone italiano)”?
    Grazie 🙂

    1. Avendo lavorato per anni con gli Americani e per un mesetto anche IN America dove ho fatto, tra le alatre cose, selezione del personale, posso dire che l’approccio ad un incarico e’ diverso. Cio’ senza voler dare giudizi di merito, sia chiaro.

      L’approccio americano (e anche anglosassone), forse anche come conseguenza della Common Law, e’ piu’ “di regolamento”. Ti viene detto esattamente quali sono le tue mansioni, i tuoi obblighi e i tuoi diritti. Firmi e il patto e’ stipulato tra le parti. Se vai al di fuori di quello che devi fare puoi essere cacciato, quindi fai esattamente quello che ti viene scritto di fare.

      L’approccio latino e’ piu’ “fumoso” (nel bene e nel male). Ci si arrangia con quello che si ha e si tenta di piegare le cose per farle andar come devono, anche in barba ai regolamenti.

      Tutto quanto in maniera generale, con i difetti che puo’ avere una generalizzazione.

Spazio per un commento