Open data vs valid data and open data for what?

letto 2660 volte • pubblicato il 03/11/2010 - 15:10 nel blog di Davide D'Amico

L'open data è un tema molto attuale finalmente anche nel nostro paese e di questo dobbiamo tutti esserne contenti.

A questo proposito, nonostante sia completamente in accordo con questo tema,  vorrei sentire la opinione di qualche innovatore su:

1)   Open data significa anche valid data? come gestire all'interno di un processo che ha l'obiettivo di pubblicare dati in formato open, e quindi dati granulari e trattabili, la loro validità temporale?

Mi spiego meglio, supponiamo che io sia una azienda che ha interesse a creare una applicazione utilizzando i dati di rubricaPA messa a disposizione dal formez in formato “open data”. Estraggo il dataset dal sito di linea amica e lo inserisco nel database della mia applicazione che magari consente di filtrare tutti gli ospedali della zona prossimi alla mia posizione che effettuano determinati esami. Ora il cittadino che utilizza l’applicazione sul suo dispositivo mobile, si trova in un certo punto e cerca l’ospedale. L’applicazione effettua la ricerca all’interno del database dove sono presenti i dati relativi ai contatti dell’ospedale  restituendo il numero di telefono per la eventuale prenotazione di un esame o visita. IL cliente chiama ed il numero è sbagliato. Questo perché la rubrica pa non è aggiornata. La conseguenza di ciò è che il cittadino perde fiducia nella società che ha realizzato l’applicazione con un possibile danno all’immagine. Ma non è l’applicazione il problema, bensì l’aggiornamento del dataset e quindi la validità temporale dei dati. Ovviamente ho estremizzato una situazione. Ma come fare a tenere conto della validità  del dato e della sua durata quando siamo di fronte a dati estremamente mutevoli? E come facciamo a trasferire, nel “dataset” che si scarica, l’informazione sulla validità temporale?

2)   Open data è bello utile e “trasparente” ma quali sono gli effettivi ritorni in termini economici delle aziende? Quali sono le applicazioni che potrebbero essere sviluppate e che potrebbero creare valore "reale" per i cittadini e per le aziende stesse che le realizzano?

Qui secondo me dobbiamo darci molto da fare…ed in questo i dipendenti pubblici possono aiutare moltissimo, attivando un dialogo con le imprese, nella individuazione di potenziali servizi a valore aggiunto che potrebbero essere realizzati sfruttando la messa on line di dati in ottica “open”.

6 commenti

Salvatore Marras

Salvatore Marras • 08/11/2010 - 19:13
o almeno ha una sua complessità... ho dovuto scrivere un post!
Davide D'Amico

Davide D'Amico • 09/11/2010 - 09:12
ed eventualmente rispondo..
Pietro Bin

Pietro Bin • 04/11/2010 - 14:13
Il post e' interessante, Per quanto mi riguarda devo dire che l'open data e' senza dubbio una cosa interessante, ovviamente la validazione e' sempre subordinata alla qualita' ed alla tempestivita' dell'aggiornamento dei dati. Quello che pero' ritengo importante e' che i dati devono essere facili da usare e replicare, l'ipotesi di Gianfranco e' corretta, ma ha delle limitazioni, usare un XML o un CSV e' possibile, ma non e' alla portata di tutti, ricordiamoci che quando parliamo di aziende, se queste sono di informatica il problema non sussiste, ma in tutti gli altri casi puo' essere difficile integrare i dati, una soluzione potrebbe essere la creazione di widgets. A questo proposito mi viene in mente il portale www.italia.it, sito del turismo nazionale, se questo generasse dei widgets con indicazioni delle attivita' o dei punti di interesse organizzati per zona, sicuramente tutti gli albergatori, i B&B, gli agriturismo ecc. lo inserirebbero nel loro sito aziendale. Sempre sull'Open Data devo dire che l'esperienza di "BrightScope" insegna che: 1) puo' generare opportunita' di guadagno per le aziende 2) che ci possono essere implementazioni che risolvono problemi o esigenze che l'impianto originale dei dati non assolveva completamente. Sotto questo secondo aspetto anche io ho fatto un'esperienza circa 2 anni fa, ho spiderato le pagine del sito: www.smsconsumatori.it del Ministero delle Politiche Agricole, riprendendo i dati dei prezzi dei prodotti alimentari e proponendoli con una tabellizzazione differente rispetto a quella proposta dal sito del ministero. La cosa ha avuto un notevole interesse, fatto sta che dopo poco molti mi hanno chiesto di usare i dati (principalmente siti di culinaria, siti di consumatori ecc.) Il problema e' nato quando hanno modificato due volte nel giro di pochi mesi l'impostazione dei dati, a quel punto ho rinunciato a moficare lo spider e la cosa e' finita.
profilo vuoto

profilo vuoto • 31/05/2012 - 10:28
Mi trovo d'accordo con la sua osservazione relativa al rapporto di subordinazione tra validazione dei dati, qualità e tempestività del loro aggiornamento, questo è sicuramente un problema non banale da risolvere, ma gli strumenti sono disponibili. Al Forum PA 2012 http://portal.forumpa.it/faceted_search/results/jvalidator è stato affrontato esattamente questo problema, cioè la qualità dei dati in riferimento agli open data esposti dalla PA. La soluzione proposta è lo strumento open source www.jvalidator.com che funge: da filtro, scartando dati non validi e da fornitore dati, prelevandoli nei tempi e nei modi schedulati. Potrebbe un software di questo tipo aiutare a risolvere il problema della validazione dei dati e della gestione, più in generale, degli open data?
Gianfranco Andriola

Gianfranco Andriola • 07/11/2010 - 16:59
Mi trovi d’accordo sulla necessità di facilitare l’accesso alle informazioni anche per i “non tecnici”, e credo anch’io che i widgets possano rappresentare uno strumento di comunicazione efficace. Le agenzie governative americane li usano da tempo con buoni risultati. Qui l’esempio della CDC.gov (Agenzia per la prevenzione e il controllo sanitario) che mette a disposizione una vasta serie di widgets da embeddare nei siti/blog, c’è un po’ di tutto: dalle statistiche nazionali sull’influenza fino ai quiz per la prevenzione. Inoltre, in perfetta logica open government, a questa pagina è possibile avere le statistiche analitiche degli accessi generati dagli stessi widgets, sintomo di ulteriore trasparenza e accountability nei confronti dei cittadini. La tua interessante esperienza con smsconsumatori.it, a mio giudizio, introduce un altro aspetto essenziale dell’open data: la standardizzazione dei dati. Cioè, se oltre a fornire i dati in formato aperto le pubbliche amministrazioni lo facessero anche attraverso una modalità standardizzata, sia in verticale (lo stesso ente nel tempo) che orizzontale (tra ente e ente), gli sviluppatori troverebbero davvero nella PA un “fornitore affidabile” di materie prime (row data) su cui realizzare applicazioni. Volendo anche qui trovare un’esperienza estera di successo si potrebbe citare l’ottimo lavoro fatto dal Central Office of Information UK (più o meno l’omologo inglese del nostro DIT) che ha realizzato delle Linee guida dedicate alla pubblicazione dei dati in formato aperto (avevo segnalato la pubblicazione dei questo documento qualche tempo fa qui su Innovatori).
Gianfranco Andriola

Gianfranco Andriola • 04/11/2010 - 10:54
Riguardo alla prima delle due questioni che sollevi io la vedo in questo modo: un margine di errore ci potrà sempre essere, ma è un problema strutturale che riguarda la pubblicazione dei dati in formato aperto solo di riflesso. Provo a spiegarmi meglio, partendo proprio dal tuo esempio. L’errore prodotto della tua applicazione, che ha restituito il numero di telefono dell’ospedale errato, sarebbe stato lo stesso errore in cui sarebbe incappato l’utente se avesse cercato quell’informazione sul sito di Linea amica, da momento che le informazioni (assolutamente perfettibili) che utilizza la Rubrica PA e quelle pubblicate in formato aperto - riutilizzate dalla tua ipotetica applicazione - coincidono. Mentre per la questione dell’aggiornamento del db che sollevi posso solo ipotizzare che forse un formato XML, che produce feed ad ogni aggiornamento, potrebbe risultare più comodo per lo sviluppo di una applicazione, ma non avendo competenze informatiche rilancio la questione a chi è più esperto sul tema. Può darsi che esista un modo per aggiornare costantemente anche con CVS. Al di la dell’esempio specifico comunque, penso che Open data sia soprattutto Valid data. Cioè se un ente produce e aggiorna dati per erogare un servizio per il quale ha avuto un mandato istituzionale (e dei fondi pubblici …) è nel suo interesse mantenere quei dati aggiornati. Poi il fatto che quegli stessi dati vengano distribuiti in formato aperto non pregiudica la loro validità, in fondo si tratta solo di uplodarli on line con il giusto formato e la giusta licenza. Ed è proprio in questo che a mio parere l’open data trova la sua logica: gli enti non producono dati per fornirli agli sviluppatori, ma condividono i data set che già hanno sviluppato per assolvere alle loro funzioni utilizzando internet come canale di distribuzione che riduce a zero i costi marginali di riproduzione. In questo modo inoltre si può incrementare la qualità dei servizi resi attraverso la creatività degli sviluppatori che vorranno riutilizzare quei dati producendo applicazioni in grado di dare agli utenti molteplici possibilità di accesso a quelle stesse informazioni. Senza contare una volta aperti quei dati sono esposti ai feedback dei cittadini e delle imprese che, se ben canalizzati, possono fornire un notevole supporto per la loro manutenzione. Mentre leggendo la seconda parte del tuo post mi è venuto in mente in caso di BrightScope, un sito che utilizza i dati aperti messi a disposizione dal Governo americano sul portale data.gov per offrire agli utenti un servizio di orientamento nella pianificazione dei fondi pensione. L’attività è stata lanciata nel 2008 e quest’anno ha chiuso con un utile di 3 milioni di dollari e con un previsionale di 10 milioni per il prossimo anno. Nel caso di BrightScope gli sviluppatori del sito hanno avuto la capacità di cogliere un bisogno specifico dei cittadini (per quel poco che ne so orientarsi tra i fondi pensionistici USA è cosa assai complessa) e sulla base di questo individuare i dati che opportunamente rielaborati offrissero un servizio che fosse aderente alle esigenze agli utenti. Un servizio come BrightScope non sarebbe stato possibile prima del’open data. Credo che questa esperienza spieghi abbastanza bene che con una giusta dose di creatività e ingegno l’open data - e più in generale l’open governnment - possa rappresentare un’opportunità di guadagno sia per le imprese (in termini di ritorno economico) che per i cittadini (in termini di nuovi servizi che la PA non era in grado di fornirgli o comunque di fornire ad un livello più basso). Sarà poi il mercato a premiare chi saprà utilizzare al meglio le opportunità messe a disposizione dalla Pubblica amministrazione attraverso i dati aperti. In questo senso l’open data ha una valenza infrastrutturale, i Governi aprendo i propri dati contribuiscono allo sviluppo socio economico del Paese fornendo i dati grezzi che, in una economia della conoscenza, diventano materia prima l’incremento di attività commerciali. Condivido pienamente l’invito con cui chiudi il tuo post, in fondo è un circolo virtuoso: maggiore sarà la quantità e la qualità dei dati messi a disposizione dalla pubblica amministrazione e maggiore sarà il valore aggiunto dei servizi che saranno realizzati per gli utenti, e - di conseguenza - maggiori saranno i vantaggi per le imprese che decideranno di investire nell’Open data.