La séance du 8 décembre 2015 du cycle de rencontres et d’échanges autour du traitement et de l’analyse quantitative de données en SHS a été consacrée à la présentation du logiciel OpenRefine par Jean-Baptiste Pressac chargé des bases de données de recherche et de projets de numérisation au CRBC.
Avant l’exploitation statistique ou la diffusion de données alphanumériques1 stockées dans divers formats tabulaires ou en XML2 , il est souvent nécessaire de les « nettoyer » et de les transformer :
– Supprimer des doublons
– Ventiler les données saisies dans le même champ (par ex. un champ « activité » qui contiendrait une liste d’activités séparées par des barres obliques. Par ex. : « documentation/analyse de données/gestion »)
– Supprimer des caractères indésirables (par ex. des espaces en trop)
– Rassembler des données de même valeur (par ex. “Amérique”, “USA”, “U.S.A”, “États-Unis”)
– Aligner les données avec des référentiels (par ex. le Sudoc, Wikidata)
Des tâches qui peuvent être effectuées à l’aide du logiciel gratuit et open source OpenRefine3 que nous avons découvert à travers le nettoyage et la préparation de données issues d’un formulaire d’enquête en sociologie stockées dans un fichier Excel.
Les vidéos de présentation d’OpenRefine (en anglais) sur le compte officiel YouTube du projet constituent une bonne entrée en matière au logiciel. Pour en savoir plus, vous trouverez des informations sur son installation, des cas d’utilisations (des « recettes ») et une abondante liste de tutoriels4 sur la documentation officielle. Notez au passage que la documentation est un wiki auquel vous pouvez participer, ne serait-ce que pour corriger des liens web invalides ou des fautes d’orthographe.
Je vous conseille cependant d’investir dans le livre (en anglais) Using OpenRefine de Ruben Verborgh et Max De Wilde. Il ne coûte que 18 euros en version e-book (PDF, ePub) et a une approche plus structurée et pédagogique que la documentation officielle.
A noter également le forum des utilisateurs sur Google Group.
- Par données alphanumériques, on entend par exemple l’âge d’individus, leur nom, l’entreprise dans laquelle ils travaillent, leur date d’entrée dans l’entreprise, etc. [↩]
- OpenRefine est capable de traiter des données stockées dans divers formats : XLS, XLSX, ODS, CSV, TSV, *SV, XML, RDF-XML, JSON. [↩]
- OpenRefine est disponible sous Windows, Mac OS et Linux. Il requiert l’installation du langage Java. [↩]
- A lire en français Préparer un corpus de tweets avec open/google Refine pour le visualiser dans Gephi [↩]