Séance du 8 décembre 2015 – OpenRefine, mes données à la machine

La séance du 8 décembre 2015 du cycle de rencontres et d’échanges autour du traitement et de l’analyse quantitative de données en SHS a été consacrée à la présentation du logiciel OpenRefine par Jean-Baptiste Pressac chargé des bases de données de recherche et de projets de numérisation au CRBC.

Avant l’exploitation statistique ou la diffusion de données alphanumériques1 stockées dans divers formats tabulaires ou en XML2 , il est souvent nécessaire de les « nettoyer » et de les transformer :
– Supprimer des doublons
– Ventiler les données saisies dans le même champ (par ex. un champ « activité » qui contiendrait une liste d’activités séparées par des barres obliques. Par ex. : « documentation/analyse de données/gestion »)
– Supprimer des caractères indésirables (par ex. des espaces en trop)
– Rassembler des données de même valeur (par ex. “Amérique”, “USA”, “U.S.A”, “États-Unis”)
– Aligner les données avec des référentiels (par ex. le Sudoc, Wikidata)

Des tâches qui peuvent être effectuées à l’aide du logiciel gratuit et open source OpenRefine3 que nous avons découvert à travers le nettoyage et la préparation de données issues d’un formulaire d’enquête en sociologie stockées dans un fichier Excel.

Les vidéos de présentation d’OpenRefine (en anglais) sur le compte officiel YouTube du projet constituent une bonne entrée en matière au logiciel. Pour en savoir plus, vous trouverez des informations sur son installation, des cas d’utilisations (des « recettes ») et une abondante liste de tutoriels4 sur la documentation officielle. Notez au passage que la documentation est un wiki auquel vous pouvez participer, ne serait-ce que pour corriger des liens web invalides ou des fautes d’orthographe.

Je vous conseille cependant d’investir dans le livre (en anglais) Using OpenRefine de Ruben Verborgh et Max De Wilde. Il ne coûte que 18 euros en version e-book (PDF, ePub) et a une approche plus structurée et pédagogique que la documentation officielle.

A noter également le forum des utilisateurs sur Google Group.

 

  1. Par données alphanumériques, on entend par exemple l’âge d’individus, leur nom, l’entreprise dans laquelle ils travaillent, leur date d’entrée dans l’entreprise, etc. []
  2. OpenRefine est capable de traiter des données stockées dans divers formats : XLS, XLSX, ODS, CSV, TSV, *SV, XML, RDF-XML, JSON. []
  3. OpenRefine est disponible sous Windows, Mac OS et Linux. Il requiert l’installation du langage Java. []
  4. A lire en français Préparer un corpus de tweets avec open/google Refine pour le visualiser dans Gephi []

OpenEdition vous propose de citer ce billet de la manière suivante :
Jean-Baptiste Pressac (9 mars 2016). Séance du 8 décembre 2015 – OpenRefine, mes données à la machine. Les outils du quanti en sciences humaines et sociales. Consulté le 13 novembre 2024 à l’adresse https://doi.org/10.58079/sm5r


Une réflexion sur « Séance du 8 décembre 2015 – OpenRefine, mes données à la machine »

  1. Ping : Sémantiser une base de données relationnelle (4e épisode) : Nettoyage d’été de la base de données des acteurs de la littérature en breton – Bibliothèque Yves-Le-Gallo (CRBC)

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.