Séance du 8 décembre 2015 – OpenRefine, mes données à la machine

La séance du 8 décembre 2015 du cycle de rencontres et d’échanges autour du traitement et de l’analyse quantitative de données en SHS a été consacrée à la présentation du logiciel OpenRefine par Jean-Baptiste Pressac chargé des bases de données de recherche et de projets de numérisation au CRBC.

Avant l’exploitation statistique ou la diffusion de données alphanumériques1 stockées dans divers formats tabulaires ou en XML2 , il est souvent nécessaire de les « nettoyer » et de les transformer :
– Supprimer des doublons
– Ventiler les données saisies dans le même champ (par ex. un champ « activité » qui contiendrait une liste d’activités séparées par des barres obliques. Par ex. : « documentation/analyse de données/gestion »)
– Supprimer des caractères indésirables (par ex. des espaces en trop)
– Rassembler des données de même valeur (par ex. « Amérique », « USA », « U.S.A », « États-Unis »)
– Aligner les données avec des référentiels (par ex. le Sudoc, Wikidata)

Des tâches qui peuvent être effectuées à l’aide du logiciel gratuit et open source OpenRefine3 que nous avons découvert à travers le nettoyage et la préparation de données issues d’un formulaire d’enquête en sociologie stockées dans un fichier Excel.

Les vidéos de présentation d’OpenRefine (en anglais) sur le compte officiel YouTube du projet constituent une bonne entrée en matière au logiciel. Pour en savoir plus, vous trouverez des informations sur son installation, des cas d’utilisations (des « recettes ») et une abondante liste de tutoriels4 sur la documentation officielle. Notez au passage que la documentation est un wiki auquel vous pouvez participer, ne serait-ce que pour corriger des liens web invalides ou des fautes d’orthographe.

Je vous conseille cependant d’investir dans le livre (en anglais) Using OpenRefine de Ruben Verborgh et Max De Wilde. Il ne coûte que 18 euros en version e-book (PDF, ePub) et a une approche plus structurée et pédagogique que la documentation officielle.

A noter également le forum des utilisateurs sur Google Group.

 

  1. Par données alphanumériques, on entend par exemple l’âge d’individus, leur nom, l’entreprise dans laquelle ils travaillent, leur date d’entrée dans l’entreprise, etc. []
  2. OpenRefine est capable de traiter des données stockées dans divers formats : XLS, XLSX, ODS, CSV, TSV, *SV, XML, RDF-XML, JSON. []
  3. OpenRefine est disponible sous Windows, Mac OS et Linux. Il requiert l’installation du langage Java. []
  4. A lire en français Préparer un corpus de tweets avec open/google Refine pour le visualiser dans Gephi []

Séance 1 Séminaire Les Outils du Quanti en SHS

Pour cette première séance du cycle de rencontres et d’échanges autour du traitement et de l’analyse quantitative de données en SHS pour la période 2015-2016, nous avons assisté à la présentation de Germain BARRÉ (chercheur associé au LABERS – UBO) sur l’utilisation de QCA.

Présentation de l’intervention

Séance 1 – 3 novembre 2015Le conformisme dans le choix des téléphones portables chez des jeunes français, Germain BARRÉ (analyse de réseaux sociaux avec QCA)

Résumé

Cette présentation traite du conformisme dans la sphère privée et à sa relation avec l’« esquive » du politique des jeunes français. Notre hypothèse était la suivante : être en accord avec son réseau proche est satisfaisant et la capacité à s’opposer à son influence est favorisée par une plus grande satisfaction générale ou dans certaines activités. La méthode utilisée a été celle de Glaser et Strauss : la théorie ancrée. Pour ces deux auteurs, la comparaison de populations suffisamment différentes permet de produire de la théorie. L’objet choisi a été le téléphone portable et trois populations ont été interviewées entre mars 2010 et avril 2011. Trois processus (satisfaction, matérialisme, famille) permettent d’expliquer la capacité d’opposition dans la sphère privée. En les combinant, on observe seulement trois exceptions que l’on peut expliquer : les processus sont des causes ou des manifestations de l’« esquive » du politique. Les variables associées à ces processus sont différentes pour les filles et pour les garçons. Compte tenu du faible nombre d’exceptions et des données au niveau macro, on peut s’interroger sur la capacité d’autonomie des jeunes français, non seulement dans la sphère publique mais aussi dans la sphère privée.

Référence bibliographique

BARRE G., 2015, « Conformity through the mobile phone choices of the young French ». Quality & Quantity. Mis en ligne le 30 novembre 2015. <http://link.springer.com/article/10.1007%2Fs11135-015-0293-y#/page-1>.

Informations pratiques

La séance s’est déroulée mardi 3 novembre 2015 de 14h à 16h dans la salle C219 (2e étage), UFR Lettres et sciences Humaines, Université de Bretagne Occidentale (UBO), Brest – Plan d’accès

Affiche

Liens utiles

Programme Les Outils du Quanti en SHS 2015-2016

Ce cycle propose une série de rencontres autour de l’analyse quantitative de données en sciences humaines et sociales. Il est pluridisciplinaire (démographes, sociologues, psychologues, géographes, gestionnaires, économistes, etc.) et transversal car selon la discipline, les chercheurs ne traitent pas de la même manière leurs données quantitatives. Ils ont des approches différentes et utilisent des traitements et logiciels spécifiques qui peuvent être complémentaires.

L’objectif est de créer un espace d’analyses et de discussions scientifiques sur nos pratiques. Ce cycle d’échanges prendra en compte autant les dimensions épistémologiques que méthodologiques en partant de nos pratiques et usages mais aussi de nos outils.

Programme 2015-2016

Séance 1 – 3 novembre 2015Le conformisme dans le choix des téléphones portables chez des jeunes français, Germain BARRÉ (analyse de réseaux sociaux avec QCA)

Séance 2 – 8 décembre 2015OpenRefine, mes données à la machine, Jean-Baptiste PRESSAC (nettoyage de données tabulaires avec OpenRefine)

Séance 3 – 2 février 2016Traiter un corpus de 2653 réponses de lycéens et lycéennes à une question ouverte sur leur conception de la réussite, Aurélie SEZNEC & Nicole ROUX (analyse de données textuelles : expérimentation de traitements des réponses à une question ouverte avec Modalisa et Sphinx)

Séance 4 – 8 mars 2016Sonal : le couteau suisse pour l’analyse des entretiens, Éric ROUZEAU (analyse de fichiers audio avec Sonal)

Séance 5 – 26 avril 2016Iramuteq, une approche statistique textuelle instrumentée des corpus qualitatifs et quantitatifs : une alternative au logiciel Alceste, Sarah BELLEMARE & Mathilde LAVRILLOUX (analyse de données textuelles avec Iramuteq)

Séance 6 – mai 2016Bricolages et explorations. L’appropriation d’outils et de méthodes dans l’analyse quantitative en sciences sociales, journée d’étude autour de l’analyse de données quantitatives

Informations pratiques

Les séances ont lieu le mardi de 14h à 16h dans la salle C219 (2e étage), UFR Lettres et sciences Humaines, Université de Bretagne Occidentale (UBO), Brest – Plan d’accès

Public visé

Enseignant(e)s-chercheur(e)s, doctorant(e)s, étudiant(e)s de master, issu(e)s de toutes les disciplines faisant usage du traitement et de l’analyse quantitatives de données

Contact

Laurent Mell laurent.mell@univ-brest.fr

Les outils du quanti en sciences humaines et sociales

L’entrée de notre société dans l’ère du numérique a pour résultat de multiplier la production de données sons, images, textes, chiffres sous des formats numériques dont le traitement automatique, informatique peut s’envisager sous l’angle de problématiques en SHS. Ce carnet propose de discuter, et d’échanger sur des expériences et expérimentations testant dans un protocole de recherche SHS des outils, en posant d’emblée le triptyque constitution du corpus/outils d’analyse/traitement de données afin de penser les limites et les possibles d’une démarche dans sa globalité en amont. Comment faire par exemple lorsque nous disposons de corpus constitués à la fois d’images, de sons, de textes, de discours pour les mettre en lien avec des variables qui les caractérisent ? Ou encore lorsque nous disposons de dossiers complexes comprenant à la fois images, sons et textes dont il s’agit d’établir des liens entre eux… Au-delà des problèmes techniques et des algorithmes de traitements, les utilisateur, usagers d’outils que sont les chercheurs en SHS ont besoin d’échanger entre eux sur leurs expérimentations. Certains se lancent dans la création d’outils, des mathématiciens et informaticiens proches de nos disciplines ont besoin également de comprendre nos appropriations, nos besoins, nos questions et de les croiser avec leurs propres préoccupations de chercheurs. La création d’un espace d’échanges au sein de nos universités pluridisciplinaires participe d’une dynamique de recherche qui a déjà acquis deux ou trois décennies d’expérimentations. De nouveaux possibles s’ouvrent et ce que nous produisons est à accompagner de nos analyses épistémologiques, méthodologiques critiques tout en s’immergeant.