Texte rédigé par Aurélie Seznec (LABERS – UBO) et Nicole Roux (LABERS – UBO), dans la continuité de leur intervention durant la troisième séance de séminaire du cycle de rencontres et d’échanges autour du traitement et de l’analyse de données quantitatives en SHS.
Traiter un corpus de 2653 réponses de lycéens et lycéennes à une question ouverte sur leur conception de la réussite
***************
Analyse de données textuelles : expérimenter le traitement des réponses à une question ouverte avec Modalisa et Sphinx
Au cours de cette séance nous avons présenté notre traitement des réponses à une question ouverte à travers les logiciels Modalisa7 (version éducation et recherche) et Sphinx IQ Quali. En quelques mots, il s’agit d’analyser des données textuelles avec des logiciels d’enquête par questionnaire, d’explorer les réponses de plus de 2 600 élèves à une question ouverte portant sur leur conception de la réussite. Comment prendre en compte et analyser cette pluralité de réponses ? Notre objectif est bien de croiser le texte, les réponses des lycéens et lycéennes avec d’autres variables qui permettent d’identifier les locuteurs (comme le sexe, la classe ou encore la filière suivie). Il s’agit également de revenir sur le traitement lexical et thématique, d’explorer le corpus à l’aide des verbatims et de voir les avantages et limites des logiciels dans les différentes phases, notamment lors du protocole de codification (analyse de contenu manuelle ou automatique). Nous avons présenté brièvement une partie des possibilités des logiciels, permettant de créer des catégorisations (mots, thèmes) plus ou moins automatique en faisant par exemple un focus sur des procédures d’exploration de données comme les graphes de relations et les key view (disponibles sur Sphinx IQ Quali). Le postulat de départ est bien que les occurrences des mots employés ont un sens, ils ne s’emploient pas au hasard et que leur assemblage en énoncés donne accès à la possibilité d’interpréter un rapport au monde.
Pour commencer, nous rappelons que la question ouverte dans un questionnaire d’enquête doit restée exceptionnelle étant donnée la lourdeur du traitement. La formulation univoque vise à recueillir un point de vue, des représentations pour lesquelles nous avons des raisons scientifiques de ne pas choisir des modalités fermées ici la question est : « Selon vous, qu’est-ce que la réussite ? »
Autour de cette thématique de la réussite mettant en œuvre l’exploitation d’une question ouverte, les travaux de Christian Baudelot font référence et illustrent tout l’intérêt de se plonger dans l’analyse textuelle, comme le montre cet extrait de la préface qu’il a rédigé dans l’ouvrage Statistique textuelle (1994) :
« L’une des contributions majeure de la statistique textuelle est précisément d’animer tous ces graphes en donnant la parole à chacun de ces individus. Grâce à Lebart et Salem, les fameux points-individus ne sont plus muets, ils parlent. Vole alors en éclats la traditionnelle mais artificielle distinction entre le quantitatif et le qualitatif. »
Le traitement des données commence à la suite d’un long travail d’harmonisation et de correction orthographique des réponses. La qualité et l’homogénéité des données, la taille du corpus, le temps disponible sont des éléments déterminants sur le choix de la méthode et le degré d’avancement, et de finesse du traitement.
L’étape de codification du corpus

Modalisa : Le classement lexical peut-être automatique ou semi-automatique et le classement thématique est manuel.

Sphinx IQ Quali : l’outil codification permet de définir une grille d’analyse, de coder le texte manuellement.
Sous Sphinx, le protocole de codification permet de coder le corpus, de catégoriser son contenu à l’aide d’une grille thématique (codebook). Cette grille thématique peut être construite manuellement ou de façon automatique. Dans Modalisa le classement est uniquement manuel à partir de catégories thématiques créées par le chercheur. Le classement manuel est appréhendable pour un corpus de 300 individus mais sur un corpus de 2600 répondants la tâche est immense. Il convient dans ce cas après une analyse lexicale de créer un échantillon représentatif de l’ensemble pour lequelle il est possible de faire un traitement thématique. Avec Sphinx, l’extension de codification permet de coder automatiquement le reste du corpus, après avoir débuté une codification manuelle (suivant la nature du corpus et du code book…).
Les procédures d’exploration de données expérimentées (Sphinx IQ)

Possibilité de filtrer le lexique, selon la nature des mots (noms, verbe, adjectif), le nombre d’occurrences ou encore réduction sur les premiers mots du lexique.
Exemple : lexique catégorisé les 10 premiers verbes.
Explorer le corpus à l’aide de verbatims : illustrer des résultats statistiques par les réponses, en sélectionnant par exemple les extraits les plus significatifs d’une catégorie de répondants.
Les graphes de relations permettent de voir les liens, les relations entre différentes variables. Key View (tableaux de caractéristiques) permettent de visualiser les résultats les plus significatifs d’un ensemble d’analyses croisées.
Des techniques permettant d’explorer un ensemble de relations possibles parmi un très grand nombre de variables.

Protocole de synthèse, le nuage de mots avec Verbatims des phrases contenant le mot sélectionné (ici épanouir) peut être affiché sous Sphinx.
Exemple de résultats
Le protocole des verbatims vise à extraire les conceptions de la réussite les plus représentatives d’une catégorie de répondants ; la variable de contexte choisie ici est le sexe, les réponses caractéristiques des lycéens et lycéennes sont celles contenant la plus forte proportion de mots-clés spécifiques en fonction du sexe.
Pour les femmes : « Avoir une vie qui nous rend heureux, dans notre vie personnelle comme dans notre vie professionnelle » (Générale – Seconde) / « Atteindre nos objectifs et exercer un métier qui nous plaît réellement, et qui nous permet d’avoir une bonne situation » (Générale – Terminale) / « Exercer dans un domaine qui nous passionne, qui nous plaît » (Générale – Terminale) / « Avant tout faire quelque chose qui nous plait et qui nous aide à nous épanouir » (Générale – Première – Une femme).
Pour les hommes : « De la motivation, du travail, prendre du plaisir, aimer, savoir gérer son temps, un bon futur » (Générale – Première) / « Un bon diplôme, un bon travail, avec un salaire convenable, une maison, une famille » (Générale – Terminale) / « Avoir un bon travail, un bon salaire et surtout que le travail en question ne soit pas une corvée » (Technologique – Première) / « L’obtention de tous nos diplômes et le débouché sur un bon travail » (Générale – Seconde).
Pour conclure, nous pouvons souligner que la reconnaissance des significations sous Sphinx soulève quelques interrogations. A l’issue de la première étape constituant le lexique, le codeur perçoit l’émergence des mondes lexicaux, ensuite il semble plus pertinent de construire sa propre grille thématique et de procéder manuellement à la codification des réponses comme sous le logiciel Modalisa même si chacune des méthodes a son lot d’avantages et d’inconvénients. Le travail quantitatif, d’agrégation des données conduit à voir disparaitre les spécificités de certaines réponses, comme l’illustre la réponse d’un jeune « kiffer sa balle » que nous avons reclassé sous le terme « profiter ». Ce point avait été souligné dans un article de France Guérin-Pace (1997) « les réponses complexes sont souvent « laminées » par le post-codage ». Mais sur ce type de corpus il s’agit bien de faire émerger l’existence de représentations communes selon un certain nombre de variables où l’exception est minorisée voire disparaît. Le travail minutieux et systématique du codage leur permet de continuer à exister jusque dans l’interprétation puisque les exemples remarquables, originaux restent à l’esprit mais ils ne deviennent pas les pépites linguistiques retenues pour l’exemple lors de l’exposition des résultats.
Aurélie SEZNEC & Nicole ROUX
*
* *
Ressources bibliographiques
- Baudelot C. (1988). « Confiance dans l’avenir et vie réussie », Mélanges économiques. Essais en l’honneur d’ Edmond Malinvaud, Paris, Economica, EHESS
- Boughzala Y., Moscarola J. et Hervé M. (2014). Sphinx quali : un nouvel outil d’analyses textuelles et sémantiques, 12ème journées des analyses de données textuelles.
- Cousteaux A-S. (2011). Le masculin et le féminin au prisme de la santé et de ses inégalité sociales. Thèse de Sociologie. Institut d’études politiques de paris – Sciences Po.
- Felouzis G. (1993). Conceptions de la réussite et socialisation scolaire: Le cas des lycéens des filières générales, technologique et de LEP. Revue française de pédagogie. Volume 105 N°1.
- Ganassali S. (2008). Faire parler les mots: vers un cadre méthodologique pour l’analyse thématique des réponses aux questions ouvertes. Décisions Marketing. N°51 Juillet-Septembre
- Ganassali S. (2014). Enquêtes et analyse de données avec Sphinx, Collection LM, Person.
- Ganassali S. et Roederer C. (2014). L’analyse des courriers au Père Noël comme expression des styles de consommation familiaux, 12ème journées des analyses de données textuelles.
- Guérin-Pace F. (1997). La statistique textuelle. Un outil exploratoire en sciences Sociales, Population, 52e année, n°4.
- Jenny J. (1997). « Méthodes et pratiques formalisées d’analyse de contenu et de discours dans la recherche sociologique française contemporaine : état des lieux et classification », Bulletin de Méthodologie Sociologique, n°54.
- Lebart L. et Salem A. (1994). Statistique textuelle, Paris, Dunod.
- http://lexicometrica.univ-paris3.fr/jadt/
- http://www.squash.ulg.ac.be/lejeune/
Affiche de la séance de séminaire