L’analyse des questions ouvertes est l’une des « tartes à la crème » de l’univers des études marketing. Première question qui traverse l’esprit du débutant en matière d’études, cette problématique suscite des réponses très diverses mais rarement satisfaisantes. Que peut-on attendre aujourd’hui très concrètement en matière d’analyse de questions ouvertes ?
Etudes quali & quanti
Les études marketing se répartissent en deux grandes catégories : les
enquêtes qualitatives et les enquêtes quantitatives.
La première catégorie désigne plutôt les observations recueillies lors
de tables rondes ou d’entretiens semi-directifs en face à face ou,
plus rarement, au téléphone. Ces études concernent généralement un petit
nombre d’interviewés (quelques individus à quelques dizaines
d’individus tout au plus) et servent le plus souvent à préparer
des études quantitatives ultérieures en dégageant les thèmes
d’intérêt, la terminologie employée par la population cible,
etc.
L’information recueillie est généralement très peu structurée et
correspond à l’expression des interviewés sur des thèmes initiés
par l’enquêteur mais traités ensuite librement par les individus
ou les groupes interrogés.
Les études quantitatives, elles, concernent un plus grand nombre
d’interviewés (plusieurs centaines jusqu’à plusieurs
dizaines de milliers parfois) et s’attachent à recueillir leurs
réponses à des questions précisément définies. L’objectif est de
connaître la répartition de la population interrogée par rapport aux
différentes réponses proposées.
Limiter l’usage des questions ouvertes
Les études quantitatives conçues par les professionnels comportent
généralement très peu de questions ouvertes. En revanche, les
questionnaires réalisés par les débutants en matière d’enquêtes en
regorgent. Ainsi, n’est-il pas rare de voir des questionnaires qui
proposent à chaque question fermée, une question ouverte intitulée «
Pourquoi ? » ou « Commentez : », censée permettre aux interviewés de
s’exprimer librement. Ces questions rassurent le concepteur de
l’enquête en lui faisant croire qu’il évite ainsi le risque
de rater des informations essentielles qu’aurait eu à lui donner
la personne interrogée.
En réalité, ce type de «truffage» est contre-productif à plusieurs
titres :
- Les questions ouvertes systématiques révèlent un manque de préparation
de l’enquête et un manque de précision dans les objectifs. Leur
utilisation diminue la pertinence générale du questionnaire : les
questions fermées sont traitées avec moins de soin et d’esprit
d’exhaustivité que nécessaire, puisque la présence des questions
ouvertes est censée ramener quand même l’information que
l’on a oublié d’aller chercher dans la partie fermée du
questionnaire.
- Les questions ouvertes rallongent considérablement
l’administration du questionnaire en face à face ou au téléphone
(écriture ou frappe des réponses). Les enquêteurs sont parfois tentés de
raccourcir ou de résumer, pas toujours de manière pertinente, les
réponses exprimées.
- Lorsque le questionnaire est rempli manuellement par un enquêteur
ou, pire encore, en auto-administré par la personne interrogée, la
saisie des réponses manuscrites s’avère souvent fastidieuse en
raison d’écritures parfois illisibles. Les risques d’erreurs
sont ainsi multipliés.
- Le taux de réponse aux questions ouvertes systématiques est
généralement extrêmement faible (de l’ordre de 10%). Il
n’est pas rare que les réponses exprimées soient hors sujet, mal
formulées (voire incompréhensibles) ou encore sans contenu (ex : «Rien à
signaler»).
- En résumé, l’utilisation fréquente de questions ouvertes
«générales» dans les études quantitatives, loin d’apporter une
information essentielle, génère des pertes de temps importantes et se
traduit même parfois par la perte d’informations qu’il
aurait été plus simple d’obtenir en structurant mieux le
questionnaire.
Le recueil pertinent d’informations complémentaires
La description ci-avant ne doit pas laisser croire que le recueil d’informations ouvertes n’a aucune place dans les enquêtes quantitatives. Simplement, les questions ouvertes doivent être utilisées à bon escient, souvent dans l’objectif d’achever de structurer l’information.
L’enrichissement
Ainsi, lorsque l’on propose une liste d’items (marque
utilisée, magasin fréquenté, caractéristique recherchée, pays
d’origine), le fait de proposer une réponse « Autre, préciser… »
permet de collecter des items complémentaires non prévus initialement.
La liste initiale est généralement incomplète parce qu’il était
impossible de balayer a priori tout l’univers des réponses
possibles. Dans ce cas, la question est semi-ouverte (ou semi-fermée).
Les bons logiciels d’enquêtes permettent de gérer l’ajout dynamique des
nouvelles réponses lors de la saisie. Cette fonctionnalité est appelée «
Enrichissement ». Une réponse ainsi ajoutée sera proposée lors de la
saisie du questionnaire suivant et pourra être cochée. Cela accélère la
saisie et évite de retaper des libellés identiques avec des orthographes
différentes. Le codage se fait en quelque sorte en direct et les
questions ainsi enrichies peuvent être traitées comme les autres
questions fermées. Bien entendu, il est généralement possible de revoir
les réponses ajoutées pour procéder éventuellement à un regroupement
avant le traitement.
Vous l’avez compris, nous vous conseillons vivement de limiter l’usage
des questions ouvertes dans vos enquêtes quantitatives. Toutefois,
lorsque vous en avez une ou plusieurs à traiter, les outils d’enquêtes
du marché peuvent vous apporter une aide précieuse.
Analyse lexicale, de contenu, sémantique, etc.
Quel est l’objectif du chargé d’études confronté au dépouillement d’une question ouverte ?
C’est bien sûr de faire ressortir le maximum d’informations. Mais si l’on
en reste là, on est susceptible d’être séduit par des approches
théoriques mélangeant la statistique avec des notions de linguistique et
de sémantique.
Certains éditeurs de logiciels jouent d’ailleurs avec les mots en
baptisant leurs méthodes «Analyse sémantique», «lexicale», ou «de
contenu». L’utilisation dans les interfaces de termes comme « corpus »,
« réseaux sémantiques » et autre «lemmatisation» achève l’illusion en
donnant à penser que le logiciel sera capable d’extraire automatiquement
le sens des réponses obtenues.
Or il n’existe pas aujourd’hui de logiciel capable de comprendre le sens
réel des réponses aux questions ouvertes. Les outils d’enquêtes sont
capables de compter la fréquence de citation des mots, de les regrouper
en expressions, de repérer les formes grammaticales, les négations, etc.
Ils peuvent fournir des représentations graphiques de réseaux de mots
reliés entre eux selon des fréquences d’association dans les phrases.
Mais une fois que l’on a fait tout cela, on se retrouve au final avec un
magma d’informations, comparable peu ou prou à celui que l’on avait au
départ.
Ne pas perdre de vue l’analyse statistique de l’enquête
En réalité, au delà de la manipulation des concepts
linguistico-statistiques, l’objectif est d’arriver à «coder» les
réponses aux questions ouvertes, pour pouvoir les utiliser conjointement
aux autres variables, dans les analyses statistiques.
Une fois que l’on a pris conscience que l’outil informatique ne peut pas
arriver sans intervention humaine à un codage pertinent, on recherchera
les logiciels qui apporteront une aide concrète au chargé d’étude (utile
pour un bon nombre d’années encore !).
Certains outils offrent pour cela des fonctionnalités très intéressantes
basées sur la démarche suivante :
- Affichage de la liste des réponses textuelles obtenues, en les classant
selon différents critères (présence de certaines expressions par
exemple),
- Création dynamique d’une question qualitative correspondante, avec
possibilité de lui ajouter des modalités nouvelles en fonction des
thèmes trouvés en parcourant les réponses à la question ouverte,
- Possibilité d’associer la réponse textuelle aux modalités de
réponses.
À ce titre, il est indispensable que l’on puisse effectuer l’association
de chaque texte à plusieurs modalités, pour qu’une réponse qui porte sur
plusieurs thèmes puisse être correctement recodée. La question de
recodage sera donc obligatoirement multiple.
Les meilleurs produits permettent d’effectuer ces opérations de manière
visuelle, en glissant à la souris les réponses dans les modalités et en
enrichissant de manière dynamique la liste de réponses. Ils offrent
également des outils pour faciliter la circulation dans les textes de
réponses, permettant de masquer les phrases déjà affectées ou de repérer
automatiquement celles qui comportent certains mots.
Au final, le chargé d’étude disposera d’une variable recodée, vraiment
utilisable dans les analyses statistiques, au prix de quelques efforts.
Dans ce domaine comme dans bien d’autres, l’informatique apporte donc
une aide réelle à condition de rester concret et de ne pas céder à la
tentation de la pensée magique.
