Nombre d’enquêtes en marketing souffrent de rigueur méthodologique ce qui rend leurs résultats peu fiables : concept non défini, questions mal posées sans parler des biais inhérents au questionnaire (modalités de réponses, sensibilité des questions, questions inutiles) ou même de la non représentativité de l’échantillon. Afin de prendre des décisions sur la base de résultats d’étude de meilleure qualité, l’article présente deux techniques qui ont fait leurs preuves : le test de la validité et de la fiabilité de l’échelle de mesure. Dans un premier temps nous expliquons la notion d’échelle de mesure puis nous exposons les notions de validité et de fiabilité des mesures ainsi que les techniques pour les tester et améliorer ainsi la qualité des études quantitatives.
QU’EST-CE QU’UNE ÉCHELLE DE MESURE ?
La compréhension des déterminants d’un comportement de consommation (qualité perçue, confiance, perception de la marque, fidélité, NPS, etc.) occupe les directeurs marketing et chargés d’études. S’il offre de multiples opportunités, le Big Data doit se baser sur des questions qui mesurent bien ce que l’on cherche à mesurer. Cette question n’est pas nouvelle mais son occultation peut conduire à ces résultats erronés et de fait à de mauvaises décisions managériales.
La définition du concept et le choix des items ou questions est une étape fondamentale pour bien mesurer un concept. Il existe souvent des échelles de mesure déjà existantes que le chargé d’étude peut utiliser. Par exemple, l’échelle de mesure du bouche-à-oreille bien connue est composée de trois questions : Vous dites des choses positives aux autres au sujet de X ; Vous recommandez X à toute personne qui cherche des conseils ; Vous encouragez vos amis et vos relations à faire vos achats auprès de X ; questions auxquelles le répondant doit répondre sur une échelle de Likert allant de « pas du tout d’accord » à « tout à fait d’accord ». On demande aux répondants d’être plus ou moins d’accord avec ces affirmations ou d’accorder une importance plus ou moins forte à telle ou telle chose sur une échelle de Likert à 5 ou 7 points. Ces questions ou items sont des indicateurs permettant de capter la propension du répondant à dire des choses positives sur un produit ou un magasin. Ensuite, deux techniques permettent de vérifier que les questions posées sont de bons indicateurs du concept : le test de validité et le test de fiabilité de l’échelle de mesure.
LE TEST DE LA VALIDITÉ D’UNE ÉCHELLE DE MESURE
Le test de la validité d’une échelle de mesure permet de répondre à la question : mesure-t-on ce qu’on cherche à mesurer ?
La validité a plusieurs formes et il existe donc plusieurs techniques pour la tester. Tout d’abord, il s’agit de savoir si les questions permettent de capter les différents aspects du phénomène étudié (validité faciale ou de contenu). Ceci peut être approuvé via le jugement d’un expert du domaine lors du test du questionnaire. Ensuite il faut vérifier que les différents indicateurs offrent une bonne représentation du phénomène étudié (validité de trait ou de construit). Il faut s’assurer que les indicateurs qui sont supposés mesurer le même phénomène sont corrélés – c’est la validité convergente – et se distinguent des indicateurs supposés mesurer des phénomènes différents – c’est la validité discriminante. L’Analyse Factorielle Exploratoire (AFE) permet de tester ces deux validités. Enfin il s’agit de voir si les relations entre les mesures d’un concept et celles d’autres concepts sont bien en conformité avec les prédictions de la théorie (validité nomologique ou prédictive). Cette étape de validation intervient au cours de la phase confirmatoire après que l’enquêteur se soit assuré de la pertinence des questions à poser avec les tests de la validité de trait et de fiabilité.
LE TEST DE LA FIABILITÉ D’UNE ÉCHELLE DE MESURE
La fiabilité correspond au degré avec lequel les instruments utilisés mesurent de façon constante le construit étudié. Trois méthodes permettent de tester la fiabilité d’une mesure :
1) La méthode du « test / retest » : le questionnaire est administré deux fois à la même population à deux intervalles différents et les résultats obtenus sont comparés ;
2) La méthode du « Split half » ou des deux moitiés : le questionnaire est administré au même moment à des échantillons différents (l’échantillon est scindé en deux) et les résultats sont comparés ;
3) La technique des formes alternatives : il s’agit d’introduire dans le questionnaire plusieurs questions sur le même phénomène mais formulées différemment. Le questionnaire est administré aux mêmes individus. Cette dernière méthode n’oblige par le chargé d’étude à poser les mêmes questions aux mêmes personnes ce qui est souvent difficile à faire. De plus, lorsqu’on l’utilise, le chargé d’étude peut évaluer la fiabilité de l’échelle avec le coefficient Alpha de Cronbach. Ce dernier est calculé pour vérifier si les énoncés partagent des notions communes, s’ils sont en cohérence entre eux.
L’alpha de Cronbach est un coefficient de fiabilité qui mesure la cohérence interne d’une échelle construite à partir d’un ensemble d’items. La pratique consiste à réduire un grand nombre d’items initiaux dans un processus itératif de conservation / élimination des items en fonction de la valeur du coefficient alpha, qui varie entre 0 et 1. Plus elle est proche de 1, et plus la cohérence interne de l’échelle (sa fiabilité) est forte. On élimine donc les items qui diminuent le score, et on conserve ceux qui contribuent à augmenter l’alpha. On peut ainsi s’assurer que lorsque l’on construit un questionnaire pour une nouvelle enquête, on ne retiendra dans la phase principale d’administration que les blocs de questions pour mesurer un phénomène qui ont la plus forte cohérence interne.
En pratique, le coefficient alpha de Cronbach indique la part de variance des items d’une échelle qui est attribuable au score réel et prend en compte le nombre d’items qui forment l’échelle, ainsi que leur corrélation moyenne. Pour une corrélation moyenne donnée l’alpha est donc d’autant plus important que l’échelle comporte un nombre important d’items. L’alpha prend une valeur allant de 0 à 1 ; s’il est trop faible, cela signifie que l’échelle est soit composée d’un nombre trop faible d’items, soit que ces items ont très peu en commun. Entre 0,7 et 0,8 on peut considérer que l’échelle de mesure est fiable.
Pour conclure, le chargé d’étude doit s’assurer, avant d’administrer un questionnaire, que les questions posées sont pertinentes et prouver la validité et la fiabilité des échelles de mesures qui serviront à mesurer les concepts constituant la question de recherche. C’est une étape fondamentale de clarification basée sur la définition des concepts et leur opérationnalisation ou terme plus générique : comment transformer le concept en question.
