Distinguer les biais des erreurs de réponse : coûts et conséquences

Le sondage avec panel Web est d’emblée la méthode la plus couramment employée par l’industrie canadienne de la recherche commerciale et du sondage d’opinion à cause de son habileté à rejoindre rapidement de grandes populations à des coûts raisonnables. Toutefois, en accord avec le code de déontologie de l’association de la recherche et de l’intelligence marketing du Canada (ARIM); une des limites des panels Web réside dans l’incapacité de généraliser les résultats à cause du biais d’autosélection des répondants. En effet, puisque les répondants ne sont pas issus d’une sélection aléatoire, nous ne pouvons pas faire appel à l’inférence statistique pour généraliser les résultats. Par conséquent, le biais d’autosélection des panélistes impacte directement le contrôle de l’erreur d’échantillonnage des sondages.
En contrepartie d’une certaine nostalgie pour le contrôle des erreurs d’échantillonnage, la professionnalisation des répondants qui résulte du déploiement des panels Web entraîne chez les sociétés de recherches commerciales un intérêt accru pour le contrôle des erreurs de réponse. Le souhait est de rejeter les questionnaires complétés par des panélistes qui participent aux études que pour obtenir leurs rétributions sans égard à la qualité des réponses.
Pour contrer les risques à la qualité des données, les sociétés de recherches déploient différentes techniques de détections d’erreurs de réponse. À l’instar de Sudman et Bradburn dans leur ouvrage sur les effets de réponse dans les sondages (1974), une erreur de réponse représente un écart entre la réponse captée dans le sondage et la vraie réponse. Toutefois, force est de constater que détecter cet écart est loin d’être évident et cela particulièrement dû au fait de l’utilisation d’innombrables mesures attitudinales figurant dans les sondages.

L’épineux problème du taux de rejet des questionnaires dans les sondages Web

Les sociétés de recherches déploient différentes techniques pour détecter les erreurs de réponses et ces dernières informent la décision du rejet d’un questionnaire. Bien que le taux de rejets des questionnaires varie d’un projet à l’autre, notre étude auprès de gestionnaires de sociétés de recherche révèle que jusqu’à 25 % des questionnaires sont rejetés pour d’apparents motifs d’erreurs de réponses. Il est important de saisir toute l’envergure de cette observation. Le rejet des questionnaires est analogue à détruire un produit sur une chaîne d’assemblage pour des motifs de vices de qualités. Le grand nombre de rejets représente donc un épineux problème. A priori, le nombre de rejets engendre des coûts et des délais pour remplacer les questionnaires rejetés de manière à assurer que l’échantillon ait une taille raisonnable ou souhaitée. De plus, le nombre élevé des rejets des questionnaires mine la confiance envers les processus de recherche. En effet, toute industrie qui rejette une aussi grande part de sa production doit s’interroger sur la rigueur de ses processus de production et de contrôle de la qualité.

La problématique des techniques de détection des erreurs de réponses est donc liée à trois importants piliers de l’industrie de la recherche commerciale, soit la rapidité d’exécution des sondages, la qualité des données et des recommandations qui en émane ainsi que de minimiser les coûts des études. Ces derniers avalisent l’importance de s’attaquer à cette problématique.

Devant l’envergure du problème, il apparaît nécessaire de déterminer si les techniques de détection sont valides. Notamment, y a-t-il des erreurs qui ne sont pas encore détectées ou a contrario, est-ce que les techniques de détection sont trop sensibles et entraînent indûment le rejet de questionnaires ?

Les principales techniques de détections des erreurs de réponse déployées par l’industrie canadienne

Les sociétés de recherche canadienne déploient des techniques actives et passives pour détecter les erreurs de réponses. Les techniques actives requièrent l’ajout de tests de logique pour contrôler la conformité de certaines réponses. Cela peut prendre la forme d’un énoncé qui invite le panéliste à sélectionner une réponse précise dans une question. Des noms de marques fictives sont également utilisés dans les questions de notoriétés. Un panéliste qui échoue à un ou plusieurs tests de logique pourrait voir son questionnaire rejeté. Le rejet du questionnaire repose sur l’hypothèse que le panéliste qui échoue à un test de logique n’a pas évaluée avec vigilance les questions situées à proximité de ce dernier. Les tests de logique épousent bien la définition d’une erreur de réponse, car la vraie réponse est connue du chercheur. Toutefois, puisque la durée des sondages est un débat de tous les jours dans l’industrie de la recherche et du sondage d’opinion, les techniques actives sont moins déployées, car elles ajoutent des questions.

Pour leurs parts, les techniques passives reposent sur une analyse des schèmes de réponses des répondants. Les techniques passives les plus déployées incluent : la détection des schèmes linéaires, le temps de complétion du questionnaire et la détection de caractères aléatoires dans les questions ouvertes.

La détection de caractères aléatoires s’effectue lors de la codification des questions ouvertes. Quoique la détection des caractères aléatoires soit une technique passive, elle épouse bien la définition d’une erreur de réponse, car la réponse est manifestement invalide. Il ne faut toutefois pas sous-estimer la difficulté de décoder les quasi-néologismes issus des textos (SMS). Notre étude révèle que de nombreuses sociétés attribuent un code générique pour les réponses incompréhensibles ou invalides. Toutefois, seulement une minorité de celles-ci utilise ces codes pour comptabiliser des erreurs de réponses. À cet égard, nous proposons que les sociétés doivent comptabiliser les réponses invalides pour informer le seuil de rejet des questionnaires.

Le temps de complétion d’un sondage est fréquemment utilisé comme méthode de rejet des questionnaires. Le rejet repose sur l’hypothèse qu’un répondant qui répond plus rapidement que la moyenne des répondants n’évalue pas avec assez de vigilance les questions. À son tour cela soulève des doutes quant à la validité des réponses. Notre étude révèle toutefois que le seuil de rejet varie significativement d’une firme à l’autre. Certaines sociétés rejettent systématiquement 5 % des questionnaires les plus rapides. D’autres utilisent plutôt un ratio d’écart à la moyenne. À titre d’exemple, certaines entreprises rejettent les questionnaires complétés 50 % plus rapidement que la moyenne. La variété des seuils utilisés par les sociétés représente à nos yeux un risque à la validité de cette technique et cela particulièrement dans les études internationales effectuées par différents partenaires de recherche.

La détection des schèmes linéaires est une autre technique amplement utilisée par les sociétés de recherche. Un schème linéaire se détecte lorsqu’un panéliste choisit systématiquement le même point de réponse dans une batterie d’échelles de mesure. Une étude réalisée par Keusch en 2013 révèle que jusqu’à 26,5 % des répondants affichent un schème linéaire dans un sondage. Le schème linéaire est présumé refléter un manque d’effort de la part du répondant. La littérature scientifique supporte cette perspective. La théorie de la réponse satisfaisante de Krosnick (1991) propose que devant un questionnaire trop long ou complexe, le répondant puisse réduire son effort pour compléter ce dernier. La réduction de l’effort se manifeste en sélectionnant les premières réponses qui apparaissent raisonnablement correctes. Un schème linéaire est considéré à ce titre comme un fort biais de réponses prétendument satisfaisantes.

Un second regard sur la détection des schèmes linéaires.

Le rejet de questionnaires basés sur la détection des schèmes linéaires est fréquemment invoqué par les sociétés de recherches. La détection s’effectue par une mesure de la variance dans les réponses d’un bloc de question d’un répondant. L’absence de variance est donc la représentation mathématique d’un schème linéaire. Il est important de noter qu’il y a typiquement deux types de mesures de la variance. Le premier type repose sur une estimation de la variance dans un échantillon. Ce dernier est fréquemment utilisé dans les analyses statistiques. Le second type mesure la variance d’une population. Cette mesure est utilisée dans les rarissimes recensements. Somme toute, c’est ce dernier qu’il faut employer pour identifier les schèmes linéaires. En effet, nous mesurons la variance des réponses d’un répondant à la fois, et chaque répondant représente une population au sens de cette analyse.

Le rejet d’un questionnaire pour des motifs de schèmes linéaires repose sur l’hypothèse que ce dernier est une manifestation d’une erreur de réponse. Il y a toutefois lieu de se questionner sur cette hypothèse. Notamment, outre une réduction de l’effort du répondant, y a-t-il d’autres motifs qui pourraient se traduire par une faible variance dans les réponses d’un panéliste ?

Une revue de la psychométrie révèle que quatre autres biais peuvent induire une réduction de la variance dans les réponses d’un répondant. Il est dès lors important de déterminer si ces biais se traduisent également par des erreurs de réponse. Faute de quoi, cela soulève des doutes sur la validité de l’hypothèse des erreurs de réponses dans les schèmes linéaires.

Un premier biais qui peut induire une faible variance est un effet de halo. Le très prisé manuel de psychométrie de Nunnally et Bernstein (1994) définit l’effet de halo comme une tendance d’un répondant à étendre son opinion générale à l’ensemble des mesures d’un objet. À titre d’exemple, juger qu’un policier en bonne condition physique est également empreint d’intelligence et de leadership représente un effet de halo (Thorndike, 1920). Cette généralisation prend donc la forme d’une faible variance entre des mesures apparemment non reliées. Ce constat s’apparente à une erreur de réponse, car la condition physique, l’intelligence et le leadership ne sont pas des synonymes ou nécessairement corrélés.

A priori, l’effet de halo semble emblématique d’une erreur de réponse. Il est toutefois judicieux de revoir ce raisonnement à la lumière de la réalité des études marketing. À titre d’exemple, notons qu’un des principaux objectifs des publicités est de développer chez les consommateurs une attitude positive envers les produits ou les marques. Le gestionnaire de marketing cherche donc à étendre cette attitude positive à l’ensemble des mesures de l’image de marque. Ce raisonnement suggère qu’il semblerait erroné de conclure qu’un effet de halo capté dans les mesures de l’image de marque constitue une erreur de réponse. En effet, dans ce contexte, l’objectif de la campagne de communication marketing est de créer un effet de halo. Par conséquent, rejeter les panélistes affichant un effet de halo qui prend la forme d’un schème linéaire biaise vers le bas, la mesure du succès de la campagne de publicité. À terme, cela afflige la validité de la mesure de l’efficacité de la campagne publicitaire. Il est important de saisir les implications de ce constat, car cela pourrait se traduire par une recommandation d’investir d’importantes sommes d’argent dans une nouvelle campagne publicitaire alors que cela n’était pas nécessaire.

Les styles de réponses des répondants représentent d’autres formes de biais cognitifs utiles à l’évaluation des schèmes linéaires. Nunnally et Bernstein (1994) révèlent que certains répondants affichent une prédisposition à être cléments ou sévères dans leurs évaluations. Ces derniers utilisent donc de manière marquée les extrémités des échelles de mesure dans les sondages. À l’opposé, certains répondants hésitent à prendre position. Ces derniers opteraient pour le milieu des échelles de mesure et cela particulièrement dans les échelles de type Likert. Notamment, le point central d’une échelle Likert reflète être « ni en accord ou en désaccord » avec les énoncés. Par conséquent, ces trois styles de réponses peuvent prendre la forme de schèmes linéaires.

À nouveau, il faut déterminer si les schèmes linéaires résultant de ces styles de réponses se traduisent par des erreurs de réponses. En somme, devrait-on rejeter les questionnaires des panélistes cléments, sévères ou à tendances centrales? Une étude longitudinale sur les styles de réponses extrêmes effectuées par Wetzel et al. (2016) révèle que ces répondants ont tendance à fréquemment utiliser les mêmes styles de réponses extrêmes. Cette étude conclut que cette tendance représente une forme de traits de personnalité. Par conséquent, il semblerait erroné de rejeter ces panélistes, car les traits de personnalités ne sont pas synonymes d’un manque d’effort qui se traduit en erreurs de réponse.

Force est de constater que la technique de détection des schèmes linéaires ne fait pas à présent une distinction entre les schèmes linéaires résultant d’un manque d’effort de ceux engendrés par des traits de personnalité cléments ou sévères. Pour illustrer l’impact pratique de ce constat, transposons ces perspectives dans une étude de satisfaction de la clientèle. A priori, rejeter les panélistes cléments élimine les répondants avec les plus hauts taux de satisfaction, car ils utilisent majoritairement l’extrémité positive de l’échelle. Le rejet de ces derniers biaise vers le bas la moyenne de satisfaction. Cela pourrait induire des recommandations pour investir dans des mesures correctrices, alors que la vraie moyenne serait plus élevée si on n’avait pas injustement rejeté des répondants avec un schème linéaire très satisfait. D’autre part, les rejets des panélistes avec un schème linéaire lié à un biais d’évaluation sévère éliminent les répondants que l’on souhaiterait mieux analyser de sorte à adresser leurs doléances pour accroître la satisfaction. Par conséquent, le rejet injustifié des schèmes linéaires lié aux traits de personnalité pourrait influencer la validité des recommandations émanant des études de satisfaction.

La nécessité d’une meilleure mesure des schèmes linéaires

Nous avons illustré jusqu’à présent que les schèmes linéaires ne représentent pas forcément des erreurs de réponses. De plus, le rejet injustifié de questionnaire de panélistes pourrait influencer la validité des sondages et des recommandations stratégiques qui en découlent. Il nous apparaît donc nécessaire d’améliorer la détection des schèmes linéaires pour faire une distinction entre le manque d’effort d’un panéliste et les biais cognitifs des styles de réponses cléments, sévères, tendances centrales ainsi que l’effet de halo.

A priori, un gestionnaire de panel pourrait en théorie effectuer une analyse longitudinale de ses membres pour identifier les traits de personnalités pertinents aux schèmes linéaires. Toutefois, la confidentialité des données des études et le roulement des panélistes rendent cette approche impraticable. Qui plus est, si l’on accepte l’hypothèse que la durée d’un questionnaire peut stimuler des schèmes linéaires qui entraînent des erreurs de réponses, il est possible qu’un panéliste qui remplit de nombreux longs questionnaires soit incorrectement associé à un trait de personnalité de réponse extrême. Il serait également opérationnellement irréaliste d’effectuer des entrevues individuelles avec les répondants pour expliquer le raisonnement derrière les effets de halo.

Il serait toutefois possible de valider l’hypothèse d’une erreur de réponse résultant d’un manque d’effort du panéliste. En s’inspirant des mesures actives de la détection des erreurs de réponse, la concomitance d’un schème linéaire avec un échec à un test de logique procure une mesure objective d’une erreur de réponse. Toutefois, il est important de noter qu’en absence d’une erreur de réponse, cette technique ne permet pas de déterminer si le schème linéaire résulte d’un effet de halo ou d’un style de réponse extrême. Cependant, dans une approche pragmatique, elle permet d’identifier les panélistes que l’on souhaite effectivement rejeter, car il y a une preuve objective d’une erreur de réponse.

Il est important de noter que le rejet d’un questionnaire demeure teinté d’une certaine mesure d’incertitude. En effet, il est impossible de déterminer si le répondant était manifestement inattentif dans l’ensemble du bloc de questions ou pour l’ensemble du questionnaire. Par conséquent, nous définissons le rejet comme un jugement qui entraîne l’exclusion d’un questionnaire sur la base de mesures ponctuelles d’erreurs de réponse qui soulèvent des doutes quant à la validité de l’ensemble des réponses du panéliste.

Valider l’hypothèse de la présence d’erreurs de réponse dans les schèmes linéaires

Nous avons déployé un sondage d’une durée moyenne de 20 minutes auprès de 1309 répondants d’un panel Web canadien pour valider l’hypothèse que la technique de détection des schèmes linéaires permet d’identifier des erreurs de réponse. Pour corroborer la présence d’erreurs de réponses, un test de logique est inséré en rotation aléatoire dans deux blocs de questions évaluant les attitudes envers une société de l’industrie des services. Les énoncés des tests invitent le panéliste à sélectionner un point précis sur l’échelle de réponse « aux fins de validation des réponses ». Un premier bloc porte sur six questions avec une échelle à dix points alors que le second bloc de questions passe en revue quatorze énoncés sur une échelle de 4 points.

Si un répondant sélectionne systématiquement le même point de réponse dans un bloc de questions par manque d’effort et/ou de vigilance, il échouerait au test de logique, car il ne porterait pas attention à la consigne du test. A contrario, un panéliste qui affiche un schème linéaire, mais qui réussit le test de logique démontre que le répondant n’est pas inattentif. Par inférence, ses réponses ne sont pas erronées, mais potentiellement le reflet d’un effet de halo ou d’un style de réponse clément, sévère ou à tendance centrale.

Ensuite, nous avons employé une mesure de la variance sur une population pour détecter les schèmes linéaires pour chacun des répondants. L’analyse révèle que 13,1 % des répondants affichent un schème linéaire dans le premier bloc de questions utilisant des échelles à 10 points. L’incidence de schème linéaire est significativement plus faible (p =0,000) dans le second bloc de questions avec les échelles à 4 points avec seulement 9,2 %. À terme, 18 % des répondants affichent un ou deux schèmes linéaires dans le questionnaire.

La figure 1 illustre les modalités des réponses les plus fréquemment utilisées par les répondants présentant des schèmes linéaires. À ce titre, notons que 38,2 % des répondants qui affichent un schème linéaire ont systématiquement sélectionné le premier point de l’échelle de mesure dans l’ensemble des énoncés du premier bloc de questions. Nous notons également avec intérêt que les modalités les plus fréquemment utilisées dans le premier bloc de questions se situent aux extrémités et au centre de l’échelle. Ces types de schèmes linéaires sont cohérents avec les styles de réponses cléments, sévères et à tendances centrales discutées précédemment. Puisque le second bloc de question comporte une échelle avec un nombre pair de points, il n’y a pas de style de réponse à tendance centrale. Les extrémités des échelles demeurent néanmoins les valeurs les plus fréquemment utilisées. Puisque nous avons stipulé que ces styles de réponses ne sont pas des manifestations d’erreurs de réponse, cela suggère un potentiel problème de validité si les schèmes linéaires ne sont pas corroborés par des mesures objectives de la présence d’erreurs de réponse.

Maintenant que les modalités des schèmes linéaires sont identifiées, il reste à déterminer si ces réponses reflètent effectivement des erreurs de réponses. Pour ce faire, nous validons l’hypothèse du lien entre les schèmes linéaires et les erreurs de réponses avec les résultats des tests de logiques. Dans le premier bloc de questions, cela prend la forme d’un énoncé qui invite les répondants à sélectionner la réponse « 2 » dans une échelle de mesure. Le test de logique dans le deuxième bloc de question invite le répondant à sélectionner la réponse « 1 » dans une échelle de mesure.

Pour déterminer si la technique de détection des schèmes linéaires identifie correctement les erreurs de réponses, nous effectuons l’analyse sur l’ensemble des répondants. En effet, une technique valide de détection des erreurs de réponses doit correctement distinguer les répondants avec des réponses valides de ceux avec des erreurs de réponses.

La figure 2 illustre que 80,7 % de tous les répondants au premier bloc de questions exhibent des réponses apparemment valides. Ces derniers n’affichent pas de schèmes linéaires et ils ont réussi le test de logique. Il semble donc avoir un lien entre l’absence d’un schème linéaire et des réponses valides.

Tournons maintenant notre attention sur l’enjeu principal de cette technique de détection d’erreurs de réponse par l’analyse des répondants affichant un schème linéaire. Pour faire une analogie avec l’administration de la justice, l’hypothèse centrale dernière le rejet du questionnaire des répondants avec un schème linéaire est qu’ils sont inattentifs et par conséquent ils sont coupables d’erreurs de réponse. La figure 2 place en exergue les 13% des répondants (n=170) affichant un schème linéaire dans le premier bloc de questions. Les questionnaires de ces derniers seraient donc potentiellement rejetés du sondage. Toutefois, l’analyse de ces répondants révèle de graves injustices. En effet, 9,5% (n=124) des 13% (n=170) des répondants avec un schème linéaire ont réussi le test de logique. En pratique, près de trois panélistes sur quatre avec un schème linéaire sont injustement jugés coupables de fournir des réponses erronées. Nous devons dès lors rejeter l’hypothèse qu’un schème linéaire est synonyme d’erreurs de réponse. Par inférence, nous alléguons que ces schèmes linéaires seraient plutôt tributaires de biais cognitifs comme l’effet de halo, et les styles de réponses cléments, sévères et à tendances centrales. Poursuivant notre analogie avec l’administration de la justice, le rejet d’un questionnaire sur la base d’un style de réponse sans une preuve objective d’une erreur de réponse est équivalent à incarcérer une personne innocente sur la base de son style vestimentaire. Nous pouvons aisément imaginer le tollé si un juge condamnait les trois quarts des accusés sur la simple base de leurs styles de vêtements. Cela reflète à nos yeux un grave problème de validité lié à l’utilisation de la technique de détection des schèmes linéaires.

Nous devons toutefois révéler une limite à valider l’hypothèse d’erreurs de réponses dans les schèmes linéaires avec des tests de logiques. En effet, il est impossible de déterminer le résultat du test de logique pour une petite minorité de répondants. Notons que 4,1 % (n= 7 sur 170) des répondants avec un schème linéaire ont systématiquement sélectionné la réponse 2 dans toutes les questions du premier bloc (voir figure 1). Ces derniers représentent un mince 0,5 % (n=7 sur 1309) de l’échantillon total dans la figure 2. Puisque le test de logique invite le répondant à sélectionner la réponse « 2 »; il est impossible de déterminer pour ces répondants si la réponse au test de logique reflète une bonne réponse ou si elle est la continuation du schème linéaire d’un répondant inattentif. Cela dit, puisque la grande majorité des répondants avec un schème linéaire réussissent le test de logique nous alléguons qu’il y a un doute raisonnable sur la non-culpabilité de ces panélistes et qu’ils ne devraient pas être rejetés.

L’analyse de la validité du test de détection des schèmes linéaires révèle une seconde perspective alarmante. En effet, 6,3% de l’ensemble des répondants (n=83 sur 1309) ont échoué au test de logique du premier bloc de question, mais comme ils n’affichent pas de schèmes linéaires, ils ne sont pas détectés par la méthode classique de détection des schèmes linéaires. Par conséquent, une proportion significative des panélistes a échappé aux filets des autorités et demeure en cavale. La preuve objective d’une erreur de réponse chez ces répondants soulève des doutes sur la validité des autres réponses de ces derniers. À terme, le bruit statistique qu’encourent ces derniers dans le bloc de questions pourrait miner la validité des données du sondage.

En somme, 9,3 % des répondants du premier bloc de questions ont échoué au test de logique. De ceux-ci, 3,0 % affichaient un schème linéaire et 6,3 % n’avaient pas de schèmes linéaires. Par conséquent, la technique classique de détection des schèmes linéaires détecte moins du tiers des panélistes avec des preuves objectives d’erreurs de réponse. Cela représente un constat accablant pour cette prétendue technique de détection des erreurs de réponse. D’une part, cette technique surestime considérablement la présence d’erreurs de réponse chez les panélistes affichant un schème linéaire et d’autre part elle sous-estime significativement les erreurs de réponses chez les répondants qui n’affichent pas de schèmes linéaires. En effet, les répondants sans schèmes linéaires font deux fois plus d’erreurs de réponses que les répondants avec un schème linéaire (6,3 % versus 3,0 %). Cela suggère que les schèmes linéaires ne représentent pas le noyau des répondants inattentifs.

La figure 3 illustre les résultats du deuxième bloc de questions. Les conclusions sont essentiellement les mêmes que pour le premier bloc de questions. La principale distinction réside dans le fait que le pourcentage de tests non concluants est significativement plus élevé que dans le premier bloc (2,1 % versus 0,5 %). Cela est tributaire de la valeur employée dans le test de logique. En effet, dans ce bloc de questions le test de logique invite le répondant à sélectionner la réponse « 1 » dans l’échelle de mesure. Puisque cette valeur est fortement employée par les répondants avec un style de réponse sévère, il devient difficile de déterminer la présence d’erreurs pour cette modalité de réponse. À la lumière de l’analyse des modalités des réponses employées dans les schèmes linéaires (voir la figure 1), nous recommandons d’éviter les valeurs associées aux styles de réponses cléments, sévères et à tendances centrales dans les tests de logiques pour réduire l’incidence de tests non concluants.

Compte tenu des grandes similarités dans les résultats des deux blocs de questions, notre analyse supporte trois importants constats. Primo, l’absence d’un schème linéaire semble corrélée avec un succès au test de logique. Secundo, la présence d’un schème linéaire n’est toutefois pas liée avec un échec au test de logique. Par conséquent, nous devons rejeter l’hypothèse qu’un schème linéaire est synonyme d’erreurs de réponses. En effet, près de 3 répondants sur 4 (¾) avec un schème linéaire réussissent les tests de logiques. La technique de détection des schèmes linéaires surestime donc significativement la présence d’erreurs de réponses. Cela contribue à rejeter injustement un grand nombre de panélistes avec des réponses valides. Tertio, la technique de détection des schèmes linéaires sous-estime significativement les erreurs de réponse chez les répondants qui n’ont pas de schèmes linéaires. En effet, comme démontré précédemment, cette technique détecte moins du tiers des erreurs de réponses telles que mesurées par les tests de logiques dans notre étude.

Ces trois constats suggèrent que la faible validité de la technique de détection des schèmes linéaires pourrait miner la validité du sondage en soi. En effet, dans le premier bloc de questions, 10 % des répondants seraient injustement rejetés alors que 6,3 % des répondants avec des erreurs de réponses seraient conservés dans la base de données générant ainsi du bruit statistique indu. En somme, cette technique rejette injustement plus de répondants avec des réponses valides que de répondants avec de véritables erreurs de réponses.

Devant ces constats, nous recommandons de ne pas employer la technique de détection des schèmes linéaires à cause des problèmes de validité dont nous faisons état. L’utilisation d’une technique de détection active comme les tests de logiques est plus sensible pour détecter des erreurs de réponses. Puisque nous faisons état que les schèmes linéaires sont principalement tributaires de l’effet de halo et des styles de réponses qui ne se traduisent pas en erreurs de réponse, il n’est pas nécessaire de se préoccuper des schèmes linéaires. En effet, les tests de logique permettent de détecter les erreurs de réponse de l’ensemble des répondants. Il est donc plus large dans son déploiement. De plus, le test de logique ne repose pas sur l’hypothèse d’une erreur de réponse, car il procure une preuve objective d’une erreur de réponse.

La faible validité de la technique de détection des schèmes linéaires n’est pas sans soulever des doutes sur les autres techniques passives d’estimation des erreurs de réponse. Les résultats préliminaires d’une récente étude pilote révèlent que le temps de complétion des sondages surestime également les erreurs de réponses. Dans les faits, la majorité des répondants qui remplissent les questionnaires significativement plus rapidement que la moyenne des répondants n’échoue pas aux tests de logique.

En somme, nous concluons que la technique passive de détection des schèmes linéaires fait plus de mal que de bien et mine la validité des recommandations issues des sondages.

L’étude référencée dans le texte a été réalisée avec l’appui financier d’une bourse MITACS et de la société de recherche Élément 54.