La définition des objectifs
Gardez à l’esprit, lorsque vous vous lancez dans un projet d’enquête, que votre objectif est de répondre à une interrogation. Si vous ne savez pas précisément de quelle interrogation il s’agit, laissez-tomber l’enquête.
Votre objectif doit être clair pour tout le monde, bien ciblé et opérationnel.
La clarté pour tous
Même lorsque vous avez identifié un objectif clair, pensez à le formaliser et à le faire approuver par toutes les personnes concernées par l’enquête. En effet, il est très fréquent que différents services ou intervenants aient des lectures différentes de la finalité d’une même opération. Certains vont chercher un complément d’informations, d’autres une explication d’un comportement ou une hiérarchisation de différents choix. D’autres encore vont surtout attendre que l’enquête leur fournisse de la matière ou des alibis pour leur communication interne ou externe. Ces différents niveaux d’objectifs impliquent des approches différentes.
Il est donc important que la finalité première et le type de résultats attendus soient écrits et validés, avant d’aller plus loin.
Le bon ciblage
Comme dans tout projet, il est tentant, lorsqu’on planifie une enquête, de penser à différents objectifs complémentaires qu’on pourrait atteindre “pendant qu’on y est” et parce que “c’est dommage qu’on n’en profite pas pour également…”
C’est comme cela qu’on arrive ensuite à des questionnaires complexes, qui dispersent l’attention de l’interlocuteur sur différents sujets.
Nous vous conseillons de vous concentrer sur le sujet principal, sans digressions et rattachements artificiels. Si un sujet complémentaire ne vous semble pas mériter une autre enquête à lui tout seul, c’est probablement qu’il n’est pas tellement important.
Le caractère opérationnel
L’objectif doit également être opérationnel et susceptible de déboucher sur des actions concrètes. Trop souvent, des enquêtes sont réalisées et de nombreuses questions posées “parce que c’est intéressant”. Il convient à chaque fois de se demander si cet intérêt a un prolongement concret et peut se traduire ensuite par des décisions et des améliorations effectives. Si tel n’est pas le cas, le seul fait de soulever la question peut engendrer lui-même des promesses et des insatisfactions supplémentaires.
Le choix de l’échantillon
C’est là une source d’interrogations fréquente pour les personnes chargées d’élaborer l’enquête : combien de personnes dois-je interroger pour que mes résultats soient fiables ? Comment dois-je les choisir pour qu’ils soient représentatifs ?
Méthode de sélection
Le pré-requis consiste déjà à bien identifier la population-mère sur laquelle porte l’enquête : s’agit-il d’une enquête sur vos clients actuels ou sur tous ceux qui seraient susceptibles de vous acheter un produit un jour ? La question posée se limite-t-elle à une zone géographique, à un groupe particulier de personnes ? etc.
En théorie, vous devez sélectionner l’échantillon par tirage aléatoire dans cette population-mère que vous aurez identifié. Chaque individu statistique doit avoir exactement la même chance que les autres de participer à l’enquête.
En réalité, il est le plus souvent impossible de constituer une base de données exhaustive et de tous les individus de la population-mère. Vous aurez donc plus vraisemblablement recours à la méthode plus empirique des quotas. Le principe est d’identifier dans la population-mère, quelques critères de répartition significatifs puis d’essayer de respecter cette répartition dans l’échantillon d’individus interrogés. Les individus qui n’entrent pas dans les quotas sont écartés, soit au moment de l’interview (par l’enquêteur ou le système de gestion d’appels pour les enquêtes téléphoniques) soit à posteriori (lors de la consolidation et du traitement de données). Vous pourrez également avoir recours par la suite, au moment de l’analyse des réponses, au redressement d’échantillons. Cette opération est effectuée automatiquement par les logiciels d’enquêtes. Elle consiste à affecter des pondérations aux différents individus pour respecter les répartitions connues dans la population-mère.
Taille de l’échantillon
L’enquête, menée sur un échantillon, doit vous permettre de généraliser les résultats à l’ensemble de la population ciblée. La taille de l’échantillon est bien sûr déterminante : Plus votre échantillon est important, plus la généralisation sera fiable. Toutefois, les gains de fiabilité ne sont pas proportionnels à l’augmentation de la taille de l’échantillon. Ainsi, en interrogeant 2.000 personnes vous n’aurez pas des résultats deux fois plus fiables qu’en n’en interrogeant que 1.000. En revanche, il est probable que vous multiplierez par 2 les frais d’administration du questionnaire.
La notion de fiabilité d’échantillon est matérialisée par un seuil de confiance et une marge d’erreur. Ainsi, un échantillon défini à un seuil de confiance de 95% et avec une marge d’erreur de 3% vous permettra d’extrapoler chaque résultat issu de votre enquête, avec 5% de risques de vous tromper de + ou – 3%. Ainsi, si vous obtenez un taux de satisfaction de 67% sur un produit ou service, vous pourrez affirmer que le taux de satisfaction réel sur l’ensemble de vos clients a 95% de chances de se situer entre 64 et 70%.
Si la taille de l’échantillon est déterminante, la taille de la population-mère a en revanche très peu d’importance. En effet, il faut savoir qu’à l’exception des populations très petites où le lien est plus direct (voir encadré ci-dessous), la marge d’erreur d’un échantillon n’est que très faiblement liée à la taille de la population-mère. Et ce lien est quasi-inexistant lorsque vous avez affaire à de grandes populations.
C’est pour cela par exemple, que les sondages politiques réalisés aux Etats-Unis sur un échantillon de 1.000 personnes ont quasiment les mêmes marges d’erreur que celles réalisées en France ou en Belgique sur des échantillons de même taille.
Il faut également savoir que la répartition des réponses à une question donnée conditionne la marge d’erreur de l’extrapolation, dans un même échantillon. Ainsi, lorsque vous obtenez des réponses réparties à 50-50, le niveau de précision de votre extrapolation est inférieur à celui que vous auriez avec une répartition 80-20.
En pratique, pour calculer la marge d’erreur précise des résultats d’une question, c’est à dire l’intervalle de confiance dans lequel se situe réellement la réponse au seuil de confiance de 95% , vous pouvez appliquer la formule suivante : Erreur = 1,96 * Racine (p*(1-p)/n), où p est le pourcentage de réponse et n la taille de l’échantillon.
Ainsi, au seuil de 95%, pour un échantillon de 1000 personnes et un niveau de réponse de 50%, l’erreur est de +/- 3,1% et la réponse sera en fait comprise entre 46,9% et 53.1%. Ce qui peut changer bien des choses (notamment lors des pronostics électoraux) et qui doit encourager à une certaine vigilance dans la construction des échantillons et dans la communication des résultats.
Le tableau récapitulatif ci-dessous indique les marges d’erreurs pour quelques proportions de réponses, au seuil de confiance de 95%, pour quelques tailles d’échantillon :
En théorie, cette méthode de calcul scientifique de la marge d’erreur ne s’applique que sur les échantillons obtenus par tirage aléatoire. En pratique, vous pouvez également l’utiliser pour les enquêtes par quotas.
Choix des quotas
Les critères généralement utilisés comme quotas sont le plus souvent des variables socio-démographiques (sexe, CSP, âge). Mais vous pouvez également intégrer des critères comportementaux ou d’opinion, dont vous connaissez la proportion dans la population mère. Ainsi, vous pourrez chercher à reconstituer dans l’échantillon la part de marché de vos produits et des produits concurrents.
Au delà de l’objectif de représentativité statistique de l’échantillon, les quotas peuvent également être utilisés comme critères de sélection des personnes à interroger en liaison avec l’objet de l’étude. Ainsi, vous pouvez chercher à interroger 50% de clients et 50% de non clients, non pas parce que c’est le reflet de la réalité mais simplement parce que vous souhaitez comparer les opinions de vos clients avec ceux des non-clients. Dans ce cas, vous êtes en présence de deux échantillons distincts dont la représentativité est à mesurer séparément.
Dans tous les cas, ne retenez qu’un nombre restreint de quotas. Au delà de 2 ou 3 quotas, vous compliquerez la tâche de vos enquêteurs, surtout pour la gestion des “queues de quotas”.
De même optez pour des quotas simples où l’enquêteur cherchera à remplir séparément les différents critères plutôt que pour les quotas croisés, même si ces derniers traduisent plus fidèlement la structure de la population globale.
