Que valent les sondages pré-électoraux ?

Dimanche 22 avril 2012. 20h00. Les premières estimations de résultats du 1er tour s’affichent sur nos écrans de télévision. Aussitôt, les commentateurs et les hommes politiques se relaient sur les plateaux pour réagir aux résultats de l’élection et critiquer immanquablement les sondages, accusés soit de s’être trompés, soit d’avoir eu un impact sur les résultats en avantageant/désavantageant l’un ou l’autre des candidats.
La polémique se poursuit ensuite entre les deux tours, alimentée notamment par le perdant annoncé et ses équipes, tandis que le candidat donné vainqueur au final se refuse à commenter les sondages tout en se félicitant de leurs estimations. Car, comme l’a relevé récemment un humoriste, « les sondages, c’est comme les photos » : on les déchire lorsqu’ils sont ratés et on les montre partout lorsqu’ils nous avantagent.
En tout cas, une chose est sûre : les sondages occupent une place centrale dans la vie politique, dans la presse et sur les ondes. On les cite, les commente, les critique, les décortique. Ils alimentent d’incessantes polémiques mais on ne peut absolument pas s’en passer. Et leur importance est telle qu’on finit par en attendre un résultat précis, plusieurs mois avant le scrutin.
D’où vient ce mélange d’espérances, de rejets et de passions ? Les sondages méritent-ils vraiment tout l’intérêt qu’on leur porte ? Que valent-ils vraiment et sont-ils en mesure de prédire avec exactitude les résultats d’une élection ?
Pour se faire une idée objective, analysons en détail la technique des sondages et évaluons ensemble la dimension scientifique des méthodologies mises en œuvre par les instituts en analysant en détail les différents paramètres pouvant impacter la qualité des résultats.

L’histoire des sondages

Gallup, l’américain

Remontons à l’année 1936 pour commencer au commencement.
Nous sommes à la veille du scrutin qui va opposer, aux Etats-Unis, le président en exercice Franklin D. Roosevelt à son concurrent républicain Alf Landon. Cette année marque la véritable naissance des sondages politiques. Landon est donné largement vainqueur par les journaux américains qui ont recours à leur technique traditionnelle de « vote de paille » (straw-votes) : il s’agit de solliciter les lecteurs en leur demandant d’adresser un coupon indiquant le candidat pour lequel il vont voter. Suite au dépouillement de près de deux millions de bulletins, le Literary Digest annonce la victoire de Landon.
Un an avant l’élection, un statisticien et sociologue du nom de Georges Gallup fonde dans le New Jersey, l’American Institute of Public Opinion. Suite à un sondage effectué sur un échantillon représentatif de 4000 électeurs, il pronostique la victoire du président sortant. L’élection lui donne raison et impose définitivement la crédibilité des sondages, comme outils de prévision fiables. A partir de cette date, le recours aux sondages pré-électoraux se généralise et le nom de Gallup, cité quotidiennement dans la presse, est associé à cette technique.
Cette crédibilité est cependant menacée par les performances des sondages lors des élections de 1948, toujours aux USA. Confiants dans leurs études, les trois principaux instituts américains (Gallup, Roper et Crossley) arrêtent d’interroger les électeurs plusieurs semaines avant la date des élections. Le républicain Thomas E. Dewey, pronostiqué vainqueur est battu par Harry Truman. Ce dernier s’affiche, le lendemain de l’élection, avec la une du Chicago Daily Tribune qui avait titré prématurément, sur la foi des sondages,  » Dewey Defeats Truman » !
Cet épisode illustre bien l’un des biais des sondages, qui ne sont qu’une photo d’une situation à un moment donné. Or l’opinion publique est versatile et peut basculer en quelques semaines, parfois même en quelques jours ou heures, à la suite d’évènements particuliers.

Stœtzel, le français

Dès 1938, le sociologue Jean Stœtzel s’inscrit dans les pas de Gallup (qu’il a rencontré aux Etats-Unis) et fonde à Paris l’Institut Français de l’Opinion Publique (IFOP). C’est lui qui invente d’ailleurs le terme « sondage » auquel il trouve une bonne consonance scientifique.
Les estimations de vote du soir de l’élection, incontournables aujourd’hui, remontent à 1965 seulement. Cette année-là, les instituts annoncent à des millions de téléspectateurs français médusés, la mise en ballottage du Général de Gaulle par son adversaire socialiste François Mitterrand. A partir de ce moment, les sondages politiques s’imposent vraiment en France et prennent une importance croissante, d’élection en élection.
Interdite jusqu’en 1977 dans la semaine précédant l’élection, la publication des sondages est autorisée en 2002, jusqu’au vendredi minuit précédent le week-end électoral. Il faut dire qu’Internet avait mis à mal cette règle lors des présidentielles de 1995 et des législatives de 1997, avec la publication des estimations de résultats sur les sites Internet de nos voisins suisses mais aussi de certains médias hexagonaux.

Les bases théoriques des sondages

Le concept mathématique de probabilité

La théorie des sondages repose sur le concept mathématique de probabilité. L’idée est que l’on peut déduire les avis d’une population donnée à partir de ceux d’un échantillon représentatif de cette population. Ainsi, pour savoir ce que pensent les Français, il suffirait d’interroger un petit groupe, en veillant à ce que les caractéristiques de ce groupe soient les mêmes que ceux de l’ensemble de la population. La taille de ce groupe détermine la marge d’erreur de l’extrapolation à la population globale.
En théorie, la bonne manière d’obtenir un échantillon représentatif est de procéder à un tirage complètement aléatoire, en veillant à ce que chaque français ait exactement la même probabilité d’être choisi. Cette méthode étant quasiment impossible à mettre en œuvre et extrêmement coûteuse, les instituts ont pris l’habitude d’utiliser l’approche par quotas. Cette approche consiste à inclure des personnes dans l’échantillon en fonction de caractéristiques qui doivent être, pour l’ensemble de l’échantillon, les mêmes que pour la population de référence. Les caractéristiques utilisées dans les sondages politiques sont généralement de type signalétique, à savoir l’âge, le sexe, la profession…

Les marges d’erreurs

Bien entendu, plus la taille de l’échantillon est importante, plus la fiabilité de l’extrapolation est grande. Cependant l’amélioration de la fiabilité ne croit pas aussi fortement que la taille de l’échantillon. Ainsi, un échantillon de 5.000 personnes n’est pas 5 fois plus fiable qu’un échantillon de 1.000 personnes. La fiabilité est exprimée en marge d’erreur à + ou – x% de la valeur obtenue, en fonction du niveau de confiance souhaité (habituellement 95%). Ainsi, lorsqu’on utilise un échantillon de 1.000 personnes comme c’est le cas dans les sondages politiques, la marge d’erreur au seuil de confiance de 95% est de + ou – 3,1% pour une réponse donnée par 50% des personnes interrogées. Concrètement, cela veut dire, pour une valeur de 50% obtenue qu’on a 95% de chances de ne pas se tromper en affirmant que la véritable valeur dans la population globale se situe entre 46,9% et 53,1%.

où p est le pourcentage de réponse et n l’échantillon

Le tableau ci-dessous fournit quelques marges d’erreurs au niveau de confiance de 95% :

Ce tableau met en évidence l’importance de la répartition des réponses dans le niveau de fiabilité des résultats. On voit qu’une répartition à 50/50 est associée à une marge d’erreur bien plus importante que pour une répartition à 90/10. La fiabilité des scores attribués aux petits candidats est donc plus forte que celle des grands favoris. De même, la fiabilité des estimations pour le premier tour sont de meilleure qualité que celles du second tour de l’élection où les scores tournent généralement autour de 50/50.
Une autre caractéristique importante est également à noter : aussi surprenant que cela puisse paraître, la taille de l’échantillon à interroger n’est lié que très marginalement à la taille de la population-mère. C’est pour cela que les sondages politiques utilisent généralement 1.000 personnes, que ce soit en France, en Suisse ou aux Etats-Unis (qui comptent plus de 270 millions d’habitants !).

NB : La méthode des quotas n’autorise pas, en théorie, un calcul de marge d’erreur comme indiqué ci-dessus. En pratique, on le fait quand même, en considérant que l’on obtient des résultats comparables à ceux des sondages effectués par tirage aléatoire, lorsque l’échantillon dépasse une certaine taille.

Comment se mène un sondage politique ?

Les modes d’interrogation

Aujourd’hui, les sondages d’intentions de vote sont réalisés soit avec des questionnaires administrés par téléphone (enquêtes CATI : Computer Assisted Telephone Interviewing) soit par l’intermédiaire de questionnaire auto-remplis sur Internet (enquêtes CAWI : Computer Assisted Web Interviewing). Pour les enquêtes par Internet, le recrutement préalable est souvent effectué en amont, par téléphone. Plus aucun des grands instituts n’a recours, pour les sondages politiques, aux enquêtes à domicile, comme c’était le cas dans le passé (où les enquêteurs se heurtaient dans leur pratique quotidienne à de nombreuses difficultés : digicodes, insécurité dans certains quartiers, refus de répondre ou de donner ses coordonnées pour vérification…).

L’utilisation du support téléphonique s’est imposée à partir des années 80, en raison du taux d’équipement des ménages en téléphones fixes, considéré comme suffisant pour permettre de contacter toutes les catégories de populations. Le CATI a apporté une rapidité inconnue dans les enquêtes à domicile et du confort dans l’administration de l’enquête et la gestion des quotas.

Le support web s’est imposé, quant à lui, beaucoup plus récemment (vers 2007 / 2008), après avoir été combattu par beaucoup de professionnels des études qui lui déniaient la qualité de représentativité et lui associaient des biais importants. Aujourd’hui ce support a trouvé une place de choix en complément ou en substitution du téléphone, en raison notamment de sa généralisation dans les foyers, de sa souplesse et des gains importants en coûts et en productivité (d’ailleurs pas toujours répercutés aux clients finaux par les instituts !).

Les méthodes d’échantillonnage

Généralement, les sondages portent sur un échantillon représentatif d’environ 1.000 personnes, âgées de 18 ans et plus et constitué « selon la méthode des quotas sur le sexe, l’âge et la profession du chef de ménage, après une stratification par région et catégorie d’agglomération ». Cette mention qui figure quasiment à l’identique avec chaque sondage est censée nous apporter une indication claire du mode d’échantillonnage retenu. La stratification consiste à découper la population d’ensemble en partitions composées des couples région/catégorie d’agglomération. La méthode des quotas s’applique ensuite à l’intérieur de chaque partition où l’on cherche à faire interroger des sous-échantillons représentatifs sur les trois critères du sexe, de l’âge et de la CSP. On a donc l’impression, que les sondages prennent en compte l’ensemble des régions de France, en adressant, dans chacune, toutes les tailles d’agglomérations et en assurant, dans chaque unité, une répartition de l’échantillon qui respecte celle de la population pour chaque combinaison de critères signalétiques.

Regardons cela de plus près : la France comporte 27 régions en tout (en comptant les DOM-TOM); pour ce qui est des catégories d’agglomération, plusieurs découpage sont possibles mais on peut difficilement considérer moins de 5 strates (allant des petites communes rurales aux grandes villes de plus d’1 million d’habitants). On se retrouve donc déjà avec 27×5 soit 135 strates. Si on considère les 2 sexes, 5 tranches d’âge et 9 CSP, on se retrouve déjà avec 90 combinaisons. Même si certaines combinaisons sont improbables (retraité de moins de 25 ans !), on arrive à environ 12.000 personnes à interroger, pour n’avoir, simplement qu’un représentant de chaque catégorie dans chaque strate !

Bien entendu, ce n’est pas comme cela que la sélection du millier de personnes à interroger est effectuée. On ne considère généralement pas toutes les régions mais seulement certaines d’entre elles. Le principe consiste à tirer aléatoirement, dans une matrice qui croise les régions avec les tailles d’agglomérations, un certain nombre de combinaisons, dans lesquelles on cherchera à appliquer les quotas. En outre, ces derniers seront appliqués à plat : on cherchera donc à obtenir une répartition conforme à celle de la population, pour chacun des critères signalétique, sans croiser les différentes catégories (prise en compte indépendante de la répartition homme/femme, de la répartition par tranche d’âge et de la répartition par CSP).

Le redressement des résultats

Comme dans beaucoup d’enquêtes utilisant la méthode des quotas, les sondages politiques font l’objet de redressements. Un premier objectif est de faire correspondre l’échantillon interrogé avec les quotas visés, pas toujours facile à atteindre. Mais un objectif plus spécifique aux enquêtes politiques consiste à pondérer les déclarations des personnes interrogées, pour aboutir à des estimations plus exactes.
En effet, dans ce domaine sensible que constitue l’intention de vote, on constate un niveau de dissimulation ou de fausse déclaration supérieur à ce qu’on voit dans des enquêtes moins engageantes. C’est notamment le cas pour les intentions de vote qui concernent les candidats « extrêmes » ou pour les abstentionnistes. Le manque de franchise peut également provenir d’un calcul politique de certains électeurs.
Pour arriver à estimer correctement les intentions de vote déclarées, les sondeurs cherchent à les redresser en fonction des résultats connus pour les suffrages précédents. Le principe consiste à demander à chaque interviewé ce qu’il a voté lors du précédent scrutin et d’apporter aux valeurs obtenues les coefficients de redressement nécessaires. Ainsi, si 10% des interviewés indiquent avoir voté pour un parti et que ce parti avait obtenu en réalité 14% des suffrages, on affecte aux 10% de répondants un coefficient de 1,4.
Cette méthode a toutefois ses limites dans les situations sans référentiel ou avec un référentiel incertain. C’est le cas, dans l’élection de 2012 pour Marine Le Pen ou Jean-Luc Mélenchon.

Pourquoi leur arrive-t-il de se tromper ?

Les erreurs liées à la communication

Avant de parler d’erreurs techniques, il convient de mettre l’accent sur la manière avec laquelle les résultats sont communiqués au public. En effet, lorsqu’ils en font état, les journalistes accompagnent rarement l’énoncé des prévisions des nécessaires précautions sur les marges d’erreurs. On énonce des valeurs et on commente des différences de l’ordre du demi-point, alors que les marges d’erreurs sont généralement d’au moins +/- 3 points. On peut les comprendre. Car il est certes difficile d’indiquer que tel homme politique se situe entre 25 et 31% des intentions de vote alors que son concurrent est entre 24,5 et 30,5%. De telles valeurs « parlent » beaucoup moins que 28% pour l’un et 27,5% pour l’autre ! Mais la réalité est pourtant dans le premier énoncé, et le second est porteur de déceptions futures.

L’interprétation des chiffres donne également lieu à des méprises volontaires ou involontaires. Oubliant que les chiffres valent pour la question posée, des commentateurs de bonne foi et des hommes politiques plus intéressés tirent rapidement des conclusions sur d’autres aspects. Ainsi, une bonne opinion sur un homme politique n’est pas une intention de vote. Bayrou est bien placé pour le savoir. De même, une mauvaise opinion n’implique pas obligatoirement un vote contraire, l’opposant politique pouvant être encore moins apprécié.

D’autres fausses interprétations et raccourcis sont liés à un manque de bon sens statistique et mathématique, plus courant qu’on ne le pense : combien de fois entend-on des journalistes ou des politiciens additionner des pourcentages d’une élection à l’autre ou d’un tour à l’autre, sans se soucier des bases de calcul ou en les ajustant selon ses priorités partisanes.

Les biais méthodologiques

Attaquons maintenant les vraies erreurs qui peuvent survenir dans la réalisation du sondage, d’autant plus que ces opérations sont souvent réalisées dans des délais très serrés, exigés par l’environnement politique ou les commanditaires de l’étude.
Revenons d’abord au système d’échantillonnage évoqué dans la diapositive précédente et qui recèle d’importants risques. En effet, si les sondeurs veillent à la représentativité de l’échantillon sur les critères âge, sexe et CSP, il n’est pas évident que les personnes sondées soient représentatives sur d’autres critères signalétiques importants. Ainsi, le niveau d’études, le nombre d’enfants ou le secteur d’activité (et non seulement la CSP) peuvent également avoir une influence sur le vote.

Les critères signalétiques utilisés peuvent également refléter de manière imprécise certains statuts. Ainsi, la fameuse catégorie des inactifs rassemble des personnes dans des situations très diverses. Il peut s’agir de jeunes en recherche d’emploi, de femmes au foyer, de retraités. Ces derniers se regroupent d’ailleurs dans des sous-catégories diverses, selon le métier d’origine.

Un autre frein qui nuit à la représentativité de l’échantillon est le refus de certaines personnes de répondre aux sondages politiques (et parfois à tous types d’enquêtes). Ces récalcitrants sont sous-représentés dans certaines catégories (CSP +, femmes…) et surreprésenté dans d’autres (abstentionnistes, jeunes, ouvriers…). Pour pallier la difficulté à atteindre ces groupes, des redressement sont souvent effectués et finissent par attribuer des coefficients exagérément élevés à certaines cibles difficiles à atteindre. D’ailleurs, cette difficulté de contacter certains groupes est parfois aggravée par l’environnement technique de ces populations : on peut évoquer notamment l’abandon par certaines population de la ligne de téléphone fixe au profit exclusif du téléphone mobile, pour lequel les sondeurs ne disposent pas d’annuaires exhaustifs.

La qualité dans la réalisation du terrain

En plus des problèmes inhérents à la communication des résultats et aux biais associés à l’échantillonnage, il existe très clairement dans l’univers des enquêtes téléphoniques (de manière générale, pas seulement les sondages politiques), un gros problème de qualité qui se manifeste de plusieurs manières :

- le métier de télé-enquêteur est, par nature, un emploi précaire et fastidieux, qui attire surtout des étudiants, des chômeurs, des femmes au foyer et parfois des retraités. Bien entendu, cela n’empêche pas d’avoir des personnes consciencieuses mais il y a également un risque de tomber sur des télé-enquêteurs peu professionnels, qui ne déroulent pas toujours les questionnaires de manière optimale et qui n’appliquent pas systématiquement les consignes. Les superviseurs sont là pour suivre le terrain et apporter les ajustements nécessaires. Mais ils peuvent facilement être débordés, surtout si le sondage doit être fait dans des délais très courts. L’un des biais est d’ailleurs associé au mode de rémunération au questionnaire, qui incite à privilégier la conclusion rapide de l’entretien plutôt que la qualité d’administration. On obtient alors des litanies de réponses citées à toute vitesse, qui ne laissent aucun temps de réflexion à la personne interrogée (On vous cite 10 mesures en les enchaînant d’une traite puis on vous demande d’indiquer celles pour lesquelles vous êtes le plus sensible !).
- les concepteurs de sondages ne font pas toujours preuve d’une grande finesse dans la définition du questionnaire. Certaines questions posées donnent au sondé le sentiment de ne pas être à la hauteur et le déstabilisent pour la suite de l’enquête. Ainsi, certains demandent à ce qu’on leur cite 2 ou 3 propositions qu’ils ont retenues dans le programme d’un ou plusieurs candidats. Beaucoup de personnes ont du mal à isoler ainsi des propositions précises ou à les énoncer clairement, ce qui les met mal à l’aise et les incite à répondre rapidement pour écourter l’entretien.
- les sondés n’ont pas toujours un avis tranché. Pour respecter leurs consignes et obtenir une réponse, les télé-enquêteurs cherchent parfois à faire le forcing. Beaucoup de sondés choisissent alors, sans beaucoup de conviction, l’une de ces possibilités proposées avec autant d’insistance. Devant une hésitation persistante, certains télé-enquêteurs ont tendance à influer sur la réponse « Bon, on met untel alors ? ».

Ce ne sont là que quelques biais d’administration. Le web regorge de témoignages d’anciens ou d’actuels télé-enquêteurs qui ont œuvré dans les grands instituts et qui racontent les mauvaises conditions et les à-peu-près dans le déroulement des entretiens et dans le management qu’ils ont subi. Il est vrai qu’on ressent aussi chez certains une bonne dose de mauvaise volonté et un esprit critique exacerbé, ce qui ne doit pas vraiment aider à obtenir des résultats de qualité.

L’avenir des sondages politiques

Une activité très médiatique

En France, les sondages politiques sont réalisés principalement par huit grands instituts : BVA, CSA, Ifop, Ipsos, Harris Interactive, LH2, Opinion Way, et TNS Sofres. Pour ces instituts, les études politiques et enquêtes pré-électorales représentent surtout un élément de notoriété et une occasion régulière d’être visibles auprès de leurs véritables cibles que sont les entreprises. Il faut dire que la couverture média de chaque publication de sondage est telle qu’elle représente pour chacun des intervenant une vitrine de luxe et un équivalent inestimable en termes de communication tous azimuts : presse écrite, radio, télévision, web…

En termes de chiffres d’affaires, les sondages politiques représentent généralement une part minime du CA pour les principaux instituts. D’après le rapport sénatorial « Sondages et démocratie » établi en 2010, cette part est, en 2009, de 1% seulement pour BVA et IPSOS, de 3 à 5% pour LH2 et de 6% pour Opinion Way. Seul CSA et IFOP affichent une part significative (respectivement 16% et 20 à 25%). Tout cela n’empêche pas la France de faire partie des pays qui produisent et « consomment » le plus de sondages politiques au monde.

Le rapport cité ci-dessus a été établi dans le cadre d’une mission d’information sur les sondages en matière électorale. Il a émis quinze recommandations pour des sondages plus sincères et transparents, un meilleur encadrement législatif des sondages et un renforcement de la légitimité et l’efficacité de la commission des sondages. Le rapport et ses recommandations sont accessibles en cliquant ici.

Un bon sujet de polémique

Quelles que soient les règles, les organismes et les lois qui encadrent l’univers des sondages politiques, il semble que cette activité ait, par nature, une bonne propension à susciter des polémiques.
La tendance à la volatilité de l’électorat et à l’augmentation du nombre d’indécis jusqu’au jour de l’élection ne vont certainement pas participer à la fiabilisation des résultats et par conséquent, à la réduction des débats sur les sondages. En effet, sans parler des estimations effectuées en début de campagne et qui sont quasi systématiquement démenties (voir notre article sur le sujet), que peuvent prévoir les sondages lorsqu’une bonne partie de l’électorat se dit encore susceptible de changer d’avis dans la semaine précédant les élections ?
On a beau répété que les sondages ne sont qu’une photographie d’une situation à un instant T et que les chiffres fournis ont nécessairement une marge d’erreur. Les journalistes, hommes politiques et la société dans son ensemble ne sont pas prêts à l’admettre et continueront toujours à attendre des prédictions exactes. La déception est, en général, à la mesure de cette sur-confiance non justifiée.
Pour éviter que l’opprobre n’arrive par ricochet sur l’ensemble des études et sondages effectués dans le domaine des affaires, les instituts ont intérêt à mieux communiquer sur les limites de leurs chiffres. Masi peut-on l’espérer, dans une société qui va si vite et où l’instantanéité fait perdre de vue les objectifs globaux ?