Sondages et élections du printemps 2002 en France

Lors du 3ème Colloque Francophone sur les Sondages organisé par la SFS à Autrans près de Grenoble, une table ronde a été consacrée aux « Sondages et élections du printemps 2002 en France », sous la présidence de Gérard Grunberg, Directeur de recherche au CNRS (CEVIPOF) et Directeur scientifique de Sciences Po.
Le débat a été à la fois très riche et parfois tendu. Survey Magazine était présent et vous relate cet événement.

Après une introduction du président de séance Gérard Grunberg, Jacques Antoine a inauguré la table ronde en pointant les difficultés de plus en plus importantes que rencontrent les instituts pour obtenir de la part des personnes interrogées des informations fiables sur les votes réels.
Il a souligné l’écart croissant entre les exprimés du sondage et ceux au moment du vote. Il s’est demandé si dans 20 ou 30 ans, la tâche des sondeurs ne serait pas tellement difficile qu’il n’existerait plus de base scientifique suffisante pour réaliser des sondages politiques.

Michel Lejeune : « Les sondeurs politiques sont médiocre »

La première estocade sur les méthodes et les pratiques des grands instituts est venue de Michel Lejeune, chercheur au Laboratoire de Statistiques et Analyse de Données de l’Université Pierre Mendès France de Grenoble. Tout en prenant la précaution de signaler que les instituts réalisaient généralement un travail de qualité pour leurs clients, il a qualifié de médiocres les méthodes et pratiques des instituts lorsqu’il s’agissait de sondages politiques.

Michel Brulé lui a emboîté le pas en rapportant l’anecdote du sondeur qui avait convié ses clients pour leur annoncer que Jospin ne serait pas au second tour de l’élection présidentielle. Le hic est que cela se passait en 1995 !

Michel Brulé : « Les notices remises à la commission des sondages sont parfois stupéfiantes ! »

Rappelant que tous les sondages donnaient, juste avant le premier tour, les mêmes résultats a peu de chose près et pointant l’importance des facteurs de redressement utilisés (entre 5 et 10 points !) il a émis trois hypothèses explicatives :

La première hypothèse est le manque de concurrence entre les sondeurs. Tous sont issus des mêmes formations (IEP), se connaissent et sont en contact fréquent,

La deuxième hypothèse est que le contrôle de l’autorité de tutelle que constitue la Commission des Sondages est trop mou. Les notices remises par les sondeurs sont de qualités inégales. Mais dans l’ensemble, elles sont «stupéfiantes» et contiennent beaucoup de jugements arbitraires. « On dit qu’on fait des redressements mais on ne dit pas comment : Secret de fabrication ! On dit utiliser les ‘préférences partisanes pour redresser alors que l’élection porte justement là-dessus !». En conclusion, le gendarme est laxiste et il a tort d’accepter n’importe quoi et de tolérer les aberrations statistiques.

Enfin, la troisième hypothèse énoncée par M. Brulé est que les acheteurs média sont très mauvais. Ils se contentent de descriptifs techniques qui ne seraient pas acceptés par n’importe quel industriel.
Michel Brulé a conclu en indiquant qu’à partir de ces hypothèses, il existe des clauses claires pour remédier à la situation.

Didier Witkowski : « Aucun modèle statistique ne donne des éléments prédictifs satisfaisants »

Piqués au vif, les sondeurs présents ont manifesté, pendant les interventions précédentes, un agacement croissant et bien visible.

Didier Witkowski, de TN SOFRES Opinion est intervenu en premier avec l’intention affichée de contrer un par un les reproches exprimés.

Sur la similitude des résultats, attribuée notamment à la proximité des sondeurs et leurs échanges réguliers, il a affirmé que cela ne se passait pas du tout comme ça. La tentation du lissage portait plutôt sur les résultats obtenus d’une vague à l’autre que sur les chiffres des autres instituts.

En ce qui concerne le redressement tant décrié, il a expliqué qu’il existait une cohérence d’une élection à l’autre et que les votes ne basculaient pas comme cela d’un bout à l’autre de l’échiquier. Pour étayer ce propos, il s’est appuyé sur l’exactitude des estimations de résultats donnés le jour de l’élection sur les échantillons de bureaux de votes et redressés sur les votes antérieurs, qui tendaient à prouver que les redressements pratiqués sur les résultats précédents étaient bien valables.

Pour ce qui est des élections de référence, M. Witkowski a précisé que les sondeurs essayaient de redresser plusieurs fois en prenant l’élection la plus semblable, la plus récente ainsi que plusieurs autres élections. Il a toutefois rappelé qu’il était difficile pour les sondés de reconstituer fidèlement leurs votes antérieurs sauf par rapport aux présidentielles (Qui se rappelle parfaitement de ce qu’il a voté aux 3 dernières élections ?).

M. Witkowski a reconnu un certain empirisme dans ces redressements, tout en indiquant qu’il était dubitatif sur la capacité d’un modèle statistique qui donnerait des tendances fiables et des éléments prédictifs satisfaisants. Il a toutefois signalé que les instituts n’étaient pas fermés aux techniques statistiques qui pourraient apporter plus d’exactitude notamment dans l’appréciation des marges d’erreurs.

Il a également manifesté de l’intérêt par rapport à la piste évoquée par une précédente conférencière canadienne, Claire Durand (Université de Montréal). Mme Durand avait indiqué lors d’une conférence intitulée « Sondages et estimations de vote : une comparaison France-Canada », que les firmes canadiennes et québécoises faisaient systématiquement suivre la première question sur l’intention de vote, d’une deuxième destinée a recueillir, chez les indécis, une indication du candidat pour lequel ils pourraient aller voter.

Pour terminer M. Witkowski a suggéré également que les instituts communiquent désormais des fourchettes d’intentions de vote plutôt que des pourcentages.

Edouard Lecerf : « Qu’est-ce qui prouve que les chiffres du CESP sont justes ? »

Edouard Lecerf, d’IPSOS très impatient d’intervenir, a commencé par s’en prendre à la phrase de Mr Lejeune sur la médiocrité des sondages politiques. Il a d’abord voulu mettre en évidence le fait que ces sondages étaient les seuls à recevoir une validation ou une sanction issues de la réalité.

Il a posé la question de savoir ce qui prouvait que les résultats de Médiamétrie correspondaient bien à la réalité ou que les chiffres du CESP étaient justes. Cette question a provoqué dans la salle une certaine émotion et l’intervention d’un congressiste qui s’est notamment levé pour lancer « Non je ne peux pas vous laisser dire ça ! ». Pour calmer le jeu, Mr Lecerf a rappelé que son objectif n’était pas de remettre en cause les autres formes de sondages mais seulement de pointer la situation spécifique des sondages politiques, dont la justesse ou les erreurs pouvaient être appréciées systématiquement et objectivement, par rapport au résultat des élections.

Il a poursuivi en indiquant que les sondages du premier tour devaient mesurer les intentions de vote pour 16 candidats. Dans un autre contexte, on serait déjà très heureux d’avoir d’aussi bonnes approximations pour apprécier, par exemple, la part de marché de 16 produits.

Enfin, il a rappelé que les instituts d’études étaient des sociétés commerciales, confrontées à des réalités économiques les obligeant à travailler vite et à optimiser leurs dépenses.

Jérôme Sainte-Marie : « On ne détruit que ce que l’on pourrait remplacer »

Jérôme Sainte-Marie, de BVA, a démarré son intervention en indiquant qu’on ne détruisait que ce que l’on pouvait remplacer. «On fera des sondages politiques tant que ceux-ci vaudront mieux qu’aller au café du coin pour prédire le résultat des élections.».

Il a évoqué son oncle, un scientifique qui, après le premier tour des élections s’était moqué du caractère non-scientifique des sondages politiques, s’empressant de demander aussitôt : « Mais qu’est-ce que ça donne pour le 2ème tour ? ».

Mr Sainte-Marie a indiqué que l’on vivait un grand changement dans la profession qui consistait en un passage du sondeur démiurge au sondeur technicien.

Pour expliquer les erreurs, il a rappelé d’abord que les sondeurs travaillaient sur des données imparfaites, les intentions de vote. Ces données déclaratives pouvaient comporter des biais importants par rapport aux bulletins de votes qui allaient être mis dans les urnes.

Il a également pointé les biais liés à la difficulté croissante dans la constitution des échantillons, dans les modes de recueil habituels que sont le téléphone et le face à face. Au passage, il a exprimé un grand scepticisme face au recueil par Internet, en France, de données sur des échantillons représentatifs.

Rebondissant sur la suggestion de son collègue de la SOFRES sur la publication des marges d’erreur (production de fourchettes), il a qualifié cette pratique de dérive pseudo-scientifique et « de la vision la moins sincère du mensonge ».

Pour terminer, il a stigmatisé « l’usage social disproportionné des sondages » tout en estimant normal qu’on veuille savoir qui va l’emporter et de combien.

Emmanuel Rivière : « Si les sondages étaient vraiment une photo à l’instant T, on y verrait la grosse tâche de l’indécision »

Emmanuel Rivière, du Service d’Information du Gouvernement a commencé par mettre en garde contre la tentation de sombrer dans certains excès. Il a rappelé que le vote était un comportement secret et qu’il ne fallait pas en rajouter sur la médiocrité des sondeurs. La grande exactitude des sondages pour les législatives et la bonne approximation des résultats du second tour des présidentielles étaient plutôt le signe d’une qualité qu’il fallait reconnaître. Cela montrait notamment que les redressements effectués sur la base de données vieilles de 15 jours seulement étaient évidemment plus justes que ceux utilisant des votes d’il y a 5 ans.

Mr Rivière a également rappelé que les résultats des sondages électoraux de 2002 comportaient, dans l’ensemble, moins d’erreurs que ceux de 1995. Ils ont bien prévu l’abstention record, les résultats records de l’extrême gauche et de l’extrême droite dans son ensemble (Le Pen + Megret) ainsi que le non franchissement de la barre de 20% par aucun des candidats en présence.

Il a plutôt suggéré de se tourner vers la manière dont l’information avait été restituée au public et s’est interrogé sur l’impact de l’affirmation « Jospin-Chirac au 2ème tour » sur les votes des Français. Il a poursuivi en se demandant si on pouvait continuer à endosser la responsabilité de restituer l’information sous sa forme actuelle.

Mr Rivière a rappelé que les sondages n’étaient pas une photo à l’instant T comme on le disait trop souvent.

« Sinon on verrait au milieu la grosse tâche de l’indécision ». En effet, les indécis n’entrent pas dans le calcul des pourcentages d’intentions de vote pour chaque candidat. Il a suggéré de rendre compte de ces incertitudes pour mieux faire part de la situation.

Gérard Grunberg : « On doit bien examiner la méthode des quotas »

Le président de séance, M. Grunberg a repris la parole pour rappeler que la question n’était pas de faire le procès des sondeurs mais d’avancer sur différents points.

Ainsi, il serait intéressant de savoir si les sondeurs avaient le sentiment que leur métier était de plus en plus dur pour produire des résultats fiables ? Si oui, pourquoi ?

« On sait que les bruts de Le Pen sont toujours très faibles et que les redressements sont très élevés. Cela pose en soi le problème des quotas que l’on doit bien examiner, même si on ne va pas conclure qu’il faut passer au mode aléatoire comme dans les autres pays qui nous pressent à le faire ». Il y a donc, a-t-il poursuivi, une nécessaire interrogation sur la difficulté du métier.

Par ailleurs, M. Grunberg a pointé l’importance de la dimension économique, qui pouvait mener à une contradiction entre l’enjeu politique des sondages et les conditions économiques de leur réalisation.
Enfin, il a évoqué l’importance de l’auto-contrôle et du contrôle. Il a estimé que la profession devait être demandeuse et qu’elle devait tout faire pour sortir du secret et s’insérer dans le maillage social.

Après cette intervention, la salle a eu la parole pendant quelques minutes pour poser des questions et faire part de quelques réactions. Parmi celles-ci, un congressiste canadien a fait part d’une expérience au Canada qui a consisté, après des sondages politiques ratés, à ré-interroger, après l’élection, tous les répondants interrogés auparavant, afin de bien comprendre ce qui s’était passé. Il a demandé si une telle initiative était prévue en France, mais n’a pas eu de réponse à cette question.

Jérôme Sainte-Marie : « En France, les échantillons sous-évaluent les sans diplômes et sur-estiment les fonctionnaires »

Jérôme Sainte-Marie a repris la parole pour indiquer qu’il n’y avait pas véritablement aujourd’hui, en France, un organisme de contrôle des sondeurs. Il a évoqué l’expérience anglaise de 92, où la commission des sondages avait remis à plat les méthodes utilisées en effectuant un véritable audit des instituts. Des hypothèses ont été émises sur les dysfonctionnements constatés, puis ont été validées scientifiquement.
Ainsi, on a vérifié que les méthodes d’échantillonnage conduisaient à sur-représenter les habitants des logements sociaux et à sous-représenter les ménages plus aisés, possesseurs de 2 voitures.

M. Sainte-Marie a estimé qu’en France, les échantillons avaient tendance à sous-représenter les sans-diplômes et à surestimer les personnels de la fonction publique. A ce sujet, il a indiqué que le mode de recueil en face à face lui semblait plus fiable car moins élitiste que le téléphone, et qu’il donnait en général une meilleure estimation de candidats comme Le Pen, alors qu’on pouvait penser le contraire.

Didier Witkowski : « La méthode aléatoire donne de moins bons échantillons que la méthode des quotas »

Didier Witkowski, a indiqué, quant à lui, qu’il avait le sentiment que l’enjeu ne portait pas sur les échantillons mais sur le mode de recueil et le redressement. Il s’est dit d’accord avec Jérôme Sainte-Marie sur la sous-représentation des sans diplômes mais s’est demandé si la raison en était qu’on ne les recueillait pas ou qu’ils ne se déclaraient pas. Il a suggéré que les sans diplômes avaient tendance à dire qu’ils en avaient un petit.

Remarquant par ailleurs que les sondages effectués au lendemain du premier tour de la présidentielle, donnaient toujours 7 à 8% de votants pour Le Pen, il s’est demandé s’il ne s’agissait pas là d’un véritable acte politique des partisans de ce candidat.

Par rapport à la méthode des quotas, M. Witkowski a indiqué qu’en 2000, une grande enquête avait été effectuée en aléatoire et que l’échantillon obtenu s’était révélé bien plus mauvais qu’avec la méthode des quotas, y compris sur les sans diplômes.

Enfin, répondant à son collègue de BVA, M. Witkowski a estimé que le face-à-face se révélait généralement moins bon que le téléphone pour l’estimation des intentions de vote.

Jacques Antoine : « La commission des sondages n’accepte pas n’importe quoi »

Jacques Antoine a pris la parole pour rappeler qu’il n’y avait pas, en France, de bonnes statistiques INSEE concernant les diplômes.

Répondant aux deux précédents intervenants, il a estimé quant à lui que les biais étaient plus forts au téléphone qu’en face à face, par rapport au niveau socio-culturel des répondants qui veulent bien répondre à une enquête.

Revenant sur les attaques de M. Brulé concernant la Commission des sondages, Jacques Antoine, expert scientifique auprès de cette commission, a voulu pointer le peu de moyens dont disposait cet organisme, par rapport à des institutions comme le CESP. Il a également fait part des délais très courts auxquels devait faire face cette commission, notamment dans les derniers jours.

Ceci dit, Mr Antoine a affirmé que la commission n’acceptait pas n’importe quoi et qu’elle demandait parfois plus de précisions sur certains points. Cependant, il a estimé que sa mission première consistait à vérifier que le travail des instituts était conforme aux règles de l’art, en leur laissant toutefois la responsabilité de leurs chiffres.

Il a reconnu que le travail de la commission devrait être réformé mais, a-t-il précisé, pas indépendamment du reste, c’est-à-dire, en phase avec une déontologie à redéfinir avec les sondeurs eux-mêmes.

Michel Lejeune : « Il faut faire passer l’idée des marges d’erreur »

Michel Lejeune qui avait mis le feu aux poudres en début de réunion, a précisé que son qualificatif de médiocre devait être perçu au regard de l’enjeu.

Convenant qu’il valait mieux parler d’incertitudes que d’erreurs, il a insisté sur l’importance des relations avec les médias pour faire passer l’idée de marges d’erreurs. Il a rappelé que les journalistes savaient peu de choses sur les sondages et que la communauté scientifique et les sondeurs devaient mieux communiquer avec eux pour faire en sorte que ce qui leur est transmis soit moins déformé ou simplifié.
Au sujet de la relation avec la presse, M. Lejeune a fait part d’une anecdote sur la difficulté pour la Société Française de Statistiques de faire un simple communiqué de presse explicatif après les élections. Après des débats internes sur l’opportunité de réagir à chaud puis une grande discussion méthodologique sur la notion d’échantillons représentatifs, il avait été décidé de ne rien faire pour le moment !

Emmanuel Rivière a confirmé que la moulinette audio-visuelle réduisait le résultat à sa plus simple expression et qu’il restait toujours au final, des chiffres énoncés sans précautions.

Michel Brulé : « Ne pas dire comment on a redressé est inacceptable »

Répondant notamment à Jacques Antoine, Michel Brulé a précisé qu’il reprochait à la Commission des Sondages d’accepter l’arbitraire en matière de manipulation des chiffres :

« Ne pas dire comment on a redressé est inacceptable. La dose d’arbitraire est trop importante ». En laissant trop de latitude à « l’art » du sondeur, la commission détourne les instituts de l’amélioration des données de base. On met donc dans le même panier ceux qui travaillent bien et ceux qui pensent s’en sortir en bidouillant les chiffres.

Il a dénoncé le fait que la science politique était amenée à analyser la motivation et la structure sociale de l’électorat à partir seulement du tiers des votants Le Pen qui s’exprimaient. C’était le même problème pour le vote communiste dans les années 50-60.

En guise de solution, M. Brulé a suggéré de remplacer la question sur l’intention de vote par une urne dans laquelle le sondé aurait à glisser un bulletin.

Pour conclure, M. Brulé a insisté sur l’importance pour la profession d’identifier et de corriger tous les biais.
Mr Grunberg a clôturé cette table ronde très animée en indiquant qu’il fallait prendre plus au sérieux la profession de sondeur dont le travail doit être en permanence discuté et contrôlé.

Participants à la table ronde :
Gérard Grunberg : Directeur de recherche CNRS (IEP Paris) et chercheur au CEVIPOF.
Michel Lejeune : LABSAD-laboratoire de statistiques et analyses de données. Université Pierre Mendès France. Domaines de recherche : La statistique multivariée et les enquêtes et les sondages.
Jacques Antoine : Professeur honoraire au CNAM, Directeur de Cesem Opinion. Conseiller scientifique à la commission des sondages.
Jérôme Sainte-Marie : Directeur des études politiques à l’institut BVA.
Edouard Lecerf : Directeur Général d’Ipsos Opinions.
Emmanuel Rivière : Directeur du Département des Etudes et des Sondages au Pôle Observatoire de l’Opinion du SIG (Service d’Information du Gouvernement).
Didier Witkowski : Directeur adjoint du département politique et opinion de la SOFRES. Spécialisé dans les enquêtes quantitatives, il a en charge la plupart des enquêtes d’opinion réalisées pour la presse.
Michel Brulé : Revue Societal. Co-fondateur de BVA et auteur de « L’empire des sondages : transparence ou manipulation. »

La commission des sondages :
La commission des sondages existe depuis 1997, sa constitution est prévue dans l’article 6 du 19 juillet.
Elle est composée de 9 membres plus deux personnes qualifiées qui sont désignées par décret en conseil des ministres et élues pour trois ans. Le dernier décret date du 27 mars 2002 et a donné la composition suivante :

3 membres du conseil d’état :
Jean-Michel GALABERT, Président de section au conseil d’état
Pierre ZÉMOR, Président de la communication au conseil d’état
Edwige BELLIARD, Conseiller d’état

3 membres de la cour de cassation :
Michel ALDEBERT, Conseiller honoraire
Gérard PALISSC, Conseiller
Philippe SEMPÈRE, Conseiller

3 membres de la cour des comptes :
Jacques MÉNIER, Conseiller maître honoraire
Anne-Marie BOUTIN, Conseiller maître
Jean-Pierre BONIN, Conseiller référendaire

2 « personnes qualifiées » :
Christian BIDEGARAY, professeur des universités
Elisabeth DUPOIRIER, directrice de recherche au centre d’étude de la vie politique française.

Les deux personnes qualifiées ne doivent pas avoir exercé d’activité dans un institut de sondage au cours des trois années précédant leur nomination ni en avoir reçu de rémunération sous quelque forme que ce soit durant les 5 années précédentes.

Cette commission veille au respect des lois et doit demander au garde des Sceaux de saisir la justice en cas d’infraction les amendes peuvent atteindre 750.000 Euros. Elle a le pouvoir de contraindre à la publication d’une mise au point les organes d’information n’ayant pas respecté leurs obligations légales.
Le 24 mai 1997, elle a d’ailleurs demandé des poursuites contre les médias français qui avaient violé des dispositions de l’article 11 de la loi du 19 juillet 1977 qui interdisaient par quelque moyen que ce soit, pendant la semaine qui précède chaque tour de scrutin, la publication et la diffusion de tout sondage.
Le 20 février 2002, le législateur a autorisé la publication de sondages électoraux jusqu’au vendredi minuit précédant le scrutin tout en renforçant le contrôle de la commission des sondages.

Notons que la commission peut aussi à tout moment faire diffuser des mises au point par le service public de l’audiovisuel.

De plus, les instituts de sondage doivent remettre une notice d’information contenant des informations très précises (l’objet du sondage, le choix de la composition de l’échantillon, le texte intégral des questions posées…) et ce, 24 heures au plus tard avant la diffusion ou la publication du sondage.