Attention, statistiques!           

« Il existe trois sortes de mensonges : les mensonges, les affreux mensonges, et les statistiques » disait Benjamin Disraeli, premier ministre britannique de la 2ème moitié du XIXème siècle. Cette discipline jouissait déjà à cette époque d’une importance mêlée de défiance. Son rôle n’a pourtant cessé de croître pour concerner tous les domaines d’activité.
Aujourd’hui, les statistiques servent à tout : elles obnubilent quotidiennement nos hommes et femmes politiques (sondages) et leur permettent par ailleurs d’orienter et de motiver leurs actions (sécurité routière, emploi…) ; elles permettent aux sociologues d’analyser les groupes humains et de déchiffrer leurs comportements ; elles jouent un rôle fondamental dans les sciences en permettant de valider les hypothèses des hommes de l’art et de produire les bonnes conclusions (médecine, physique…) ; elles permettent également aux entreprises, via les études marketing, d’affiner leurs offres, d’orienter leurs stratégies et de mieux cibler leurs marchés.
Malgré ce rôle central, les statistiques subissent régulièrement des critiques et provoquent des débats. Chaque publication de statistiques officielles suscite des querelles et des polémiques sans fin (cf les statistiques récentes sur le temps travail en France ou la délinquance). Les sondages politiques sont quotidiennement contestés et moqués, surtout par les principaux intéressés et surtout lorsque les résultats ne leur sont pas favorables. L’utilisation des statistiques dans le domaine des sciences humaines est également sujette à controverse. Et même la statistique scientifique provoque aujourd’hui son lot de remises en cause.
Comment expliquer cette défiance ? Peut-on, dans les entreprises, continuer à faire confiance aux statistiques d’études pour guider les choix et orienter les décisions ?

Je décris, tu déduis…

La statistique (du latin « status » qui signifie état) se décompose en deux parties distinctes mais très complémentaires : la statistique descriptive et la statistique inférentielle :

- Les méthodes d’analyse statistique descriptives cherchent à dégager, à partir d’un grand nombre d’éléments analysés, l’image la plus exacte possible de la population à décrire. Les indicateurs usuels que sont par exemple la moyenne, l’écart-type et la variance, font partie de la statistique descriptive. Mais cette branche de la statistique comprend également des méthodes plus sophistiquées, comme l’analyse factorielle par exemple.
- L’objectif de l’inférence statistique consiste plutôt à évaluer la validité d’hypothèses, à détecter des liaisons éventuelles entre les variables et à effectuer des extrapolations générales sur la base des observations analysées. Cette branche comprend notamment les tests d’hypothèse, les analyses de la variance, les régressions…

Les statistiques descriptives cherchent à résumer les caractéristiques des populations étudiées alors que les statistiques inférentielles visent à découvrir les caractéristiques cachées de ces populations et les règles que l’on peut en dégager.
Toutes ces méthodes reposent sur des bases mathématiques solides. Et pourtant…

Statistiques bikini

Georges Gallup, le célèbre statisticien américain considéré comme le père des sondages d’opinions, s’amusait à affirmer : « Je peux prouver l’existence de Dieu… statistiquement ». Un autre statisticien célèbre, Aaron Levenstein a eu cette phrase célèbre « Les statistiques, c’est comme les bikinis. Ce qu’elles révèlent est suggestif mais ce qu’elles dissimulent est essentiel ».
Les statistiques ont, en effet, toujours eu la réputation d’être malléables et capables de dire ce qu’on voulait leur faire dire. Il est clair que dans ce domaine, la manipulation est aisée, ne serait-ce que par omission. Par exemple, on peut affirmer dans une entreprise de 200 personnes que la rémunération moyenne s’élève à 3.200 € alors même que 80% de l’effectif touche 1.500 € seulement (les 20% touchant 10.000 € en moyenne). On peut aussi mettre en avant une augmentation importante en valeur des ventes d’un produit alors que la part de marché de l’entreprise est en train de s’effondrer sur ce marché en forte croissance.
Les statistiques officielles sont les plus exposées au soupçon. C’est naturellement le cas en période pré-électorale mais on le constate également de manière plus générale. Les statistiques sur l’emploi, la délinquance et la récidive, la pauvreté ou les prix font notamment l’objet de querelles systématiques.

Mais la suspicion déborde largement les chiffres officiels pour toucher les sciences sociales. Ainsi, certains sociologues réfutent le bien-fondé de l’utilisation des statistiques dès que l’on s’intéresse aux groupes humains. Ils considèrent que les classifications et catégorisations opérées par l’approche statistique des phénomènes, introduisent de la subjectivité et nuisent à la compréhension de la réalité. Ils se placent ainsi dans le sillage de l’ethno-méthodologue américain Aaron Cicourel, qui rejetait déjà dans les années 60 les statistiques sur la délinquance aux Etats-Unis, affirmant qu’elles illustraient en réalité l’activité des services de police plutôt que la réalité des activités criminelles.
Pour Alain Desrosières, spécialiste français de l’histoire des statistiques et membre du grand corps des administrateurs de l’Insee, le réseau statistique se développe en lien avec un système d’institutions. « Cet investissement analogue à celui d’un réseau routier ou ferroviaire, crée des catégories qui deviennent ensuite incontournables ». De ce fait, l’espace d’action des chercheurs et leurs aptitudes à retranscrire les réalités sociales tend à se restreindre. Tout comme un ouvrage n’est pas qu’une suite de mot et qu’une image n’est pas une série de points de couleurs, les phénomènes sociaux ne peuvent se décomposer à l’infini pour être mieux saisis. Les détracteurs de la statistique lui reprochent ses velléités simplificatrices qui nuisent, selon eux, à la préhension et la compréhension globales de notre environnement.

Paradoxe-Intox

En dehors des approches fragmentaires ou partisanes des données, la méthode statistique réserve un certain nombre de pièges dans lesquels même des utilisateurs expérimentés peuvent tomber.

Le statisticien britannique Edward Simpson en a décrit un exemple en 1951. Selon son fameux « Paradoxe de Simpson », un résultat confirmé dans plusieurs groupes différents peut être inversé si l’on combine ces groupes. En voici un petit exemple : Une entreprise embauche au cours d’une année 60 hommes et 16 femmes seulement. S’agit-il d’une entreprise sexiste qui pratique une discrimination intolérable puisque 79% des embauches ont profité à la gente masculine et 21% au sexe faible ?
Approfondissons. L’entreprise a reçu 244 candidatures d’hommes et 84 candidatures de femmes. 25% des hommes qui se sont présentés ont donc été embauchés contre 19% des femmes. On peut donc affirmer que les femmes ont eu statistiquement 20% environ de chances en moins d’être embauchées, ce qui peut encore paraître anormal.
Approfondissons encore. L’entreprise a effectué en réalité 2 vagues de recrutement.

- La première fois, 190 hommes se sont présentés et 56 ont été retenus (soit 29%). 40 femmes se sont également présentées et 12 ont été retenues (30%).
- A la deuxième vague de recrutement, 54 hommes et 44 femmes se sont présentés. L’entreprise a retenu 4 hommes (7%) et 4 femmes (9%).

L’entreprise a donc, à chaque fois recruté une proportion plus importante de femmes. Pourtant, le tableau final laissait apparaître des résultats inverses.
Etonnés ou pas sûrs d’avoir suivi ? Refaites le calcul sur votre tableur et vous verrez le panneau dans lequel beaucoup de scientifiques, de sociologues et de chargés d’études peuvent tomber si facilement.

Intuition avec modération

Les raisonnements logiques peuvent parfois être trompeurs et amener à des mauvaises déductions. On peut l’illustrer avec le célèbre exemple du taxi, énoncé par les 2 prix nobel d’économie Daniel Kahneman (psychologue et économiste américano-israélien) et son collègue Amos Tversky (expert en psychologie mathématique). Kahneman et Tversky évoquent une ville où 85% des taxis sont rouges et 15% bleus. Un taxi renverse un piéton et ne s’arrête pas. Selon un témoin qui a assisté à l’accident, le chauffard roule dans un véhicule bleu.

Avant de se lancer à la recherche de tous les taxis bleus de la ville, on effectue une petite expérimentation dans un contexte similaire. Le résultat indique que des témoins soumis à la même expérience se trompent dans 20% des cas. On pourrait en conclure rapidement que le témoin interrogé a 80% de chances de ne pas se tromper. Or, un examen plus approfondi de la situation et l’application du fameux théorème de Bayes nous montrent que le taux doit être quasiment divisé par deux : le chauffard a, en effet, seulement 41% de probabilité de conduire un taxi bleu. Le taxi fautif est donc, à 69%, jaune.
Le calcul est le suivant : la probabilité a priori que le taxi soit bleu est de 15%. Si on tient compte du taux de fiabilité calculé dans l’expérience, la probabilité que le témoin ait apprécié correctement la couleur bleue d’un taxi réellement bleu est de 80%. La probabilité inverse que le taxi soit rouge alors qu’il a été considéré comme bleu est donc de 20%.
La probabilité a posteriori que le véhicule soit bien de couleur bleue comme l’a affirmé le témoin est bien de 41% en application de la formule ci-dessous :

Les erreurs dans le raisonnement statistiques ou les conclusions qu’on en tire sont certes dommageables dans tous les domaines. Mais c’est certainement dans le domaine des sciences et de la médecine que ces erreurs risquent d’avoir les plus graves conséquences. Or, d’après une étude publiée aux Etats-Unis, plus de 50% des publications scientifiques impliquant la mise en œuvre de statistiques sont entachées d’erreurs de raisonnement et/ou d’interprétation. L’une des méprises les plus fréquentes consiste à tirer des conclusions abusives sur le lien de cause à effet entre plusieurs éléments pour lesquels on a constaté une corrélation. Certains semblent croire que deux éléments corrélés sont forcément liés par une relation forte et une influence réciproque. Or il n’en est rien : par exemple, le prix de l’immobilier en région parisienne a régulièrement augmenté ces dernières années. Il en est de même de l’âge de n’importe quel échantillon de personnes (à l’exclusion notable de Benjamin Button). Pourtant, il serait un peu hasardeux de conclure que l’un de ces deux phénomènes influe sur l’autre (d’autant plus qu’on peut se mettre à espérer une petite baisse des prix mais malheureusement pas le moindre rajeunissement !).

Corrélation n’est pas raison

Les erreurs dans le raisonnement statistiques ou les conclusions qu’on en tire sont certes dommageables dans tous les domaines. Mais c’est certainement dans le domaine des sciences et de la médecine que ces erreurs risquent d’avoir les plus graves conséquences. Or, d’après une étude publiée aux Etats-Unis, plus de 50% des publications scientifiques impliquant la mise en œuvre de statistiques sont entachées d’erreurs de raisonnement et/ou d’interprétation.

L’une des méprises les plus fréquentes consiste à tirer des conclusions abusives sur le lien de cause à effet entre plusieurs éléments pour lesquels on a constaté une corrélation. Certains semblent croire que deux éléments corrélés sont forcément liés par une relation forte et une influence réciproque. Or il n’en est rien : par exemple, le prix de l’immobilier en région parisienne a régulièrement augmenté ces dernières années. Il en est de même de l’âge de n’importe quel échantillon de personnes (à l’exclusion notable de Benjamin Button). Pourtant, il serait un peu hasardeux de conclure que l’un de ces deux phénomènes influe sur l’autre (d’autant plus qu’on peut se mettre à espérer une petite baisse des prix mais malheureusement pas le moindre rajeunissement !).

Le facteur planqué

Les calculs de corrélation réservent bien d’autres pièges. En effet, deux facteurs très corrélés peuvent découler d’une source commune tout en n’étant aucunement interdépendants. Le psychothérapeute et sociologue américain Paul Watzlawick donne un exemple très frappant dans son ouvrage « Une logique de la communication » : Au début des années 50, on a constaté une corrélation extrêmement élevée entre la consommation de bière sur la côte ouest des USA et la mortalité infantile au Japon. En réalité, ces deux éléments n’avaient bien sûr rien à voir l’un avec l’autre. Sauf que, les deux étaient provoqués par une cause commune : une grosse vague de chaleur qui s’était installée dans le pacifique, causant d’une part de graves problèmes sanitaires dans un Japon exsangue et, entraînant d’autre part une consommation accrue de boissons fraîches aux Etats-Unis.

Beaucoup d’études scientifiques tombent dans ce panneau. En effet, on peut trouver dans bien des domaines des corrélations de facteurs qui ne sont liés que par leur cause commune. Certains industriels et communicants n’hésitent d’ailleurs pas à se servir des calculs de corrélation pour mettre en avant des conclusions avantageuses pour leurs produits. C’est notamment le cas dans l’industrie alimentaire qui nous assène régulièrement de nouvelles vérités sur les vertus supposées de certains aliments pour la santé, la longévité, la protection contre le cancer ou les maladies cardio-vasculaires. A force d’erreurs, on en finit parfois par douter des informations contradictoires que l’on reçoit de la communauté scientifique.

Alors, Stats ou pas Stats ?

Quelle conclusion tirer de tout cela ?

Le fameux et non moins inepte principe de précaution, instauré en guide suprême des esprits léthargiques devrait nous conduire naturellement, devant tant de risques d’erreurs, à rejeter en bloc toute la statistique. Cela reviendrait à remettre en cause les fondements de nos sciences et à entamer, avec le cœur des conservateurs qui s’ignorent l’hymne stupide et naïf de la décroissance.
En réalité, la statistique, comme toute autre technique, doit simplement être manipulée avec soin, discernement et bonne foi. Les émetteurs de statistiques, qu’ils soient des scientifiques, des chercheurs ou des chargés d’études marketing, doivent bien maîtriser les risques d’erreur évoquées dans ce dossier pour produire des raisonnements rigoureux et des conclusions qui respectent les règles de la discipline mais aussi un certain bon sens.
Pour leur part, les utilisateurs finaux des résultats communiqués, qu’il s’agisse des hommes politiques, des journalistes, des professionnels du marketing, et autres décideurs économiques, doivent utiliser les données avec précaution et recul, en gardant toujours à l’esprit qu’en statistiques comme ailleurs, le risque zéro est une chimère.