Dans un test statistique, la conclusion retenue (rejet ou non de l’hypothèse H0) est établie avec une certaine
probabilité d’erreur. Lorsque le test conduit à rejeter l’hypothèse nulle, l’erreur éventuelle,
dans le cas où cette hypothèse serait en réalité vraie, est appelée « Erreur de type alpha » ou « Erreur de
type 1 ». Lorsqu’au contraire, le test nous indique qu’il ne faut pas rejeter
l’hypothèse nulle, l’erreur éventuelle, au cas où cette hypothèse serait en réalité fausse, est
appelée « Erreur Bêta » ou « Erreur de
type 2 ». Ces indicateurs sont interdépendants : quand l’erreur alpha
est réduite, l’erreur bêta augmente. Cela signifie que le choix du seuil alpha pour le test à
effectuer doit se faire en fonction du coût économique ou de la gravité des conséquences de
l’une ou l’autre mauvaise décision.
Par exemple, avant de lancer un nouveau packaging, une entreprise effectue un test pour
vérifier qu’il plaît plus à ses clients que l’ancien. Si l’hypothèse est vérifiée alors qu’elle
est fausse, l’entreprise va remplacer l’ancien packaging qui plaît plus par un nouveau moins
attirant. Elle va y perdre de l’argent et des clients. En revanche, si le test lui indique que
le nouveau packaging est moins attirant alors qu’il l’est plus, elle va perdre une opportunité
en ne le lançant pas. La comparaison des coûts de ces deux erreurs permet de fixer les seuils de
manière optimale. Notons que les indicateurs alpha et bêta permettent de formaliser un niveau de
sécurité pour le résultat obtenu (1 – alpha) et un paramètre indiquant la puissance du test (1 –
bêta).