Fonctionnement d’un test statistique
- On considère une hypothèse nulle dans laquelle il n’y a pas de différence entre les échantillons.
- On calcule la probabilité de tomber dans la même configuration que celle obtenue avec les échantillons observés en suivant l’hypothèse nulle. On appelle cette probabilité « Risque alpha » ou « p-value ».
- Si risque alpha < 5%, on considère qu’il est trop peu probable d’obtenir une telle configuration dans le cadre de l’hypothèse nulle. On rejette donc l’hypothèse nulle et on considère que la différence entre les échantillons est significative.
Pour cette raison tous les résultats des tests statistiques proposés par Ellistat se trouveront associés à une valeur de risque alpha avec l’échelle suivante :
Le chiffre inscrit en dessous de l’échelle est égal au risque alpha du test :
Exemple
Pour illustrer le fonctionnement d’un test statistique prenons l’exemple suivant. Supposons que l’on souhaite détecter le fait qu’une pièce soit pipée et la tirant à pile ou face. Nous supposons que la pièce tombe toujours sur pile.
Après le premier lancer, la pièce tombe sur pile, peut-on pour autant en déduire que la pièce est pipée ?
A priori, ce serait assez osé de parier que la pièce est pipée, car cela aurait très bien pu arriver avec une pièce standard.
Dans ce cas, l’hypothèse nulle est : la pièce n’est pas pipée, elle a donc une chance sur deux de tomber sur pile ou face. La probabilité qu’une pièce non pipée tombe sur pile est de 50%.
Par suite, la probabilité d’obtenir pile après le premier lancer d’une pièce non pipée est de 50%, on dira que le risque alpha du test est :
C’est-à-dire, il y a 50% de chance d’obtenir le même résultat en suivant l’hypothèse nulle.
Après le deuxième lancer, la pièce tombe à nouveau sur pile. Le risque alpha devient :
Peut-on pour autant en déduire que la pièce est pipée ? Se pose ainsi la question : à partir de quel risque alpha peut-on dire que la pièce est pipée?
En règle générale, dans l’industrie, le risque alpha limite est choisi à 5%. C’est-à-dire :
Si risque alpha < 5%, on rejette l’hypothèse nulle et on considère que la pièce est pipée.
Si risque alpha > 5%, on ne peut pas affirmer que la pièce est pipée. Cela ne signifie pas pour autant que la pièce n’est pas pipée car cela dépend du nombre de lancer que l’on a fait.
Poursuivons notre exemple :
Dans ce cas, à partir du 5ème lancer de suite sur laquelle la pièce tombe sur pile, on peut donc affirmer que la pièce est pipée avec une risque inférieur à 5%.