« Statistiquement significatif » ? Respectons l’incertitude de l’effet testé

Abstract

Résumé Ne rêvons-nous pas tous de pouvoir conclure que nos résultats sont « statistiquement significatifs », c’est-à-dire associés à une probabilité p inférieure à un seuil, généralement de 5% ? Dans cet article, nous montrons d’abord que p n’est pas ce qu’on croit, et qu’il conduit à une dichotomisation fallacieuse et à une sous-évaluation de l’incertitude de l’effet testé. Nous proposons ensuite une nouvelle mesure directe de la plausibilité de cet effet. A partir d’un exemple tiré d’un article, nous l’illustrons et la complétons de contextualisations concrètes reposant sur des contrastes graphiques entre intervalles crédibles. Finalement, nous soulignons que la démarche proposée contribue à réaliser à quel point l’interprétation de p, ou de toute autre probabilité, doit être prudente dès lors qu’il s’agit d’émettre une conclusion dans un environnement incertain à propos de l’existence ou non d’un effet.