Chaque mois, un membre de l’AEEMA met en avant un article scientifique de son choix.

Ce mois-ci, Aurélien Madouasse, enseignant-chercheur à Oniris à Nantes, vous propose l’article «Publication bias and the canonization of false facts» écrit par Nissen et al. et publié dans eLIFE en 2016.

Cet article est disponible ici.

Pouvez-vous nous résumer brièvement l’article ?

Cet article propose une approche quantitative à un problème épistémologique : la validation par la communauté scientifique (canonisation) de théories (ontologiquement) vraies ou fausses. Ses conclusions ont donc une large portée, notamment en épidémiologie animale. Le cadre conceptuel utilisé est similaire à celui utilisé dans l’évaluation des performances de tests diagnostiques. On peut tracer un parallèle entre la véracité d’une théorie scientifique et le fait pour un individu d’être vraiment malade. Les recherches validant ou réfutant une hypothèse scientifique sont analogues à l’application répétée de tests diagnostiques où pour chaque expérience le risque alpha est équivalent à 1 – spécificité et la puissance de l’étude est équivalente à la sensibilité. Au fur et à mesure que les résultats d’expériences positifs ou négatifs s’accumulent, la probabilité que la théorie testée soit vraie ou fausse progresse en suivant la loi de Bayes. Les auteurs stipulent qu’une théorie scientifique accède au statut de vérité aux yeux de la communauté scientifique lorsque la probabilité a posteriori dépasse une certaine valeur. Des simulations sont réalisées pour tester l’influence de différents facteurs sur la validation de théories. Le message principal de l’article est que le biais de publication, c’est-à-dire le fait que des résultats positifs ont plus de chance d’être publiés que des résultats négatifs, contribue de façon majeure à la validation de théories qui sont fausses.

Pourquoi avoir choisi de mettre en avant cet article ?

En tant que lecteurs, producteurs et vulgarisateurs d’articles scientifiques, il est indispensable que nous ayons du recul sur le mode de production et sur le degré de confiance que nous pouvons accorder aux productions scientifiques que nous manipulons. Le modèle présenté dans l’article est relativement simple à comprendre pour des épidémiologistes et constitue une bonne manière d’initier une réflexion sur le sujet. L’article confirme le biais de publication comme un problème majeur dans les sciences.

Plus largement, on s’aperçoit que même en ayant recours à des méthodes rigoureuses et sophistiquées pour arriver à la vérité, on peut se tromper souvent. Il existe en psychologie humaine des biais cognitifs bien documentés (voir par exemple les travaux de Daniel Kahneman) dont l’impact est probablement bien supérieur aux biais traités dans l’article. A l’ère de la post-vérité, il est important que nous ayons des idées claires sur ce qu’est la méthode scientifique, quels sont ses avantages et ses inconvénients et en quoi elle diffère des autres manières d’arriver à la vérité.

Y a-t-il des points abordés dans l’article qui vous ont laissé perplexe ou que vous auriez aimé voir plus développés ?

Ce travail pourrait être perçu comme remettant en cause la validité de la méthode scientifique, car il en souligne certaines limitations. Il serait intéressant de pouvoir conduire une analyse comparative avec les manières de produire un jugement individuel à partir d’expériences personnelles.

Fournir le code utilisé pour les simulations aurait été un plus.

Merci à Aurélien Madouasse ( Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.) pour sa contribution.

Vous aussi souhaitez proposer un article scientifique pour cette rubrique ? Consultez les recommandations et envoyez-nous votre contribution.

A noter qu’il n’y a pas de comité de lecture pour cette rubrique et que le contenu n’engage que le contributeur du mois.