L’un des moyens les plus productifs d’utiliser les méthodes scientifiques consiste à examiner le processus scientifique lui-même. Une étude « méta-scientifique » (comme une récente publiée sur les scintigraphies cérébrales) peut nous aider à savoir quand les approches de recherche ne produisent pas de données fiables et peut potentiellement montrer ce que nous pourrions devoir changer pour que ces approches fonctionnent.
Maintenant, quelqu’un a appliqué un peu de méta-science à un domaine de recherche où nous ne devrions pas nous attendre à voir des améliorations : l’homéopathie. Un groupe de chercheurs autrichiens s’est penché sur les raisons pour lesquelles une fraction raisonnable des essais cliniques sur l’homéopathie produisent des résultats positifs. Le facteur le plus important, selon les chercheurs, est que les essais qui montrent que l’homéopathie est inefficace sont moins susceptibles d’être publiés.
Une méthode à la folie
Il existe de nombreuses façons de tester des traitements potentiels, mais au fil des ans, des problèmes ont été identifiés dans presque tous. Cela a laissé l’essai clinique randomisé en double aveugle comme la méthode la plus fiable pour se débarrasser de certains des biais qui rendent les autres approches moins fiables. Mais même dans les essais en double aveugle, des problèmes peuvent s’infiltrer. Il y a toujours un parti pris pour la publication de résultats positifs, ceux où les traitements ont un effet.
Par conséquent, nous ne pouvons pas toujours être sûrs de voir des résultats positifs parce qu’un traitement fonctionne ou parce que des résultats négatifs ne sont tout simplement pas publiés. Cela a été un problème notable avec certains des « remèdes » à la mode pour COVID-19.
Pour faire face à ce problème, le domaine a opté pour le préenregistrement des essais cliniques. Dans ces cas, la conception de l’essai, les résultats mesurés et d’autres détails sont placés dans une base de données publique avant même que l’essai ne commence. De nombreuses revues de recherche ont convenu que la préinscription serait une exigence pour une publication ultérieure, ce qui signifie que quiconque espérait publier des résultats à l’avenir aurait une raison impérieuse de se préinscrire. Mais les essais non enregistrés peuvent généralement être publiés dans des revues moins connues.
Cela peut nous aider à identifier quand seuls des résultats positifs sont publiés. Et c’est l’une des analyses qui a été faite par les chercheurs autrichiens.
Avec et sans
Pour commencer, l’équipe de chercheurs a scanné un ensemble de bases de données d’enregistrement d’essais cliniques pour des essais impliquant l’homéopathie. Les chercheurs ont également effectué des recherches dans la littérature publiée sur le sujet et, dans la mesure du possible, ont fait correspondre une publication à l’essai préenregistré qui l’a produite. Dans certains cas, les publications étaient les résultats d’essais qui n’avaient pas été préenregistrés ; dans d’autres, un essai préenregistré n’a produit aucune publication.
Quelques tendances étaient claires. La première est qu’une fraction croissante des articles sur les essais en homéopathie est le produit de conceptions d’essais préenregistrés – le nombre est passé à environ 75% au cours des deux décennies écoulées depuis le début du préenregistrement. La deuxième tendance est qu’environ la moitié des essais préenregistrés ne donnent pas lieu à publication. Certains de ces procès ne vont sans doute pas à leur terme pour diverses raisons banales et sans intérêt ; le taux n’est pas très différent de ce que vous voyez dans les études sur la médecine réelle. Pourtant, ces tendances représentent de nombreuses opportunités de biais contre la publication de résultats négatifs.
Y a-t-il une indication de ce biais? C’est là que nous arrivons aux meilleurs résultats du nouveau journal. Si vous faites une méta-analyse de toutes les publications résultant d’essais qui n’étaient pas préenregistrés, les traitements homéopathiques ont surpassé le placebo par une marge statistiquement significative. Si vous regardez les publications résultant d’essais qui avaient été préenregistrés, il n’y avait pas de différence statistique entre l’homéopathie et le placebo.
En d’autres termes, lorsque les chercheurs doivent s’engager dans un plan d’étude, leurs résultats ne montrent pas que l’homéopathie est efficace. Mais lorsque les chercheurs peuvent écrire les résultats de leur choix, l’homéopathie semble soudainement bonne.
Au-delà du non-sens
Les chercheurs ont observé un aspect étrange des données. Dans le passé, une explication qui avait été proposée pour le succès apparent des essais d’homéopathie était un fort effet placebo, généré par l’interaction personnelle étendue entre les personnes cherchant des traitements et les praticiens. Mais les chercheurs du récent article n’ont pu trouver qu’un seul essai préenregistré avec un protocole incluant ces interactions.
Au-delà de cela, ces résultats sont exactement ce que vous attendez, étant donné qu’il n’y a aucune raison pour que l’homéopathie fasse quoi que ce soit. Le premier article référencé dans la nouvelle étude s’intitule « Les mécanismes proposés pour l’homéopathie sont physiquement impossibles ».
Mais la nouvelle étude est significative d’une manière qui va au-delà de la démystification des absurdités évidentes. Les inquiétudes concernant les biais de publication s’appliquent aux domaines réels de la science et de la médecine, et l’article fournit une bonne indication que l’un des outils que nous avons développés pour nous aider à analyser les biais peut fonctionner comme prévu.
BMJ Evidence-Based Medicine, 2019. DOI : 10.1136/bmjebm-2021-111846 (À propos des DOI).