Au cours de la dernière décennie, la communauté scientifique s’est inquiétée de ce qu’on a appelé la « crise de reproductibilité »: l’échec apparent de certaines expériences importantes à produire les mêmes résultats lorsqu’elles sont répétées. Cet échec a conduit à de nombreuses suggestions sur ce qui pourrait être fait pour améliorer les choses, mais nous ne comprenons toujours pas entièrement Pourquoi les expériences ne parviennent pas à reproduire les résultats.
Quelques études récentes ont tenté d’identifier le problème sous-jacent. Une nouvelle étude a abordé l’échec de la reproductibilité en exécutant un ensemble d’expériences comportementales identiques dans plusieurs laboratoires en Suisse et en Allemagne. Il a constaté que bon nombre des différences se résument au laboratoire lui-même. Mais il existe également une variabilité dans les résultats qui ne peut être attribuée à aucune cause évidente et peut simplement résulter de différences entre les souris individuelles.
Essayez et réessayez
Le plan de base du travail est assez simple : demandez à trois laboratoires d’effectuer le même ensemble de 10 expériences comportementales standard sur des souris. Mais les chercheurs ont pris un certain nombre d’étapes supplémentaires pour permettre un examen détaillé des facteurs sous-jacents qui pourraient entraîner des variations dans les résultats expérimentaux. Les expériences ont été réalisées sur deux souches de souris différentes, toutes deux consanguines depuis de nombreuses générations, limitant la variabilité génétique. Toutes les souris ont été commandées auprès de la même société. Ils ont été hébergés dans des conditions identiques et ont été testés alors qu’ils avaient le même âge.
Chacun des trois laboratoires a fait deux répétitions de l’expérience. Dans l’un, tout le travail a été effectué par une seule personne pour réduire l’influence des différences dans la façon dont les souris ont été manipulées. Dans le second, trois personnes différentes ont fait les expériences pour ajouter une certaine variabilité.
Idéalement, ces expériences auraient dû produire des résultats identiques. S’ils ne le faisaient pas, les chercheurs pourraient examiner en quoi les résultats différaient et déterminer si les écarts pourraient être dus aux laboratoires, aux personnes effectuant les expériences, à la souche de souris impliquée ou à une combinaison de ce qui précède.
Signaux mixtes
La première chose qui ressort clairement des résultats est qu’il n’y a pas de problème de reproductibilité unique. Certaines des expériences se sont très bien reproduites, avec une variabilité limitée. D’autres, comme on pouvait s’y attendre, ont vu des différences entre les souches. Mais pour la moitié de ces cas, l’ampleur des différences de tension variait de telle sorte qu’un laboratoire pouvait voir un effet statistiquement différent tandis qu’un autre ne le ferait pas. Dans un cas, les souches ont montré des comportements opposés dans les différents laboratoires.
Au-delà de cela, les résultats étaient partout sur la carte. Dans certains cas, la souche de souris était la principale source de variabilité. Dans d’autres, c’était le laboratoire. L’impact du chercheur individuel, qui était significatif dans d’autres études, s’est avéré mineur dans tous les tests sauf un ou deux.
Mais l’un des résultats les plus solides était la part de la variabilité qui ne pouvait être expliquée par quoi que ce soit suivi par l’étude. Dans neuf des 10 tests, la variation non prise en compte était supérieure à 25% du total, et elle était supérieure à la moitié dans six des 10.
« Les choses que nous n’avons pas pensé à tester » pourraient être une catégorie extrêmement large, mais dans ce cas, il est difficile de penser à des moyens d’effectuer les expériences de manière plus cohérente qu’elles ne l’ont été ici. Ainsi, bien que les variations puissent être dues à un grand nombre de facteurs, cela peut faire peu de différence pratique puisque nous ne pouvons de toute façon pas contrôler ces facteurs.
Les chercheurs soulignent également des recherches antérieures suggérant qu’au moins une partie de cette variabilité pourrait être due à des différences entre les souris individuelles. Malgré le fait qu’elles aient été élevées dans les mêmes conditions et que leur génétique soit presque identique, chaque souris aura invariablement des expériences quelque peu différentes. Les souris ne sont pas non plus des automates et on peut s’attendre à ce qu’elles modifient leur comportement de temps à autre. Tout cela peut fixer des limites à la capacité à laquelle nous pouvons nous attendre à ce que les expériences comportementales se reproduisent.
En attendant, les chercheurs suggèrent qu’il pourrait être utile de tirer parti des facteurs qui font une différence. En faisant varier intentionnellement des choses qui peuvent modifier les résultats comportementaux, par exemple en s’assurant que plus d’un expérimentateur exécute les études, nous pouvons intentionnellement ajouter du bruit aux résultats. Tout signal qui s’élève au-dessus de ce bruit serait plus susceptible de se répliquer.
PLOS Biologie2022. DOI : 10.1371/journal.pbio.3001564 (À propos des DOI).