L’une des tristes réalités de la science est que les petits ensembles de données produisent souvent des résultats peu fiables, car toute fluctuation aléatoire mineure peut avoir un impact important. Une solution à ce problème a été de créer des ensembles de données de plus en plus volumineux, où ces fluctuations ont tendance à être faibles par rapport aux effets réels. L’une des sources notables de données volumineuses est la biobanque britannique ; des scintigraphies cérébrales de personnes de la Biobanque ont récemment été utilisées pour identifier les changements dans le cerveau provoqués par l’infection par le SRAS-CoV-2.
Maintenant, une grande équipe de chercheurs a renversé cette idée dans un nouvel article. Ils ont pris certains des plus grands ensembles de données et les ont divisés en plus petits morceaux pour comprendre comment de petits ensembles de données pourraient aller avant que les choses ne deviennent peu fiables. Et pour au moins un type d’expérience, la réponse est que les études sur le cerveau ont besoin de milliers de participants avant d’être fiables. Et même alors, nous ne devrions pas nous attendre à voir de nombreux effets dramatiques.
Associez toutes les choses
L’équipe de recherche à l’origine de l’étude a qualifié le type de travail qui les intéressait « d’études d’association à l’échelle du cerveau », ou BWAS. C’est une approche assez simple. Prenez un groupe de personnes et notez-les pour un trait de comportement. Ensuite, donnez-leur tous des scanners cérébraux et voyez si des structures cérébrales présentent des différences qui sont systématiquement en corrélation avec le trait comportemental.
En analysant l’ensemble du cerveau à la fois, nous évitons tout biais qui pourrait provenir de ce que nous pensons que les régions cérébrales individuelles font. L’inconvénient est que nous avons défini de nombreuses structures cérébrales, ce qui augmente le risque d’une fausse association. Et les gens ont publié des études BWAS avec seulement quelques dizaines de participants, ce qui signifie que le hasard pourrait jouer un rôle important dans les résultats.
Pour l’étude actuelle, l’équipe de recherche a combiné trois grands ensembles de données pour créer une population totale de plus de 50 000 personnes. Ils ont ensuite couru toutes les associations possibles qu’ils pouvaient, compte tenu des traits de comportement qui avaient été notés chez les participants.
La chose la plus simple qu’ils aient faite était de rechercher la corrélation la plus forte qu’ils pouvaient trouver. Il existe une mesure de la force d’une corrélation, appelée r, où une valeur de 1 représente une corrélation parfaite et zéro représente aucune corrélation (-1 est anti-corrélation). En termes de r, la plus grande association que les chercheurs ont trouvée parmi des milliards de tests était de 0,16, ce qui n’est pas particulièrement fort. En fait, une corrélation aussi faible que r = 0,06 était suffisante pour faire entrer quelque chose dans le 1 % supérieur de toutes les corrélations. (Il en était de même pour les anti-corrélations.)
Sans surprise, de nombreuses études ont déjà rapporté des corrélations plus fortes que celles-ci. Les résultats suggèrent que nous devrions traiter ces résultats avec beaucoup de scepticisme.
Où les choses tournent mal
Pour explorer davantage les problèmes potentiels des études d’association, les chercheurs ont divisé la population étudiée en groupes beaucoup plus petits, allant de seulement 25 participants à 32 000, puis ont réexécuté le BWAS dans ces populations plus petites. Dans les plus petites études, les associations pouvaient atteindre r = 0,52. C’est beaucoup plus fort que ce à quoi nous nous attendions sur la base de l’ensemble de données complet, et cela suggère des problèmes assez graves avec de petites études.
Mais les chercheurs ont dû aller beaucoup plus loin pour que ces problèmes disparaissent. « Les erreurs statistiques étaient omniprésentes dans la taille des échantillons BWAS », écrivent les chercheurs. Même avec des populations d’environ 1 000 habitants, les taux de faux négatifs étaient très élevés, ce qui signifie qu’une association trouvée dans l’ensemble de données complet n’a pas été détectée. Et les véritables associations semblaient parfois être deux fois plus fortes que dans l’ensemble de la population.
Dans l’ensemble, il semble que nous ayons besoin de plusieurs milliers de participants avant que les études de type BWAS ne produisent des résultats fiables et reproductibles.
Les chercheurs avertissent que ce travail s’applique à un type spécifique d’étude du cerveau. Cela ne signifie pas que toutes les études sur le cerveau avec de faibles populations ne sont pas fiables – en fait, l’article montre que nous avons beaucoup appris sur le fonctionnement du cerveau grâce à de nombreuses petites études. Je noterais qu’une grande partie de ce que nous comprenons sur la fonction des différentes zones du cerveau provient de l’étude des blessures qui affectent un seul individu. Les auteurs constatent également que certaines analyses connexes – utilisant l’IRM fonctionnelle ou effectuant une analyse multivariée – avaient tendance à produire des résultats plus robustes en utilisant leur ensemble de données.
Pourtant, le document fournit une mise en garde claire et importante aux personnes effectuant des recherches dans le domaine. La question est de savoir comment cette prudence sera mise en œuvre. Pour que cette idée change les normes selon lesquelles les articles sont publiés, les éditeurs de revues devront y prêter attention, tout comme d’autres chercheurs dans le domaine qui agissent en tant que pairs examinateurs. Heureusement, la croissance de grands ensembles de données publiques comme la Biobanque permettra à chacun d’exiger plus facilement des études plus vastes et plus rigoureuses.
Nature2022. DOI : 10.1038/s41586-022-04492-9 (À propos des DOI).