400 «cold cases» biologiques passés au crible

Les temps sont durs pour la reproductibilité. Depuis une quinzaine d’années déjà, le monde scientifique constate avec une certaine impuissance que ce principe, essentiel à sa crédibilité, est en crise. La reproductibilité, c’est la garantie qu’un résultat publié peut être confirmé ailleurs, par d’autres équipes, dans d’autres conditions. Or, de la biologie au comportement humain, des études ont révélé des taux de plus en plus élevés d’«irréproductibilité». Ce constat nourrit des inquiétudes sur la fiabilité d’une partie de la littérature scientifique, mais aussi sur la manière dont le système académique récompense certaines pratiques.

C’est dans ce contexte que l'immunologiste Bruno Lemaitre, à la tête du Lemaitre Lab, a lancé le projet ReproSci. Pendant six ans, avec son équipe et plusieurs laboratoires partenaires, il a entrepris un travail rétrospectif inédit: relire, décortiquer et tester la solidité de 400 articles publiés entre 1959 et 2011 dans son domaine de recherche, l’immunité de la drosophile. Chacun de ces cold cases, comme les appelle le biologiste (interview ci-dessous), a été décomposé en affirmations scientifiques – plus de 1 000 au total – puis confronté aux études ultérieures. Quand aucune donnée de suivi n’existait, le laboratoire a lui-même réalisé de nouvelles expériences sur 45 affirmations clés. L’ensemble a été versé dans une base de données ouverte (ReproSci.epfl.ch), accessible à toute la communauté.

Tendance à la croissance

De ce travail sont issus deux articles déposés sur le serveur bioRxiv et en cours d’évaluation dans la revue eLife (voir ci-dessous). Les résultats apparaissent plutôt encourageants. Quelque 61% des affirmations publiées ont été confirmées. Si «seules» 7% se sont révélées erronées, on observe qu’environ 24% n’avaient jamais été vérifiées. Certaines de ces affirmations non reproduites l’ont été dans le cadre de ReproSci: parmi elles, une part significative n’a pas été validée, indiquant que la proportion d’affirmations non reproductibles est bien plus élevée que 7%, probablement entre 15 et 18%. Finalement, en tenant en compte l’ensemble des résultats, on peut dire qu’un peu plus 80% des affirmations scientifiques tiennent la route. Cela nuance le récit d’une crise généralisée: la solidité est réelle, même si l’irréproductibilité existe. Mais le projet pointe aussi un paradoxe: les résultats les plus fragiles proviennent souvent des «revues trophées» (Nature, Science, Cell) ou d’institutions prestigieuses, là où l’on attendrait au contraire une plus grande robustesse.

L’analyse du deuxième article affine ce constat. L’irréproducibilité n’est pas corrélée à l’expérience des chercheuses et chercheurs ou au nombre de leurs publications. En revanche, elle touche davantage les chercheurs venus de domaines extérieurs ou engagés de manière plus exploratoire et opportuniste dans le champ de recherche. Autre observation: la proportion d’énoncés non reproductiblesa eu tendance à croître au fil du temps, à mesure que le domaine gagnait en visibilité et en popularité.

D’autres domaines touchés

Ces résultats font écho à d’autres initiatives. Le Reproducibility Project: Cancer Biology, lancé par eLife, avait ainsi révélé un taux d’irréproductibilité avoisinant les 50% dans les articles sur le cancer publiés dans les revues les plus prestigieuses.

Avec ReproSci, Bruno Lemaitre apporte une photographie rare: celle d’un champ entier des sciences de la vie passé au crible, avec des conclusions chiffrées et une mise à disposition ouverte des données.Et l’intérêt du projet ne se limite pas à la drosophile. Le projet illustre comment les dynamiques humaines – course à la visibilité, recherche de financements, «suivisme» des modes scientifiques – peuvent influer sur la solidité des résultats. En centralisant les preuves existantes, en mettant en lumière les angles morts et en invitant la communauté à participer, il contribue à une réflexion plus large sur ce qui rend la science fiable. Une démarche qui, au-delà des débats techniques, rappelle que la reproductibilité n’est pas seulement une affaire de protocoles, mais aussi de culture et de pratiques collectives.

«En science, la confiance reste la clé»

Le chercheur d’origine lilloise, qui travaille à l’EPFL depuis 18 ans, nous a reçus dans son bureau pour un entretien. Féru de philosophie et de psychologie, il est l’auteur de plusieurs ouvrages traversant les frontières des domaines de recherche. Attention, penseur «méta»!

Qu’entend-on exactement par reproductibilité?

Intuitivement, la notion de reproductibilité est plutôt simple. On part de l'idée que ce qui est publié dans un article est bien décrit, et que, si on refait l’expérience ou qu’on reteste l'affirmation, on retrouvera les mêmes résultats. Dans la réalité, c’est beaucoup plus compliqué. Chaque expérience est ancrée dans un contexte: un lieu, des personnes, un matériel, une interprétation…

En termes de reproductibilité, on peut distinguer au moins deux plans. Le premier tient de la répétition stricte: on refait la même expérience, dans les mêmes conditions, et on regarde si l’on obtient les mêmes résultats. Le second tient plutôt de la reproductibilité conceptuelle: on vérifie si l’affirmation, l’idée centrale tient. Ces deux niveaux comptent. On pourrait avoir une expérience fausse qui donne un résultat juste, ou une expérience juste qui est mal interprétée. Notre projet s’est surtout attaché à la reproductibilité conceptuelle: si l’idée résiste à d’autres approches, on la considère comme robuste, même si la première démonstration est discutable.

Quelle est l'ampleur de la crise autour de la reproductibilité?

Des problèmes de reproductibilité ont toujours existé. Mais il y a aujourd’hui le sentiment que, dans des champs très compétitifs notamment, la situation s’est aggravée. De plus en plus d'articles avancent des concepts qui ne tiennent pas vraiment ou sont fortement exagérés. C’est une situation confirmée depuis longtemps dans certains champs, comme la psychologie ou la biologie du cancer.

Quels en sont les impacts?

Les effets sont multiples. Du côté des chercheurs, on peut se trouver face à des pertes importantes de temps et d’argent, ou encore un sentiment d’injustice chez ceux qui restent rigoureux et qui voient d’autres bâtir des carrières sur des résultats fragiles. Mais il peut aussi y avoir des conséquences politiques de santé publique. Pour donner un exemple connu, on a longtemps incriminé les lipides dans les problèmes liés à l’obésité, à cause d’études erronées, alors que le problème venait surtout de la consommation excessive de sucres.

Cela dit, attention à l’excès inverse: si l’on ne publiait que des résultats absolument sûrs, on briderait la créativité. La science avance aussi par la prise de risque. Tout l’enjeu est de trouver un équilibre, éviter les dérives sans assécher l’exploration.

Comment est née l’idée de ReproSci?

J’ai un côté encyclopédiste, presque naturaliste. J’aime les détails et j’ai une certaine mémoire de mon domaine, l’immunité de la drosophile. J’avais gardé en tête une liste d’articles problématiques publiés au fil du temps. Un financement du FNS m’a permis de recruter une chercheuse, Hannah Westlake, qui a effectué un vrai travail de moine bénédictin. Nous avons analysé 400 articles publiés entre 1959 et 2011. Nous avons extrait 1006 affirmations et observé ce qu’elles étaient devenues quatorze ans plus tard. Ce travail a duré plus de six ans et a impliqué plusieurs laboratoires.

Quels étaient vos objectifs?

D’abord, nous voulions clarifier le domaine de recherche en mettant en lumière des résultats qui ne tiennent plus la route,pour aider les jeunes chercheurs à éviter de perdre du temps. Nous voulions aussi analyser les motifs d’irréproductibilité, c'est-à-dire voir s’ils étaient liés à certains styles de recherche, à certaines institutions ou à certaines méthodologies. Il s’agissait aussi de créer une base de données publique, accessible à la communauté. Enfin, il y avait l’idée d’effectuer des entretiens pour comprendre comment les chercheurs concernés percevaient notre projet de reproductibilité. Ces interviews feront l’objet d’un troisième article.

Quels types d’irréproductibilités avez-vous trouvés?

On en trouve de plusieurs sortes: des expériences dont les résultats sont non reproductibles; des méthodes décrites trop vaguement qui ne permettent pas de les reproduire; des conclusions trop floues; et, souvent, une tendance à exagérer. La plupart des articles en cause ne sont pas totalement faux, mais leurs conclusions sont présentées comme plus générales, plus spectaculaires qu’elles ne le sont.

Que dire sur cette tendance à l’exagération?

C’est un peu comme lors des levées de fonds pour les start-up: on promet une révolution, on attire des financements avec succès.Puis, dix ans plus tard, on comprend que les promesses ne sont pas tenues ; les résultats sont beaucoup plus modestes, mais l’argent a été encaissé! Cette logique est encouragée par les appels à projets et les revues scientifiques, qui cherchent des histoires percutantes, des breakthroughs, et par les universités elles-mêmes, qui valorisent toujours plus la communication autour de scoop. Ce langage de l’exagération est devenu courant en science, et plus seulement en politique, où il permet de se faire élire. Les scientifiques ont généralement cette capacité de saisir cette exagération. Comme dans le cas de Didier Raoult, qui préconisait l’usage de la chloroquine pendant la pandémie de Covid-19, beaucoup de chercheuses et chercheurs savaient qu’il s’agissait d’une personnalité problématique, mais le système médiatique a amplifié ses affirmations.

Vous dites avoir trouvé plus de résultats fragiles dans de grandes revues comme Nature, Science ou Cell. Pourquoi?

On pourrait dire que ces revues cherchent souvent à publier des articles spectaculaires. Or, plus une affirmation est extraordinaire, plus elle a de chances d’être non-reproductible. Aussi, ces revues aiment exposer des principes simples. Les nuances passent moins bien. Les auteurs sont incités à polir, à gommer ce qui contredit leurs thèses ou leurs résultats. Publier dans une de ces revues offre une visibilité immense. James Watson (ndlr: généticien américain à l’origine d’avancées majeures sur l’ADN, prix Nobel de médecine 1962) disait déjà: «un chercheur, c’est quelqu’un qui publie dans Nature». C’est cynique, mais révélateur du fait qu’une carrière scientifique dépend souvent de ces revues.

Vous avez écrit un livre sur le narcissisme*. Quels liens peut-on faire avec tout ceci?

Il y a une discussion aujourd’hui pour savoir si nos sociétés font face à une montée du narcissisme, qui pourrait aussi affecter la science. Il s’agit d’une notion complexe, mais qui expliquerait la course à la visibilité. Un des biais du narcissisme, c’est l’exagération et la séduction à court terme. Le narcissisme peut apporter un bénéfice rapide, mais à un coût pour la collectivité. Publier dans une grande revue, c’est un bénéfice personnel énorme. Mais si l’article s’effondre, c’est toute une communauté qui en paie le prix. J’ai aussi observé que beaucoup de figures scientifiques admirées avaient de gros egos, comme on dit. Il y a des aspects positifs à l’ego, comme stimuler la créativité, renforcer la passion ou la capacité à réseauter, mais parfois des impacts plus négatifs, comme de pousser à l’exagération. Le mythe du chercheur qui se consacre au savoir comme un moine est trompeur: la science est faite d’êtres humains en compétition, qui cherchent la reconnaissance, comme toute communauté humaine.

Quelles ont été les réactions à la publication des deux articles?

Certains ont salué l’effort de clarification. D’autres m’ont reproché de jouer au «chevalier blanc», distribuant les bons et les mauvais points à mes collègues. Il n’est pas si clair que les scientifiques souhaitent eux-mêmes être sous le microscope. Les entretiens, qui feront l’objet d’un article à venir, ont montré que beaucoup ne savaient pas vraiment ce qui tenait ou non parmi les publications. Je dirais qu’une moitié des chercheurs qui avaient publié des choses fausses et à qui j’ai parlé l’ont admis. Sur une note plus positive, le mécanisme le plus puissant de «correction» reste souvent l’oubli: ce qui n’est pas reproductible disparaît, tout simplement, des radars dix ou quinze ans plus tard.

Diriez-vous que des initiatives visant à favoriser la transparence, comme les guidelines TOP, font avancer la science dans le bon sens?

Ces règles, qui impliquent par exemple un descriptif précis du protocole de l’expérience, sont positives. Elles permettent d’éviter que des expériences soient impossibles à refaire faute de détails. Mais il y a malheureusement un risque d’alourdissement bureaucratique. Aujourd’hui, les articles sont de manière générale de plus en plus complexes, extrêmement longs, avec des dizaines de pages de suppléments. Trop de procédures pourraient rendre la science impraticable. Il faut trouver l’équilibre: assez de détails pour permettre la réplication, sans étouffer la recherche sous la paperasse. La transparence est essentielle, mais la confiance reste la clé en science. Cette confiance est là lorsque la plupart des membres d’une communauté scientifique suivent les règles tacites de la recherche, mais elle peut être mise à rude épreuve par la non-reproductibilité et l’exagération.

* "Les dimensions de l'ego: Séduction, dominance, manipulation: la société à l'épreuve des narcissiques", Bruno Lemaitre, EPFL Press 2020