Etudes scientifiques: course au scoop, risque de dérapage

La récente rétractation du Lancet par rapport à la grande étude américaine sur l’utilisation de chloroquine et d’hydroxychloroquine comme traitements du Covid-19 pose question. Les chercheurs ont-ils voulu aller trop vite ? Et comment la revue britannique a-t-elle pu laisser passer ça ?

Hydroxychloroquine or chloroquine with or without a macrolide for treatment of Covid-19 : a multinational registry analysis. C’est le nom de l’étude publiée dans The Lancet qui a fait grand bruit ces dernières semaines et qui arrive à des conclusions opposées à celles du professeur Raoult concernant l’utilisation de la chloroquine.

Pour les auteurs de l’étude, ce médicament est en réalité dangereux. Dans la foulée de la publication de cet article, l’Organisation mondiale de la santé (OMS) annonce suspendre son étude Solidarity (qui s’intéressait aussi à l’utilisation de la chloroquine) et la France interdit la prescription du médicament. Le monde semble opérer un virage à 180°. Didier Raoult, lui, n’en démord pas et publie une nouvelle étude qui tend à prouver les bienfaits de son traitement.

Pourtant, le 4 juin, The Lancet lâche une bombe : l’étude américaine est retirée. Deux jours avant, la revue britannique l’avait déjà désavouée en publiant une  » expression of concern  » dans laquelle elle soulignait les doutes qui commençaient à peser sur l’étude. Finalement, trois des quatre auteurs ont préféré se rétracter. Depuis, c’est donc un grand  » retracted  » rouge qui barre ces pages sur le site de la publication scientifique. Comment en est-on arrivé là ? Comment une étude peut-elle passer, en deux semaines, de publiable à non fiable ? Le système de peer reviewing (relecture par les pairs) aurait-il atteint ses limites ?

Des enjeux financiers énormes

Dans le processus de publication scientifique traditionnel, quand une étude est proposée à une revue, celle-ci la soumet d’abord à l’ editorial board. Composé d’experts du domaine – les pairs -, ce comité doit assurer le contrôle qualité de l’étude. Ils vont donc l’analyser en vérifiant que les données, les références, la méthodologie et les conclusions sont correctes et peuvent être reproduites par d’autres scientifiques dans le futur. C’est la colonne vertébrale de la démarche scientifique. Un article qui n’est pas jugé assez convaincant sera refusé. L’ editorial board peut également suggérer certaines corrections à apporter à l’étude pour que celle-ci rencontre les standards de qualité de la revue. Si The Lancet a retiré une étude qu’il avait publiée seulement deux semaines auparavant, on peut donc se dire que ce contrôle qualité n’a pas été effectué correctement.

Pour mieux comprendre les raisons de ce camouflet scientifique, il faut se remettre dans le contexte des recherches, celui du Covid-19. Face à ce nouveau virus, les services médicaux se sont retrouvés totalement démunis, aucun traitement validé n’existant. Il a donc fallu aller vite. De nombreux rapports scientifiques sont sortis sur le sujet en très peu de temps : plus de 20 460 depuis le début de la pandémie.  » C’est du jamais-vu ! « , s’exclame Paul Thirion, directeur des bibliothèques de l’ULiège. Or, le peer reviewing est un processus complexe qui prend normalement beaucoup de temps, entre le choix des experts, les relectures, les remarques et les corrections par échanges de mails. Cela se compte généralement en mois.

Y aurait-il eu un certain laxisme de la part du comité éditorial qui a travaillé sur l’étude retirée ? Pour bien faire, il faudrait avoir accès aux différents comptes-rendus des chercheurs ayant évalué l’article, ceux-ci contenant toutes les remarques faites au manuscrit soumis avant l’acceptation finale. Hélas, ces comptes-rendus ne sont pas publics. Mais si le contexte actuel est délicat, les enjeux financiers derrière le marché de la publication scientifique sont énormes et les éditeurs ont tout intérêt à ce que cela aille vite.  » Les éditeurs mettent une grosse pression sur les relecteurs pour rendre leur rapport le plus rapidement possible. Ils cherchent le scoop « , lance Marie Farge, directrice de recherche émérite au CNRS dans le domaine des mathématiques. Avec le risque, donc, de bâcler le peer reviewing.

Gratuit et anonyme

C’est ce qui est arrivé avec l’une des dernières études du professeur Raoult. Elsevier, qui l’a publiée, indique que des doutes existent sur son bien-fondé et qu’un processus de vérification post- publication est en cours… tout en assurant avoir bien fait le travail de révision par les pairs.  » Ce n’est pas étonnant qu’on ait de plus en plus d’articles retirés « , remarque Paul Thirion. Une troisième limite au processus de peer reviewing tient au statut des experts. Ceux-ci effectuent ce travail de vérification de manière gratuite et anonyme. Le seul bénéfice qu’ils peuvent en tirer est une mention dans leur CV. indiquant qu’ils font du peer reviewing pour telle ou telle revue.

Le problème est que le nombre de publications scientifiques à vérifier explose. Les experts sont donc fortement sollicités pour effectuer un travail qui n’a que peu de rentabilité.  » Les éditeurs se tournent alors vers des experts un peu moins renommés. Si ceux-ci refusent, on va vers d’autres encore moins renommés et ainsi de suite jusqu’à ce que quelqu’un accepte.  » Le risque, c’est de perdre en qualité « , analyse Paul Thirion. Il n’est pas rare non plus que des scientifiques acceptent le travail de relecture mais le délèguent ensuite à leurs assistants.

Et puis, il y a les dérives possibles liées à l’anonymat.  » Des relecteurs qui profitent des études qu’ils relisent pour s’en attribuer les résultats, ça s’est déjà vu. D’autres qui discréditent des études car elles viennent de concurrents, cela aussi a déjà été fait « , note le directeur liégeois.  » Le seul avantage pour un chercheur d’effectuer ce travail, c’est de vérifier que ses travaux sont bien cités « , sourit Marie Farge. Pire, dans certaines revues comme Nature, Science ou Physical Review Letters, ce ne sont pas des pairs qui organisent le reviewing mais… des employés de l’éditeur.

Le preprint à double tranchant

En parallèle, il est également intéressant de parler des articles en preprint. Ceux-ci, comme leur nom l’indique, sont publiés en accès libre (open access) avant publication dans une revue scientifique (ce qui n’est pas obligatoire). Il s’agit donc d’une version d’auteur qui n’a pas encore subi de peer reviewing.  » Dans certaines disciplines, la majeure partie des études sont publiées ainsi « , note Paul Thirion. L’avantage, c’est que les scientifiques offrent bien plus rapidement leur savoir à la communauté scientifique. Et celle-ci peut donc plus rapidement contrôler et améliorer le manuscrit avant publication, voire carrément pousser au retrait de certaines études douteuses.  » Acter ainsi l’antériorité de l’étude, c’est aussi une sécurité envers les relecteurs qui auraient de mauvaises intentions « , complète Marie Farge.

Mi-avril, le professeur Didier Raoult et son équipe avaient publié de cette manière leur nouvelle étude sur l’hydroxychloroquine. Rapidement, la méthodologie employée avait suscité débat. Si le preprint offre certains avantages liés à l’open access, il n’en reste pas moins à risque et peut induire en erreur les lecteurs non avertis.  » Tout le monde peut avoir accès aux plateformes de publication comme arXiv, la plus connue. Même le grand public. Or, celui-ci a une mauvaise compréhension de la science et pense qu’une vérité énoncée par un scientifique suffit à établir la véracité du fait « , commente Paul Thirion. Les médias ont également un rôle à jouer en ne prenant pas comme acquis les résultats publiés sous cette forme. Comme de plus en plus d’institutions prennent en compte les publications en preprint, certains chercheurs n’hésitent pas à publier rapidement leurs études pour ajouter une ligne à leur CV et chercher plus facilement des financements. Le risque est d’assister à une course à la publication à tout-va.

Quelles solutions ?

Le peer reviewing est, et restera, un élément essentiel du processus scientifique. Mais, comme le note Paul Thirion, il doit se réinventer. Récemment, l’ULiège a rejoint le réseau Peer Community In (PCI) dans lequel on retrouve déjà l’UCLouvain et la KULeuven. PCI est une organisation scientifique qui cherche à apporter plus de transparence dans le contrôle qualité des articles, en créant des communautés de chercheurs prêts à assurer le peer reviewing. L’idée est de travailler sur les études disponibles en preprint et d’apporter un contrôle permanent pour faire évoluer l’article, en open access. Une sorte de Wikipédia de la science où les modifications sont réservées aux scientifiques. De quoi apporter une plus-value plus importante à des articles qui n’auront alors plus nécessairement besoin d’être soumis à des revues scientifiques, mais aussi de valoriser le travail des relecteurs.

Pour Marie Farge, une solution serait que les comités éditoriaux possèdent les revues, et non plus les éditeurs eux-mêmes.  » Les comités éditoriaux porteraient alors pleinement la responsabilité du peer reviewing en faisant primer les principes déontologiques de la recherche sur les intérêts commerciaux.  » Plus que jamais, c’est l’esprit critique qui doit prévaloir. La base de la science, en somme.

Auteur: Julien Denoel