Critiques à l’arsenic

Le lecteur averti de la blogosphère scientifique mondiale n’a pu manquer l’immense polémique soulevée par la publication récente dans Science d’un article rapportant la “découverte” d’une bactérie utilisant de l’arsenic à la place du phosphore dans son ADN.

En quête de science (I et II) et Bacterioblog (I et II) ont chacun par deux fois couvert l’affaire, mais il en faudrait bien plus pour relater les suites de cette publication, entre critiques blogosphériques majeures, contre-attaque des auteurs, nouvelles critiques de l’article … et des critiques initiales suivies d’envolées lyriques sur le parallèle entre Science/le département d’Etat US vs blogosphère scientifique/wikileaks.

Clairement, pour qu’il y ait autant de réactions enflammées, c’est qu’il ne s’agit pas que de science, et étant totalement incompétent dans le domaine, je ne m’engagerai pas sur une critique scientifique du sujet. En revanche, cette affaire est révélatrice des mouvements telluriques profonds dans le monde scientifique en général. Citons en quelques uns :

  • des agences de recherche aux abois en période de vaches maigres. La recherche a été financée et largement médiatisée par la NASA, avec teasing initial – que j’ai même relayé sur twitter- conférence de presse, communiqués frappants gonflant l’importance de la découverte initiale
  • une revue scientifique majeure sur la sellette (encore) face à la survente des résultats (encore). La page de Carl Zimmer donne la parole à de nombreux chercheurs (dont J. Eisen, l’un des grands militants d’un système de publication totalement ouvert) qui y voient un échec majeur du système actuel de publication. (encore)
  • la pénurie de jobs scientifiques. C’est le bacterioblog qui évoque l’aspect le plus frappant en rapportant cette anecdote effarante sur le nom donné à la bactérie, “GFAJ”signifiant “Give Felisa A Job”, littéralement “Donnez un boulot à Felisa”, la première auteure de cet article. Est-il étonnant, dans ce contexte, que la blogosphère scientifique, sorte de prolétariat en blouse blanche, ne mâche pas ses mots face à un tel papier s’il devait se révéler “illégitime” ?

Alors, la situation est-elle devenue si pourrie ? Les réactions sont-elles justifiées ? J’avoue que je trouve que la blogosphère scientifique en fait un tantinet trop, voire s’illusionne sur sa propre intelligence. En particulier, cette invocation permanente dans la communauté de la revue par les pairs comme une garantie absolue de qualité [1] m’agace (cf exemples dans ce billet d’Ed Yong). Par exemple, ce genre de citations :

Rosie Redfield is a peer, and her blog is peer review.

me gêne considérablement. Je n’ai rien contre Rosie Redfield, et n’ai aucune idée de sa compétence. Mais j’ai des pairs qui, à mon avis, ne sont pas forcément très à même de comprendre certains aspects de mes travaux. J’ai des pairs dont le conservatisme scientifique est effrayant, etc … Ces pairs, je ne suis pas sûr qu’il soit si important d’avoir leur avis . C’est pour cette raison d’ailleurs que, lorsque l’on soumet un papier, on espère très fort que certains pairs n’auront pas à l’évaluer, et que je sache, personne ne conteste le fait de pouvoir exclure certains pairs du processus de revue de ses propres papiers.

J’irais même plus loin : il ne me paraît pas impossible que les papiers vraiment intéressants soient contestés par une grosse minorité, voire une majorité des membres d’une communauté concernée, ou encore par certains de ses membres éminents voyant d’un mauvais oeil l’arrivée de petits nouveaux. C’est peut-être le prix à payer pour la vraie innovation. Et pour cette raison, ce vaste mouvement d’ouverture et de transparence maximale sur la post peer-review que je vois émerger à l’occasion de ce papier me paraît naif, voire un peu dangereux. Je n’ai pas constaté que les scientifiques échappent aux mouvements de foule online.

Je crois que les revues offrent un cadre imparfait au débat scientifique mais qui reste supérieur aux évaluations ouvertes sur l’internet. Et gardons à l’esprit que la véritable revue par les pairs est toujours dans les pistes futures ouvertes par un papier ( le paradoxe étant qu’on s’aperçoit parfois rétrospectivement que le papier “fondateur” d’un domaine peut être faux).

[1] le peer-review ne marche pas c’est d’ailleurs scientifique

13 Responses to “Critiques à l’arsenic”

  1. Nicolas Says:

    Je suis d’accord avec toi que les blogs ne peuvent pas remplacer le système, imparfait mais moins pire, des publications scientifiques à comité de lecture. Ceci dit, il semble y avoir une telle unanimité pour dire que ce papier est, au mieux préliminaire, au pire n’aurait jamais du etre publié, que ca doit etre particulièrement désagréable d’etre un des reviewers du papier…

    Ce qui est étrange, c’est la com’ de la Nasa et des auteurs qui font monter la sauce de facon incroyable avant l’embrago, se prennent un retour de feu dément apres publication du papier, et se refugient piteusement derriere “les critiques doivent avoir lieu dans les journaux scientifiques, on ne repondra a aucune critique venant d’un autre canal”. C’est moche, quand meme…

  2. vf Says:

    La plupart des revues demandent maintenant une liste restreinte de rapporteurs “suggérés” et la liste des rapporteurs à éviter.
    Autant dire que plus personne ne croit au peer review anonyme et éclairé fait par des chercheurs “au-dessus” des effets de mode, des effets de jalousie, des effets d’âge, des effets d’incompétence etc.

  3. Roud Says:

    @ Nicolas : je trouve qu’il y en a eu trop de fait des deux côtés. Certes la NASA a trop commuiqué, mais les réactions sont exagérées aussi. Ce papier, c’est un bouc-émissaire pour tous les mauvais papiers publiés dans Science. C’est d’ailleurs ça aussi le problème du peer-review online généralisé : les gens se focaliseraient uniquement sur quelques cas polémiques, l’immense majorité des papiers resteraient inaperçus, quelles que soient leur qualité.

    @vf : oui, plus personne ne croit à ce peer-review dans les faits. Sauf que la blogosphère scientifique anglophone semble croire que l’effet de masse pourrait permettre de dépasser tous ses effets délétères (alors que je crois que la masse va au contraire les amplifier).

  4. Nicolas Says:

    Je ne crois pas avoir déjà soumis un papier à une revue qui demandait une liste de reviewers suggérés, mais bon, ca depend peut etre des domaines.
    Un élément qui persiste néanmoins, c’est que les lecteurs ne connaissent pas l’identité des reviewers. Je ne sais pas si c’est une bonne chose ou pas…. Ca changerait quand meme pas mal de choses si cette situation évoluait, mais je ne sais pas dans quel sens. Vos avis?

  5. Roud Says:

    @ Nicolas : dans mon domaine, on suggère toujours une liste de reviewers. Je pense aussi que c’est parce que les éditeurs ne savent pas toujours à qui envoyer les revues ( il est vrai que ce n’est pas toujours évident).
    Je suis totalement pour l’anonymat des reviewers, ça libère la parole (c’est comme pour le blogging ;) ). Et puis, sans anonymat, on arriverait à des situations intenables : en fait, de plus en plus, post-doc voire étudiants en thèse font les revues, si tu dévoiles leur indentité, tu créés naturellement un rapport de force dans lequel les chercheurs seniors du papier dominent leur reviewer.

  6. Arsenic et vieilles ficelles | Ma galerie Says:

    [...] de cette affaire, soit pour parler de la difficile carrière des jeune chercheurs, soit du processus de relecture par les pairs et de validation des [...]

  7. John Doorwen Says:

    Bonne analyse de cette polémique. J’ai cependant quelques réserves sur l’argument du « Chercheurs de tous les labos, unissez-vous » et sur le sentiment d’illégitimité du papier. Quelques pensées evoquées par ce billet :

    - L’ambivalence des scientifiques, en particulier en biologie, qui savent que les grandes revues de type Science, ne sont pas les plus rigoureuses, mais y publient ou du moins espèrent le faire. D’ailleurs, il n’est pas rare que les scientifiques eux-mêmes se conforment au style « dorure et paillettes » de ces journaux et survendent leurs résultats. Toutefois, cela fait partie d’un jeu -la plupart du temps honnête- pour avoir des financements et de bons postes (on en revient donc aux points développés par Tom Roud de « pénurie de jobs scientifiques » et « période de vache maigre »). Je pense qu’il ne faudrait pas uniquement s’acharner sur ces grands journaux, mais aussi questionner la façon dont nous jugeons le travail scientifique et dont les politiques et autres fondations octroient l’argent.

    - La publication du processus de reviewing – je partage l’avis de Tom Roud sur les limites du modèle PLoS étant donné le faible nombre et la pertinence de la plupart des commentaires. Par contre, il devrait être obligatoire de rendre public le processus de reviewing. The EMBO Journal (publie par le méchant Nature Publishing Group soit dit en passant) fait cela depuis quelques temps. Je pense que c’est une très bonne initiative pour trois raisons : premièrement, cela rend plus transparent le système de publication ; deuxièmement, cela peut nourrir une réflexion scientifique en montrant les points faibles de l’article, qui sont souvent gommés ou mis en retrait dans la version finale ; troisièmement, cela exerce une certaine pression autant sur les editeurs que les reviewers. Les éditeurs, car dans le cas du papier sur l’arsenic, si les preuves d’incorporation d’arsenic avaient bien été demandées par les reviewers, alors on pourrait reprocher aux éditeurs d’avoir privilégié le sensationnel au sérieux. Les reviewers, car bien qu’anonymes, ils pourraient ressentir plus responsabilités et ne pas demander des expériences supplémentaires délirantes.

    - Quel autre modèle ? Si je rejoins la plupart des critiques sur le système de financement et de publication actuelle occasionnées par ce papier sur l’arsenic, je ne vois guère d’alternative. Doit-on donner des financements illimités aux scientifiques et un nombre infini de postes ? Devons-nous détrôner Nature, Science & Co. de leur position relativement monopolistique ? Malheureusement, il en est du système de publication comme du capitalisme : on sait bien que ce n’est pas parfait, mais on ne trouve rien pour le remplacer.

  8. Matières Vivantes » Blog Archive » X-Woman devient Denisovan Says:

    [...] Gros effet d’annonce à l’époque, mais qui semblait un peu prématuré (comme une autre affaire récente). Notamment, il semblait que les analyses génétiques n’étaient pas suffisantes pour [...]

  9. Vincent Says:

    Interview de l’auteure de l’étude
    http://news.sciencemag.org/sciencenow/2010/12/arsenic-researcher-asks-for-time.html?ref=hp

    Et sur un site de vulagrisation:
    http://www.futura-sciences.com/fr/news/t/genetique-1/d/bacteries-a-larsenic-les-reponses-de-lequipe-a-la-polemique_26833/

    Pour le peer-review, pourquoi pas comme dans certains examens où les auteurs de l’étude sont anonymes et les reviewers sont connus ?

    PS: merci pour l’excellente vulgarisation de ce blog !

  10. Matières Vivantes » Blog Archive » Prédictions 2010/2011 Says:

    [...] aussi, on a été servi sur tous les plans. Côté controverse scientifique, citons évidemment la bactérie “à l’arsenic”, mais aussi une controverse scientifique majeure sur la “sélection de parentèle” [...]

  11. tueursnet Says:

    A vos blogs citoyens !
    Réunissons-nous en cliquant sur une petite souris, seule capable de venir à bout
    d’une politique qui ne tient plus debout.
    Et exprimons-nous de concert, sur les sujets les plus divers à travers nos créations imaginaires…
    pour que le passé soit dépassé et l’avenir ré-ouvert.

    http://www.tueursnet.com/index.php?journal=Bigblog

  12. J. Doorwen Says:

    L’ADN à l’arsenic serait donc aussi labile que la polémique qu’il a engendrée …

    http://blogs.nature.com/news/thegreatbeyond/2011/01/arsenic_dna_would_be_amazingly_1.html

  13. Tom Roud Says:

    Peut-être, mais attendons un peu malgré tout, la vie révèle parfois des surprises !


Nombre de pages vues : 1125265