Les scientifiques sont-ils plus malins que les blogueurs ?

Même si je suis un chaud partisan de l’utilisation de l’internet, des blogs et autres réseaux sociaux pour faire de la science, je suis toujours un peu sceptique face à ceux qui affirment que les journaux comme PlosOne permettront in fine de mieux estimer la juste valeur des papiers.

Voici par exemple une info tirée de ce billet, signalé sur twitter par un peu tout le monde :

Recently, PLoS announced article-level metrics, a program to “provide a growing set of measures and indicators of impact at the article level that will include citation metrics, usage statistics, blogosphere coverage, social bookmarks, community rating and expert assessment.” (This falls under the broader umbrella of ‘post-publication peer review’.) Just how this program will work is a subject of much discussion, and certain metrics may need a lot of fine-tuning to prevent gaming of the system, but the growing consensus, at least among those discussing it online, is that it’s a step in the right direction.

Ainsi donc, voici venir de nouveaux indicateurs, tels que les statistiques de lectures, la couverture sur la blogosphère, l’évaluation dans une communauté, … en plus du nombre de citations, qui devraient permettre de mieux évaluer les papiers.

Mais il en va des articles scientifiques publiés sur Internet comme des blogs: la popularité et le buzz autour d’un papier sont-ils un reflet de sa qualité ? Contre-exemple récent : le cas Darwinus Massilae qui a d’un côté suscité un gros buzz médiatique (organisé pour promouvoir un documentaire TV), et de l’autre attiré la foudre de blogueurs scientifiques. Au final, je suis personnellement assez incapable de dire si ce papier était bon ou non (ou plus exactement dans la niveau “moyen” de cette discipline).

Les blogueurs aiment bien critiquer le classement wikio, qui repose lui aussi sur des votes indirects de popularité (comme le nombre de liens). Les blogueurs ont déjà souligné ici ou là les “problèmes” de ce classement, qu’on peut résumer ainsi : la quantité n’est pas un indicateur fiable de la qualité. Il y a des effets de groupes des blogueurs qui se lient souvent les uns les autres (voir l’exemple du beau tir groupé du c@fé des sciences entre la 9ième et la 16ième place du classement science de ce mois-ci), il y a le fait joliment illustré par Vidberg que les blogs les plus populaires n’abordent pas forcément les thématiques les plus intéressantes en soi, il y a évidemment le fait que le nombre de commentaires sur un blog peut être davantage dû à la réputation d’un auteur ou au bruit qu’il fait qu’à la qualité “absolue” de sa prose. Pourquoi en serait-il différent en science ? Les communautés de chercheurs bien établis qui se lient/citent les uns les autres existent évidemment, et ne vont pas se diluer dans internet . Les biais thématiques existent aussi : bien sûr que votre impact sera plus grand si vous publiez un papier concernant une grosse communauté, ou si vous appartenez à une science “populaire”. Et la taille de la communauté ou son accès aux gros titres ne sont pas nécessairement corrélés à l’intérêt scientifique “absolu” du sujet.

C’est même en fait plus pervers que ça : pour être populaire, il faut être “mainstream” d’une façon ou d’une autre, car il faut être capable de séduire une large communauté de scientifiques qui aura mûri suffisamment pour être prête à recevoir et à populariser vos idées. On fustige souvent les revues pour leur manque d’ouverture, mais est-il si clair que l’intelligence collective aurait mieux évalué sur le coup la théorie de la Reine Rouge ou la PCR ? Aurait-on eu un grand blogueur influent tel que PZ Myers pour nous dire : “j’ai lu une super nouvelle théorie sur l’évolution dans Plos, allez voir ce papier, c’est génial” ? J’en doute, car il arrive souvent que les idées novatrices ne soient pas encore “de leur temps”, qu’elles aient besoin de plusieurs années pour mûrir et diffuser dans la communauté. Et à l’âge d’internet, on buzze, surfe, commente, … mais on n’a pas beaucoup de temps à mûrir et à réfléchir, tout occupés que nous sommes à digérer, à lire (et donc bientôt à commenter) les nombreux papiers publiés. Pire : si quelque chose ne plaît pas à un blogueur scientifique sur Internet, si une idée lui paraît trop iconoclaste ou trop peu fondée, plutôt que de laisser courir en faisant confiance au temps long pour oublier naturellement – si besoin- la mauvaise science, le scientifique internaute ne peut s’empêcher de rester dans l’âge de l’instantanéité, de commenter, d’en faire un billet [1], qui pourra dégénérer lui-même en de nombreux commentaires, voire en des blogs parallèles entièrement consacrés au papier qu’il estime mauvais [2] …

De ce point de vue, les revues “classiques” ont plein de défauts, mais peuvent conserver un avantage sur les publications type Plos: si elles sont intelligentes, elles peuvent parvenir à détecter et à valoriser le bon petit papier un peu provocant qui va remettre en question les préconceptions scientifiques bien établies d’une communauté et faire bien avancer la science. Certes, cela n’arrive pas souvent, cela demande des gens à la fois compétents, novateurs, visionnaires, iconoclastes et ouverts dans les revues (…); mais je ne crois pas que l’intelligence collective soit plus à même de faire ce boulot.

Le véritable impact de Plos selon moi n’est pas dans l’évaluation des papiers, mais, plutôt dans le principe de l’accès libre à la connaissance et aux publications.

[1] Auto-référence
[2] On me rétorquera peut-être que l’intelligence collective est plus capable de détecter et de sanctionner immédiatement les articles vraiment nuisibles qui risquent de retarder la science pour de bon, mais c’est faux : si beaucoup de gens sont d’accord sur le fait qu’un article est mauvais, on peut supposer que la majeure partie de la communauté pense pareil (à tort ou à raison). N’importe qui participant régulièrement à un Journal Club pourra témoigner que la plupart du temps, les papiers font plus ou moins consensus, même avant discussion.
Les vrais papiers dangereux pour la science sont les papiers faux acceptés voire encensés par la communauté, parce qu’ils confirment leurs préjugés. Leurs défauts sont donc invisibles à l’intelligence collective, et seuls des efforts individuels, une vraie contre-recherche, de vrais contre-papiers, peuvent faire avancer les choses.

10 Responses to “Les scientifiques sont-ils plus malins que les blogueurs ?”

  1. Shirley Says:

    Good post – you bring up a lot of very valid points. You are right that we need to be careful how these article-level metrics are used, otherwise they will simply reflect popularity or public understanding and not the actual merits of the paper. The fracas over “the missing link” is also a good example – when so much buzz (good and bad) is generated about a paper, it subsequently distracts and distorts our ability to evaluate the paper itself.

    I would argue that a paper that is either controversial, ahead of its time, or in a small sub-field would have an extremely hard time getting published in the top-tier journals as well. It would most likely get published in either a small, field-specific journal, or in a lower-tier journal. If the former, I would assume those working in that field would have their own sense of what constitutes impact irrespective of other fields; if the latter, it doesn’t seem like that is any better than publishing in PLoS ONE where you can at least have the potential to reach a wide audience.

    I think the experiment PLoS is undertaking is valuable, but I agree that these new metrics will have to be monitored and applied in a fair and intelligent way.

    (Apologies to your readers if they cannot read English… my French is terrible!)

  2. Tom Roud Says:

    Hi Shirley,
    thank you for your comment.
    We certainly agree that a controversial/cutting edge paper ahead of its time would have a hard time to be published today in a top-tier journal (unfortunately). However, I do not know if being published on PloS One would be really better than being published in a more specialized journal. As you point out, people working in a specialized field would read it and might get a real sense of this paper in a specialized journal, and from there could “evangelize” other people outside of the field to this interesting paper. But I am not sure that they would actually see it if it is published in PloS ONE, lost in the middle of a huge number of papers of more general interest and of various quality. Again, the main interest I see in PloS ONE is more on the free access side (but I have to confess that I actually consider submitting my next cutting-edge paper to Plos ONE if it is rejected by Nature, Science and Cell as I expect :P )

    PS : I guess most of the people interested in that matter can actually read English anyway, so this is OK !

  3. Tom Roud Says:

    @ Enro : moui, un peu dubitatif sur le lien que tu me signales ( http://twitter.com/Enroweb/status/3170577771 ) quand même. Deux ans après, je n’irai pas commenter un article, si je l’aime bien et si mon travail est relié, il faut le citer, pas le commenter.

  4. Shirley Says:

    Tom,

    Yes, right now there may still be a worthy trade-off between publishing for your intended audience as many people still use journals as their main mode of discovery. But many people are also now using search engines as their primary tool and there the specific journal tends to matter less. If the trend continues away from journals (as it seems to be), then someone who may find the paper interesting is as likely to find it in PLoS ONE (more likely, even, if PLoS is better optimized for web search) as in a specialized journal.

    At any rate, there will be quite a long period of transition wherein multiple approaches will work fine, but I do think that search and collaborative filtering will eventually become the main ways through which people find papers of interest to them.

    Good luck with your paper – it would still certainly be nice to have it accepted to C/N/S!

  5. Tom Roud Says:

    Shirley,
    Again, I am not against Plos ONE in any way, I think it is a very good idea, but I am (still) not convinced that this will really help measuring the interest of a paper.

    People make a point of collaborative thinking as a magic tool. Well, collaboration is certainly good at collecting information (which is the reason why I am blogging and reading blogs…) , but I am not sure that this is so good at changing people’s opinions in a good way. Being a theoretician working in an interdisciplinary field, my day-to-day experience with (established) scientists is that most of them are much more conservative than you would think. One of the reason is that people do not like their old results/ideas to be questioned (and real scientific controversy has indeed almost completely disappeared). Collaboration of conservative people will still make a conservative collaboration, they will just find more papers they like all together ;) . Of course there are always more open people, but I doubt they are the majority.

    [Maybe that is my French bias; we have this - pejorative- expression in French of "mouton de Panurge", which is the idea that when they start being together, instead of having deeper thinking, people tend to align each other's opinions and completely lose any "out of the box" thinking, kind of "herding effect" . You can see this effect very often in real life, even with very clever people, think for instance of what happens on stock markets. Are scientists more clever, can they all be moderate and keep their originality when thinking collectively ? You can find quite dirty counter-examples on the web -no link - , so I am not so sure... Oh God, I am so pessimistic ! ]

  6. John78 Says:

    Salut a tous

    => Un des gros point positif de PloSOne c’est qu’il n’y a pas d’éditeur, et donc pas de décisions éditoriales pour savoir si le papier est dans les standards qualitatifs de ce qui est publié dans le journal en question. Et ça, c’est tres bien, car souvent les décisions des éditeurs sont d’une grande opacité, pour ne pas dire complètement subjective. Cette omnipuissance des éditeurs m’a toujours paru etre complètement disproportionnée quand on sait combien les carrières peuvent dépendre des publications, et combien 1 seul article dans C/N/S, même merdique, peut influer grandement sur une carrière.

    => Ensuite sur l’évaluation statistique de la science, je crois qu’il faut préciser un point. C’est pas les scientifiques qui sont réellement demandeurs : dans sa discipline, on sait juger grossomodo de la qualité d’un papier ou d’un chercheur sans avoir besoin de statistique. Pour les recrutements, les promotions, l’attribution des crédits, on s’en est tres bien passé de ces indicateurs. Pour autant, je ne dis pas que l’on ne peut pas améliorer ces processus avec des indicateurs, mais que la demande est surtout d’ordre politique et admnistrative, pas scientifique. Et ca, c’est quand même inquietant car un beau jour on se réveillera dans un métier où notre salaire, notre carrière, nos crédits….seront calculé par une machine en fonction d’un tas de paramètre statistique obscur. Pas sur du tout que l’on gagne a participer a tout ça, perso j’éviterais d’y mettre le doigt, surtout en France quand on voit la bureaucratie qui administre la recherche… :-(

    A+
    J

  7. Tom Roud Says:

    Assez d’accord sur tous les points que tu soulèves John, sauf que de toutes facons, à partir du moment où l’argent de la science provient de la bureaucratie, je crois qu’on n’a pas le choix.

  8. pablo Says:

    Et sur quoi je tombe direct derrière ? ;-)

    http://www.phdcomics.com/comics/archive.php?comicid=1208

  9. Matières Vivantes » Blog Archive » Critiques à l’arsenic Says:

    [...] J’irais même plus loin : il ne me paraît pas impossible que les papiers vraiment intéressants soient contestés par une grosse minorité, voire une majorité des membres d’une communauté concernée, ou encore par certains de ses membres éminents voyant d’un mauvais oeil l’arrivée de petits nouveaux. C’est peut-être le prix à payer pour la vraie innovation. Et pour cette raison, ce vaste mouvement d’ouverture et de transparence maximale sur la post peer-review que je vois émerger à l’occasion de ce papier me paraît naif, voire un peu dangereux. Je n’ai pas constaté que les scientifiques échappent aux mouvements de foule online. [...]

  10. Asa Stuffle Says:

    Bonjour, j’adore vraiment ce que vous faites et je me demande comment j’ai pu rater votre blog.


Nombre de pages vues : 1101129