"Evaluer" un chercheur ?
Enro tient depuis janvier un blog sur les liens entre sciences et société. Il évoquait dernièrement un aspect sociologique particulier dans les sciences, le mandarinat. Il rebondissait alors sur un commentaire sur son blog qui renvoyait à la note wikipédia concernant Axel Kahn. La note en question est un modèle d'aigreur et de frustration, et est en particulier très critique sur les travaux scientifiques de Kahn en s'essayant à une évaluation chiffrée. Extrait :
" Axel Kahn ne figure pas dans la liste des 137 scientifiques francais les plus cités, établie de manière extrêmement rigoureuse par l’Institute for Scientific Information (isiknowledge.com, accès payant). Cette liste comporte une bonne dizaine de généticiens francais, parmi lesquels Pierre Chambon, Daniel Cohen, Jean-Louis Mandel, Marie-Genevieve Mattéi et Jean Weissenbach."
Comme je le disais en commentaire sur le blog d'Enro, cette analyse, qui s'abrite derrière des informations purement quantitatives, me paraît tout à fait erronée, voire malhonnête. Allez, un exemple typique : sur isiknowledge, parmi la liste des français les plus cités manquent quelques Nobel récents comme Yves Chauvin ou Pierre-Gilles De Gennes; en physiologie et médecine, parmi les six derniers lauréats, un seul fait partie des plus cités.
Le problème est qu'on est ici en train de comparer choux et carottes : le nombre de citations dans l'absolu ne veut absolument rien dire, car les domaines peuvent être tout à fait différents, même à l'intérieur d'un gros sous-groupe (qu'on appellera ici "génétique"). Par exemple, des chimistes peuvent faire une quinzaine de papiers pendant leur thèse, quand un physicien théoricien en fait trois- quatre, ou un biologiste moléculaire un seul s'il a de la chance. Evidemment, le nombre de citations s'en ressent : si vous êtes dans un domaine qui produit dix fois plus de papiers qu'un autre, mécaniquement, vous serez dix fois plus cités. Quand on voit le domaine de recherche d'Axel Kahn (en gros le métabolisme du sucre dans le foie), il n'est pas très étonnant que celui-ci soit peu cité. Pour faire une comparaison, il faudrait par exemple redimensionner le nombre de citations par le nombre de papiers du domaine...
Ceci pose une question redoutable d'un point de vue sociologique, en ces temps de culte de performance et de quête du chiffre : comment peut-on évaluer la qualité ou l'impact d'un chercheur ? En première approximation, on peut penser déjà que le nombre de papiers est un bon indicateur de la qualité de la recherche. C'est oublier les ravages du "Publish or Perish" : si le critère principal est la quantité, on perdra naturellement en qualité. Pour reprendre une boutade d'un prof de mon labo, si vous donnez un million de dollars par an à une personne pour qu'elle produise des résultats sur un problème, vous pouvez être sûr qu'elle ne trouvera jamais la solution de ce problème car elle se priverait alors de son financement. De fait, il est clair que dans certains domaines, il y a une tendance lourde vers la multiplication de petits travaux au détriment de projets de fonds, ne serait-ce que parce qu'il est beaucoup plus rentable (d'un point de vue carrière scientifique) de ne pas essayer de s'attaquer à des problèmes trop durs pour lesquels un échec vous condamnerait. C'est à mon sens l'un des grands problèmes de la recherche actuelle aux Etats-Unis en tous cas; en tant que post-doc, la question de savoir ce que l'on fait se pose alors avec d'autant plus d'acuité... L'avantage du CNRS qui laisse une liberté totale aux chercheurs et de lever cette contrainte, et, pour avoir cotoyé les deux mondes, il est clair que l'esprit dans lequel on travaille est alors très différent. Evaluer les publications ou le nombre de citations comme des cours de la bourse me paraît donc assez stupide, l'un des effets pervers est d'ailleurs de créer des bulles, des effets de modes, tout à fait typiques de la science moderne.
Pour conclure, n'oublions pas non plus que l'impact d'une recherche peut se mesurer des années, voire des dizaines d'années après une découverte. Mendel, fondateur de la génétique moderne, a été totalement oublié avant qu'on redécouvre ses recherches. La physique du XXe siècle est pleine d'exemples de recherche fondamentale donnant lieu a des applications pratiques bien plus tard. Autrement dit, l'impact à court terme peut être nul, tandis que le bénéfice à long terme peut être quasi-infini...
" Axel Kahn ne figure pas dans la liste des 137 scientifiques francais les plus cités, établie de manière extrêmement rigoureuse par l’Institute for Scientific Information (isiknowledge.com, accès payant). Cette liste comporte une bonne dizaine de généticiens francais, parmi lesquels Pierre Chambon, Daniel Cohen, Jean-Louis Mandel, Marie-Genevieve Mattéi et Jean Weissenbach."
Comme je le disais en commentaire sur le blog d'Enro, cette analyse, qui s'abrite derrière des informations purement quantitatives, me paraît tout à fait erronée, voire malhonnête. Allez, un exemple typique : sur isiknowledge, parmi la liste des français les plus cités manquent quelques Nobel récents comme Yves Chauvin ou Pierre-Gilles De Gennes; en physiologie et médecine, parmi les six derniers lauréats, un seul fait partie des plus cités.
Le problème est qu'on est ici en train de comparer choux et carottes : le nombre de citations dans l'absolu ne veut absolument rien dire, car les domaines peuvent être tout à fait différents, même à l'intérieur d'un gros sous-groupe (qu'on appellera ici "génétique"). Par exemple, des chimistes peuvent faire une quinzaine de papiers pendant leur thèse, quand un physicien théoricien en fait trois- quatre, ou un biologiste moléculaire un seul s'il a de la chance. Evidemment, le nombre de citations s'en ressent : si vous êtes dans un domaine qui produit dix fois plus de papiers qu'un autre, mécaniquement, vous serez dix fois plus cités. Quand on voit le domaine de recherche d'Axel Kahn (en gros le métabolisme du sucre dans le foie), il n'est pas très étonnant que celui-ci soit peu cité. Pour faire une comparaison, il faudrait par exemple redimensionner le nombre de citations par le nombre de papiers du domaine...
Ceci pose une question redoutable d'un point de vue sociologique, en ces temps de culte de performance et de quête du chiffre : comment peut-on évaluer la qualité ou l'impact d'un chercheur ? En première approximation, on peut penser déjà que le nombre de papiers est un bon indicateur de la qualité de la recherche. C'est oublier les ravages du "Publish or Perish" : si le critère principal est la quantité, on perdra naturellement en qualité. Pour reprendre une boutade d'un prof de mon labo, si vous donnez un million de dollars par an à une personne pour qu'elle produise des résultats sur un problème, vous pouvez être sûr qu'elle ne trouvera jamais la solution de ce problème car elle se priverait alors de son financement. De fait, il est clair que dans certains domaines, il y a une tendance lourde vers la multiplication de petits travaux au détriment de projets de fonds, ne serait-ce que parce qu'il est beaucoup plus rentable (d'un point de vue carrière scientifique) de ne pas essayer de s'attaquer à des problèmes trop durs pour lesquels un échec vous condamnerait. C'est à mon sens l'un des grands problèmes de la recherche actuelle aux Etats-Unis en tous cas; en tant que post-doc, la question de savoir ce que l'on fait se pose alors avec d'autant plus d'acuité... L'avantage du CNRS qui laisse une liberté totale aux chercheurs et de lever cette contrainte, et, pour avoir cotoyé les deux mondes, il est clair que l'esprit dans lequel on travaille est alors très différent. Evaluer les publications ou le nombre de citations comme des cours de la bourse me paraît donc assez stupide, l'un des effets pervers est d'ailleurs de créer des bulles, des effets de modes, tout à fait typiques de la science moderne.
Pour conclure, n'oublions pas non plus que l'impact d'une recherche peut se mesurer des années, voire des dizaines d'années après une découverte. Mendel, fondateur de la génétique moderne, a été totalement oublié avant qu'on redécouvre ses recherches. La physique du XXe siècle est pleine d'exemples de recherche fondamentale donnant lieu a des applications pratiques bien plus tard. Autrement dit, l'impact à court terme peut être nul, tandis que le bénéfice à long terme peut être quasi-infini...
7 commentaires:
On est d'accord, le nombre d'articles publiés ne dit rien. C'est pour ça qu'on pondère avec le facteur d'impact des revues et, encore mieux, qu'on regarde la visibilité réelle des articles en comptant le nombre de citations (si possible normalisé) : c'est l'approche de l'ISI. On peut évidemment discuter de comment lire ces résultats et comment normaliser (puisque ultimement chaque chercheur occupe un domaine spécifique et ne peut être comparé aux autres), mais il n'empêche, c'est un indicateur comme un autre, aussi biaisé que l'est le choix des Nobel. Donc la question est : objectivement, la contribution scientifique d'Axel Kahn justifie-t-elle sa place hiérarchique dans la recherche française et d'expert dans la médias ?? La question reste ouverte.
Pour moi, ce n'est pas tant Axel Kahn qui est intéressant que le mandarinat, que j'essaye d'éclairer par l'approche sociologique...
Merci de ton commentaire, je réponds rapidement :
d'abord j'ai bien compris ton approche sociologique du mandarinat, que je trouve très intéressante. Néanmoins, je pense qu'il y a d'autres exemples plus pertinents qu'Axel Kahn (y compris dans les scientifiques "médiatiques"), que je ne connais pas, mais au vu des indicateurs que j'ai à ma disposition, il ne me semble pas usurper quoi que ce soit.
En ce qui concerne l'évaluation proprement dite, certes il existe des indicateurs plus fiables que d'autres. Mais je maintiens qu'il est très difficile, voire impossible d'évaluer vraiment la pertinence ou la profondeur d'une recherche de l'extérieur. Dans mon domaine, il y a des chercheurs très connus qui publient beaucoup, que je lis, que je cite. Je pense néanmoins pour le coup que la qualité de leur travail ne mérite pas forcément l'immense reconnaissance qu'ils ont comparés à d'autres chercheurs qui font des choses peut-être moins funky, plus en profondeur, auront une carrière moins brillante mais qui à mon avis sur le long terme feront plus avancer les choses. Aucun indicateur quantitatif ne favorisera ces derniers.
"objectivement, la contribution scientifique d'Axel Kahn justifie-t-elle sa place hiérarchique dans la recherche française et d'expert dans la médias ?",
Poser la question ainsi sous-entend que sa place est effectivement usurpée, alors que
1- sa production scientifique me paraît normale
2- nous ne sommes pas compétents pour juger du contenu
Donc je pense qu'on ne peut rien dire et je me garderai bien de juger négativement son travail scientifique.
Il faudrait demander l'avis d'un panel relativement représentatif de ses pairs en fait (et même cela ne garantit rien, le petit monde de la recherche pouvant parfois ressembler à un joli panier de crabes, voire certains débats autour de la note wikipédia). Et je suis à peu près sûr qu'on n'aura pas de consensus. Note que la question se pose pour tous les scientifiques un peu reconnus dans les médias ou ailleurs (qu'en est-il d'Hervé This, d'Albert Jacquart, d'Hubert Reeves, de Trinh Xuan Thuan...?).
Pour finir et de toutes façons, à partir du moment où on prend du temps pour réfléchir à des problèmes éthiques ou faire de la vulgarisation, on peut s'attendre à ce que la recherche s'en ressente un peu : donc même si tu pouvais me démontrer par A+B que Kahn produit moins que ses pairs (et j'en doute), on ne peut pas nier qu'il ait au moins un certain rôle dans la communication avec le grand public, ou dans les débats autour du sujet.
PS : en me relisant, je me rends compte que mon ton est un peu agressif, toutes mes excuses, ce n'était vraiment pas mon intention, même si le débat me tient à coeur il est vrai...
Pas d'agressivité non plus chez moi, je te rassure !! ;-)
Effectivement, l'évaluation d'un chercheur est chose extrêmement difficile et délicate, et là où la bibliométrie (décompte des publications, citations etc.) peut aider c'est plus à une échelle statistiquement valide (un pays, un domaine scientifique) que pour un seul individu. Une remarque quand même : au Royaume-Uni, l'exercice annuel d'attribution des fonds de recherche et évaluation des chercheurs (RAE) se faisait jusqu'à présent par comité de pairs et analyse des publications les plus significatives du chercheur ou de l'unité évaluée. Il est désormais prévu de passer à une analyse 100 % bibliométrique vu la corrélation quasi-parfaite entre les deux méthodes !
Cela dit, on s'aperçoit que le cas Kahn est aussi intéressant parce qu'il est critiqué pour des conflits d'intérêt et un manque d'honnêteté scientifique (voir l'article Wikipédia et la discussion de l'article) ; je ne fais pas miennes ces critiques mais il faut reconnaître qu'elles interpellent. Là encore, on peut se demander si ce n'est pas une perversion de la science (qui est désintéressée selon Merton) d'avoir de telles personnalités, de tels arbres qui cachent la forêt...
En réponse à enro, je pense que le fait que les deux approches correspondent parfaitement en angleterre peut aussi etre le reflet d'une charge de travaille trop importante sur les commissions. Si il y a 100 dossiers à juger en 2 jours, cela te fait entre 15 et 30 minutes par dossier... Et donc, la commission traite sans finesse et compte les publis.
Manger !
Anonymous > Effectivement, le jugement par les pairs est très chronophage. Mais en l'occurrence, on demandait aux chercheurs britanniques de ne fournir aux comités qu'un nombre limité d'articles, ceux qui caractérisent vraiment leur recherche. Les pairs paresseux n'ont donc aucune excuse et cela les empêche même de se livrer à des décomptes, à moins d'aller eux-mêmes rechercher dans les bases de données etc. ! Donc je ne crois pas que cette explication soit recevable...
Quelques commentaires complémentaires :
- lorsque j'ai lu le commentaire de Manger !, j'ai immédiatement pensé aux auditions CNRS : 90 candidats, 15 minutes par candidats... Le système américain est critiquable sur bien des égards, mais j'ai le sentiment que le processus de recrutement est, comment dire, plus raisonnable...
- à Enro : je ne peux pas croire que les gens des commissions s'amusent à lire tous les articles représentatifs qu'on leur envoie. Ce serait très intéressant de voir comment fonctionne une telle commission.
Enregistrer un commentaire