1. À quoi sert le rapport d’évaluation?

Voir la section

Un rapport d’évaluation joue deux rôles importants dans le processus de publication:

Contrôle de qualité: Le rapport d’évaluation doit aider le rédacteur en chef à prendre les décisions qui permettront de préserver le niveau de qualité de la revue (ou de la conférence) ciblée en lui fournissant de l’information sur la pertinence, l’originalité et la validité du contenu de l’article.
Critique constructive: Le rapport d’évaluation doit aider les auteurs à améliorer leur travail (lors d’une éventuelle révision, par exemple) en fournissant des commentaires constructifs et des suggestions claires.

En s’acquittant bien de ce double mandat, l’expert qui accepte d’évaluer un article rend service à la revue et aux auteurs de l’article, mais aussi à sa communauté scientifique de façon plus générale (puisqu’elle lira de meilleurs articles et sera poussée à faire du meilleur travail scientifique pour surpasser ce qui existe déjà).

Un rapport d’évaluation ne sert pas à:

Étaler les connaissances, l’intelligence ou la belle personnalité de l’arbitre
Alimenter un débat sur les domaines d’études qui sont intéressants ou non
Se venger d’un quelconque préjudice personnel ou professionnel, réel ou présumé, causé ou pas par l’un des auteurs de l’article
Etc.

2. S’engager à évaluer un article

Voir la section

Il peut être flatteur de recevoir une demande d’évaluation d’article de la part d’une revue ou d’une conférence prestigieuse dans son domaine de recherche, surtout les premières fois. Parfois, les premières demandes de ce genre proviennent du directeur de thèse, qui délègue ses propres mandats d’évaluation. Dans les deux cas, cela démontre une certaine reconnaissance de l’expertise accumulée au fil des années, ce qui n’est pas désagréable.

Dans le milieu académique, réaliser des mandats d’évaluation fait partie de la vie de la plupart des chercheurs. C’est un privilège, dans la mesure où l’évaluateur a la chance de s’instruire sur de nouvelles idées dans son domaine avant même leur publication, mais c’est surtout une responsabilité. Généralement, il s’agit également d’une tâche non rémunérée. Les chercheurs qui acceptent d’évaluer des articles le font généralement parce qu’ils considèrent qu’ils contribuent à un effort collectif qui est crucial afin de préserver le niveau de qualité général des articles qu’ils lisent et utilisent dans leurs recherches. C’est aussi une manière de redonner à la communauté ce qu’ils reçoivent chaque fois qu’ils soumettent un article dans une revue ou une conférence.

Accepter d’évaluer un article représente donc un certain engagement vis-à-vis de la communauté scientifique en général et des auteurs en particulier. Pour cette raison, au moment de s’engager, il est important de:

S’assurer d’être suffisamment compétent: L’article devrait toucher d’assez près votre propre expertise en recherche, soit en s’intéressant à des problèmes similaires ou en utilisant des méthodes proches de celles que vous connaissez bien. Il n’est pas nécessaire d’être expert sur tous les thèmes abordés par l’article, mais vous devriez vous sentir relativement à l’aise en lisant le résumé et avoir déjà une bonne idée de ce que présentera l’article.
S’assurer d’avoir le temps et respecter les délais: La revue ou la conférence donnent généralement des délais de quelques semaines pour produire le rapport d’évaluation. Par respect pour les auteurs qui souhaitent publier, il est important de respecter ces délais. Bien évaluer un article et rédiger un bon rapport d’évaluation sont des tâches qui peuvent prendre plusieurs heures. Nous avons tous reçu à l’occasion des rapports d’évaluation d’à peine quelques lignes et produits en vitesse. Ce type d’évaluation n’aide personne.
Respecter les règles de confidentialité: L’article que vous avez à évaluer n’a pas encore été publié et constitue un document confidentiel. Vous n’y avez accès que pour les besoins de l’évaluation. Il est donc important de ne pas partager le contenu de l’article avec quiconque et de ne pas utiliser les nouvelles informations que vous y trouverez peut-être à vos propres fins avant que l’article soit publié.
Rester anonyme: Généralement, l’identité des évaluateurs est également une donnée confidentielle à laquelle les auteurs n’ont pas accès. Il est important de préserver cet anonymat afin d’éviter davantage de biais dans votre relation avec les auteurs (que vous connaissez par ailleurs peut-être).
Éviter les conflits d’intérêt: Évitez d’évaluer des articles écrits par des auteurs avec qui vous avez récemment entretenu une collaboration de recherche, une relation employeur-employé ou une relation d’amitié. Cela nuirait à votre crédibilité. Il vaut mieux refuser en déclarant le conflit d’intérêt.

Lorsque vous n’êtes pas en mesure de vous engager à évaluer un article, il convient de donner votre refus poliment et rapidement et, si possible, de suggérer un collègue (à qui vous avez préférablement déjà mentionné la chose) pour vous remplacer.

3. Comment évaluer un article

Voir la section

Évaluer un article est une tâche qui demande du temps et de la réflexion. La première étape consiste bien sûr à lire l’article. À la première lecture, il est utile de prendre quelques notes concernant:

Les idées clés de l’article
Les points qui vous semblent obscurs ou douteux
Les références bibliographiques clés mentionnées dans l’article, particulièrement si vous ne les connaissez pas déjà

Il est fort probable que l’étape suivante du processus consiste à relire l’article attentivement. Lors de cette relecture, continuez de prendre des notes mais soyez plus critique et cherchez à vous informer davantage sur les points qui vous paraissent obscurs; il y a peut-être des lacunes à combler dans votre bagage de connaissances.

Ne vous impatientez pas si le processus vous semble long et laborieux les premières fois que vous évaluez un article. Il deviendra plus facile et un peu plus court lorsque vous prendrez de l’expérience.

Vos lectures et relectures de l’article devraient vous permettre de:

Déterminer si l’article est pertinent pour la revue/conférence

Si l’article s’attaque à un problème important ou nouveau dans le domaine et que l’article s’adresse bien au lectorat de la revue/conférence, l’article est probablement pertinent. Si la revue vous semble mal choisie, pensez à une alternative qui serait préférable.

Évaluer les contributions principales de l’article

Idéalement, les auteurs devraient avoir clairement identifié les contributions de leur travail dans l’article. Sinon, appuyez-vous sur vos connaissances du domaine et sur le contenu de l’article pour l’énoncer plus clairement. Établir l’originalité d’une contribution scientifique nécessite de la comparer à ce qui existe déjà dans la littérature. Cela veut dire qu’il vous faudra peut-être lire d’autres articles (au moins en partie) pour faire votre évaluation. Ces articles peuvent être ou non cités par les auteurs; si vous n’êtes pas tout à fait au courant de ce qui existe sur le sujet, faites vous-même une petite recherche bibliographique. N’oubliez pas de consulter également les publications antérieures des auteurs de l’article pour mieux comprendre l’étendue réelle du progrès réalisé depuis. Il est assez courant de publier dans une revue la version allongée d’un article de conférence, mais l’allongement devrait en principe être de nature à ajouter une certaine valeur à l’original, et la pratique doit aussi être reconnue par les auteurs dans l’article.

Évaluer la complétude de la revue de la littérature

Suite à votre évaluation de l’originalité de l’article, vous aurez rapidement identifié les références bibliographiques importantes sur le sujet qu’il traite. Demandez les questions suivantes:

Ces références sont-elles discutées dans la revue de littérature?
Le contenu de cette discussion est-il à peu près exact?

Évaluer le contenu méthodologique

Pour ce faire, posez les questions suivantes:

Quelles sont les hypothèses (explicites et cachées) sur lesquelles repose le travail des auteurs?
Y a-t-il des cas pratiques importants où vous anticiperiez un échec des méthodes proposées?
Les calculs sont-ils exacts?
Les variables sont-elles toutes définies correctement?
Les résultats sont-ils plausibles compte tenu de ce qui est proposé?
Y a-t-il suffisamment d’informations pour reproduire les résultats?
Comment les divers paramètres ajustables ont-ils été choisis? Est-ce bien justifié?
Ce choix est-il susceptible de fonctionner dans des contextes légèrement différents?

Évaluer la méthodologie expérimentale

Utilisez les questions suivantes:

Les expériences mettent-elles bien en évidence la contribution annoncée par les auteurs?
Les résultats sont-ils quantitatifs ou qualitatifs? Sont-ils convaincants?
Les conditions expérimentales correspondent-elles aux hypothèses posées explicitement par les auteurs?
Sont-elles trop faciles?
Aurait-il fallu faire davantage d’expériences? Les mesures indépendantes, si elles sont nécessaires, ont-elles été prises avec suffisamment de justesse et de précision?
Les conditions expérimentales sont-elles reproductibles?

Évaluer l’analyse des résultats

Pour cette tâche, demandez les questions suivantes:

Les résultats sont-ils accompagnés d’une interprétation suffisamment détaillée?
S’il y a des résultats qui semblent à priori surprenants ou très différents des autres, ont-ils été expliqués?
Y a-t-il suffisamment de détails concernant l’analyse statistique des résultats (par exemple les noms et paramètres des tests statistiques utilisés) et si oui, a-t-elle été faite correctement?
Les auteurs comparent-ils leurs résultats à ceux d’autres auteurs (préférablement à l’état de l’art)?
Si oui, la comparaison est-elle juste et est-elle basée sur des critères valables et/ou couramment utilisés dans la littérature?

Évaluer la qualité de la rédaction

Les questions suivantes peuvent faciliter l’évaluation de la qualité:

L’article est-il relativement facile à lire (pour un article scientifique)?
Y a-t-il des idées importantes qui ne sont pas exprimées suffisamment clairement?
Les idées sont-elles présentées dans le bon ordre?
Le résumé est-il bien représentatif du contenu de l’article?
Y a-t-il des problèmes majeurs au niveau de la langue?
Y a-t-il des passages superflus?
Les dessins et graphiques sont-ils bien lisibles et aident-ils vraiment le lecteur à comprendre l’article?
Manque-t-il des figures qui aideraient à la compréhension?

Réfléchissez à chacun de ces critères d’évaluation et prenez des notes. Il peut être utile de prendre une pause après la première lecture et/ou avant de rédiger le rapport d’évaluation. Cela donne un certain recul et permet parfois de déceler des subtilités (souvent importantes) qui échapperaient autrement à l’attention.

4. Comment rédiger un rapport d’évaluation

Voir la section

La plupart des conférences et revues utilisent maintenant des formulaires électroniques pour la gestion des rapports d’évaluation. Le niveau de structure des informations demandées varie beaucoup d’une revue/conférence à l’autre. La plupart du temps, le formulaire comprend une partie qui sera visible par les auteurs de l’article (et le rédacteur en chef) et une partie réservée au rédacteur en chef uniquement. La plus grosse partie du rapport d’évaluation doit aller dans la partie du formulaire qui sera visible par les auteurs.

4.1. Résumé factuel

Un rapport d’évaluation complet commence par un résumé factuel de l’article. Ce résumé doit décrire brièvement et de façon plutôt neutre le contenu de l’article: la problématique traitée, les contributions principales de l’article (selon les auteurs), les méthodes employées, les résultats obtenus et les conclusions qui en sont tirées. Le résumé factuel sert à:

Donner un autre point de vue au rédacteur en chef, qui n’a peut-être eu que le temps de lire le résumé proposé par les auteurs
Montrer aux auteurs que vous avez bien compris leur article et les contributions qu’il prétend faire (si ce n’est pas le cas, les auteurs ont peut-être des modifications à faire pour clarifier l’article)

4.2. Résumé critique

Après le résumé factuel, il est important de donner aussi un résumé critique de l’article, qui servira à guider la décision du rédacteur en chef. C’est le moment de souligner d’abord les points forts de l’article (il y en a presque toujours), par exemple:

L’article aborde un problème particulièrement difficile, nouveau et/ou important
L’article propose des méthodes particulièrement originales
L’article expose des résultats intéressants, surprenants ou pleins d’implications pratiques
L’article décrit une expérimentation et/ou une analyse des résultats rigoureuse
L’article est écrit de façon très claire
L’article propose une revue de la littérature très complète et utile
Etc.

Le résumé critique identifie ensuite, de façon globale, les points faibles de l’article (il y en a presque toujours). Par exemple:

L’article aborde un problème qui n’est plus d’actualité
L’article propose des méthodes qui n’offrent qu’un léger incrément par rapport à ce qui existe déjà
Les résultats présentés dans l’article ne sont pas très convaincants
Il y a des erreurs ou des manques dans les méthodes proposées, les expérimentations ou l’analyse des résultats
L’article est difficile à lire ou mal structuré
L’article ne réfère pas suffisamment à l’état de l’art
Etc.

4.3. Liste détaillée de commentaires

Dans un bon rapport d’évaluation, on trouve typiquement, après le résumé critique, une liste numérotée et détaillée des points les plus problématiques. Cette liste est particulièrement importante lorsque l’article semble contenir suffisamment de bonnes idées pour une publication éventuelle mais nécessiterait des révisions substantielles. Cette liste devrait identifier clairement et détailler chaque point problématique, c’est-à-dire:

Référer au numéro de page, de section ou de figure où le problème se présente, lorsque c’est possible
Identifier le problème et expliquer pourquoi c’est un problème
Poser des questions précises si l’article n’était pas suffisamment clair
Suggérer des correctifs lorsque c’est possible

Lorsque l’on adresse des critiques aux auteurs de l’article, il est important de rester constructif et poli, et de rester aussi anonyme que possible. L’évaluateur devrait presque se sentir à l’aise de défendre son opinion en personne.

Si l’article semble presque prêt à être publié, on peut aussi inclure une liste de problèmes mineurs, incluant par exemple des erreurs typographiques (rien ne sert d’être trop zélé) ou des problèmes avec les couleurs des graphiques.

4.4. Recommandation finale

La partie du formulaire d’évaluation qui sera cachée aux auteurs est l’endroit où donner sa recommandation finale au rédacteur en chef, et la justifier brièvement (en général, le reste du rapport d’évaluation devrait être bien suffisant). C’est aussi l’endroit où on peut indiquer son niveau de confiance quant à l’évaluation. Par exemple, il peut être judicieux d’indiquer qu’un des sujets touchés par l’article est plus loin de votre expertise, ou bien que vous n’avez pas scrupuleusement vérifié chacune des équations ou preuves mathématiques données en annexe. On peut aussi se servir de cette section du formulaire pour rappeler d’éventuels conflits d’intérêt ou signaler un cas de fraude ou de plagiat.

En cas de plagiat, des vérifications rigoureuses s’imposent: c’est une accusation sérieuse qui peut nuire à la réputation de l’auteur. Il vaut donc mieux s’assurer que l’accusation est fondée (i.e. il s’agit bien de plagiat) et fournir au rédacteur en chef toutes les preuves à l’appui, en identifiant clairement les documents qui ont été plagiés (références bibliographiques à l’appui) et, de façon plus précise, les passages qui ont été copiés et les endroits où ils apparaissent dans l’article à évaluer. Là s’arrête strictement le rôle de l’arbitre. L’équipe de rédaction se chargera d’appliquer la politique de la revue face au plagiat.