Classification des revues scientifiques

Le classement des revues scientifiques réfère à l'évaluation et la hiérarchisation des revues scientifiques selon différents critères tels l'existence et la constitution d'un comité de lecture, le nombre de citations par d'autres chercheurs du domaine des articles publiés, le prestige des auteurs et de la publication, etc.

Couverture de la revue Nature, l'une des revues scientifiques les plus prestigieuses de notre époque.

Dans plusieurs pays, l'évaluation et le classement des revues scientifiques est utilisé comme outil d'évaluation des différents acteurs de la recherche scientifique de sorte que de nos jours, il est fréquent de voir les institutions de recherche exiger d'un chercheur qu'il soit cité dans des revues à fort facteur d'impact[1],[2],[3]. Ainsi, la publication d'articles dans des revues prestigieuses influence l'avancement professionnel du chercheur et peut augmenter ses chances d'obtenir des subventions pour lui-même, son équipe et ses projets de recherches[4].

L'évaluation et le classement des périodiques scientifiques suscite certaines interrogations liées aux modalités de sa mise en œuvre et de son utilisation comme outil d'évaluation de la recherche, et plus particulièrement celle des chercheurs[1],[5].

Historique
Montage de la page couverture et des deux premières pages de la première édition du Journal des savants (1665).
L'une des revues scientifiques les plus prestigieuses de notre époque, Science, a été publiée pour la première fois en 1880.

Dès le XVIIe siècle, la communauté scientifique s'organise avec les sociétés savantes et le développement des réseaux de correspondance européens. En 1665 paraissent les premières revues scientifiques à Londres et à Paris (Journal des savants) qui serviront de modèle aux futurs revues scientifiques[6]. La Royal Society de Londres limitait le contenu de sa propre revue, le Philosophical Transactions, spécifiquement aux domaines scientifiques. Cette dernière produisait des comptes rendus des ouvrages récents et, surtout, ne publiait que des articles évalués au préalable par un membre de la Royal Society, avec une distinction des revues et des publications par co-optation (revue à comité de lecture selon ce que rapporte l'AERES)[7],[8],[9].

Le nombre de revues, et en particulier de revues scientifiques, progresse considérablement au cours des XIXe et XXe siècles, en raison notamment d'une multiplication des domaines de compétence et de spécialisation. Entre 1926 et 1935 s'effectuent les premiers travaux de bibliométrie par Alfred Lotka, Samuel Bradford et George Kingsley Zipf. Vers 1950, Derek John de Solla Price établi les fondements de la discipline en mettant en avant l'utilisation des articles scientifiques comme indicateurs quantitatifs de la recherche scientifique[10]. En 1954, il crée la scientométrie et durant la même décennie, Eugene Garfield développe l'idée d'utiliser les citations présentes dans les articles scientifiques qui renvoient à d'autres articles pour les lier entre eux[10],[11],[12]. L'Institute for Scientific Information (ISI) est créé en 1960 par Garfield et en 1963, l'ISI met en place le Science Citation Index (SCI). Dès 1970 apparaît la préoccupation d'une normalisation des indicateurs d'impacts par champ d'étude. En 1975, l'ISI met en place le Journal Citation Reports (JCR) qui donne une mesure de l'impact des articles et des revues référencés par le Web of Science. En 2004, l'éditeur Elsevier lance la base de données bibliographiques Scopus, qui utilise des algorithmes similaires au PageRank de Google afin de rendre compte du prestige des revues scientifiques (SRJ indicator)[réf. nécessaire].

Au début des années 1990, Paul Ginsparg met en évidence le potentiel technique et économique offert par la publication numérique, remettant en cause les modèles éditoriaux dominants[13]. En 1992, l'ISI est acquis par Thomson Scientific & Healthcare et est renommé Thomson ISI.

En 2000, la mise en place de politiques européennes visant à définir les modalités d'évaluation des publications scientifiques pour une indexation des ouvrages traitant des sciences humaines et sociales est effectuée par l'European Index For The Humanities (ERIH). L'année 2004 correspond à l'année de lancement de Scopus, une base de données bibliométrique comparable à celle de l'ISI. La même année, Google Scholar apparaît sur Internet. Peu de temps après, l'outil bibliométrique Publish or Perish[note 1] est créé. Il permet de calculer certains indicateurs destinés à l'évaluation des chercheurs et des revues ou revues scientifiques[14]. En 2009 a lieu le lancement de la Public Library of Science (PLoS), une base d'indexation de plusieurs articles de revues en libre accès et qui propose plusieurs indicateurs alternatifs pour évaluer les acteurs de la recherche scientifique et notamment les revues[15].

En 2005, Jorge Hirsch propose l'indice H comme indicateur composite de la production scientifique et de la visibilité des chercheurs. En 2007, l'ESF met en place un classement des revues dans le domaine des sciences humaines (ERIH) en fonction de leur importance perçue. À la suite de la fusion avec Reuters en 2008, la compagnie Thomson ISI fait maintenant partie de la Thomson Reuters Corporation. En 2009, PLoS propose plusieurs indicateurs alternatifs pour tous ses articles, permettant ainsi d'évaluer les acteurs de la recherche scientifique et notamment les revues à partir des publications en accès libre[16],[17].

Description générale

L'évaluation et la classification des revues scientifiques est possible en premier lieu grâce aux outils de la bibliométrie. Elle a comme objectif de rendre compte de la distinction, de l'impact ou de l'influence de ces différents périodiques scientifiques au sein de leur domaines d'étude respectifs tant en recherche et développement que dans un contexte académique et pédagogique[18],[19]. Les systèmes d'évaluation des périodiques scientifiques devraient également permettre de mesurer le prestige ou la notoriété qui leur sont attribués et ainsi refléter la difficulté de publier dans ceux-ci[19]. La plupart de ces systèmes de classification sont basés sur une fréquence et un nombre de citations différentiel, mais de nombreux autres critères peuvent être pris en compte, d'où le nombre important de classements et d'indicateurs bibliométriques différents[20],[21].

Trois principales bases d'indexation permettent de faire le suivi du nombre de citations par revues, mais aussi par articles et par auteurs. Ces bases sont Web of Science, Scopus et Google Scholar[22],[15]. Ensuite, le suivi des citations permet la production d'indicateurs variés mettant en évidence les revues scientifiques les plus influents dans un domaine de la recherche en particulier, mais également les plus populaires et encore les plus prestigieux. Le facteur d'impact est l'outil le mieux connu et le plus utilisé pour l'évaluation et la classification des revues scientifiques et il est présenté dans un classement annuel des périodiques scientifiques, le Journal Citation Report de l'ISI[23]. Certains indicateurs d'impact des revues comme le SJR du SCImago Journal Rank et le Eigenfactor sont issues d'un algorithme emprunté au PageRank de Google.

Tout calcul d'indicateurs bibliométriques basé sur la citation différentielle et visant à l'évaluation des revues scientifiques nécessite des choix méthodologiques. Premièrement, il faut établir un cadre temporel de calcul soit, la longueur de la période où l'on dénombre les citations après la publication du journal ou de la revue. Cette dernière comprend certains compromis inévitables entre l'utilisation d'une période plus importante notamment pour les disciplines lentes (humaines et sociales) et la nécessité d'une période plus courte pour les disciplines plus rapides comme les (biomédicales). À titre d'exemple, il existe le facteur d'impact sur deux ans et celui calculé pour une période de 5 ans[24],[25]. Ensuite, une normalisation des indicateurs dérivés par disciplines ou encore par domaines de la recherche est souvent nécessaire pour la production d'indicateurs significatifs qui pourront être utilisés afin d'évaluer et classer les revues scientifiques en fonction de leur influence sur la recherche[26].

Il existe d'autres mesures ou indicateurs alternatifs (Altmetrics (en)[note 2]) qui se développent à partir de l'usage qui est fait des articles contenus dans les différents revues et ce, même en dehors du réseau scientifique traditionnel via les réseaux sociaux. Cette notion d'usage diffère de celle de l'impact et la pertinence de ces mesures alternatives varie selon les domaines de la recherche. En effet, pour certains de ces indicateurs alternatifs, s'est le nombre de citations émises qui est suivi plutôt que celui des citations reçues, ce dernier étant utilisé pour calculer le facteur d'impact du Web of Science. Les notions de reconnaissance et du prestige émergent également dans les mesures alternatives d'évaluation des revues scientifiques[28],[29],[30].

Bases bibliométriques

Les bases bibliométriques permettent l'indexation et le suivi du nombre et de la fréquence de citation des articles des différentes revues scientifiques. Les trois principales en ordre croissant d'ancienneté sont Web of Science, Scopus et Google Scholar[15].

Le Web of Science (WoS) est une base de données documentaires internationales au contenu multidisciplinaire produite par l'ISI de la Thomson Reuters Corporation[31]. Il comprend à lui seul trois bases d'indexation des citations pour les sciences fondamentales, sociales, humaines et les arts. Celles-ci correspondent respectivement au Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et au Arts and Humanities Citation Index (A&HCI)[32]. En 2016, WoS indexe ainsi environ 12 000 revues publiées de 1900 jusqu'à nos jours[33],[34],[35]. Le facteur d'impact est l'indicateur qui lui est associé et présenté annuellement dans le Journal Citation Reports.

Lancé par Reed Elsevier en 2004, Scopus est le principal concurrent du WoS. Cette rivalité soulève des questions de comparabilité des classements bibliométriques obtenus pour chacune. En effet, plusieurs recherches ont été effectuées pour comparer leur efficacité, principalement en utilisant l'indice H ou les citations dans les revues communément indexées dans les deux bases. Celles-ci ne sont toujours pas concluantes, ne montrant aucune différence dans le calcul des indicateurs bibliométriques basées sur une citation différentielle et les classements des revues qu'ils permettent de formés[36],[37],[22]. En 2016, Scopus référence environ 16 500 revues scientifiques (y compris plus d'un millier en accès libre), 600 publications industrielles, 350 collections d'ouvrages, ainsi que plusieurs millions d'actes de conférences[22]. Pour la moitié des articles référencés, le suivi des citations remonte seulement à 1996. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des sciences humaines et sociales et un nombre plus important de revues non anglophones[37]. Les principaux indicateurs bibliométriques qui lui sont associés sont le Journal Rank Indicator et l'Eigenfactor, qui sont présentés dans deux classements des différents revues de la base, soit le SCImago Journal Rank et celui du site Eigenfactor.org. Cette base d'indexation présente également le Source Normalized Per Paper (SNIP) et l'Impact Per Publication (IPP), qui sont deux facteurs d'impact normalisés[26].

Toujours en 2004, Google lance la base et le site Google Scholar. En 2016, cette base bibliométrique totalement gratuite est la plus importante en terme du nombre d'articles publiés et de revues cités[réf. souhaitée]. Les principaux indicateurs bibliométriques associés à cette base d'indexation sont les indices H et G (en) (Egghe)[26].

Autre que les trois principales bases déjà mentionnées, notons d'autres bases telles Medline, le Sociological Abstracts, CiteSeerX, le Stanford Physics Information Retrieval System pour la physique et Francis. Bien qu'elles soient moins importantes en termes d'archivage et pertinence des indicateurs bibliométriques qu'elles fournissent pour l'évaluation de la recherche, elles contiennent des informations qui sont plutôt utilisées pour retracer des articles et cela en fait plus des outils bibliographiques que bibliométriques[note 3].

Indicateurs bibliométriques et autres outils d'évaluation

Facteur d'impact
Distribution des citations pour PLoS One et Nature et leur facteur d'impact pour l'année 2015

Le facteur d'impact (FI) est mis à jour chaque année dans le Journal Citation Reports pour tous les titres de revues et des colloques indexés dans les bases de données du WoS de l'ISI. Il est utilisé pour comparer différentes revues dans un même domaine, se basant sur le volume de citation qu'elles reçoivent en un temps donné. En 2016, l'index de l'ISI recense environ 11 000 revues scientifiques[38]. Le facteur d'impact a bénéficié d'un relatif monopole dans l'usage des mesures de la science avant qu'une prolifération d'indicateurs alternatifs ne fassent leur apparition au tournant des années 2000[23].

Pour une revue scientifique, le facteur d'impact sur deux ans correspond par exemple, pour l'année 2015, au nombre total de citations obtenu pour tous ses articles publiés entre 2013 et 2014, divisé par le nombre d'articles publiés durant cette même période. Par exemple, si une revue reçoit 201 citations et que le nombre d'articles publiés pour cette période visée est de 40, son facteur d'impact pour 2015 sera de 201/40 = 5,025. Une telle valeur signifie donc que les articles de recherche publiés par cette revue dans les deux années précédentes ont été cités en moyenne 5,025 fois. Les deux périodiques scientifiques considérées comme les plus prestigieuses sont Nature et Science. Chaque année, elles ont toutes deux des facteurs d'impact d'environ 30.

Cet indicateur bibliométrique est largement utilisé sur le plan international pour l'évaluation et le classement des périodiques scientifiques et il est largement critiqué tant en ce qui a trait à sa mise en œuvre que son utilisation[39].

Tout d'abord, il est généralement mesuré sur une période de citation de deux ans, trop courte et non significative pour la recherche de pointe où l'importance d'un article peut ne devenir apparente qu'après plusieurs années[40]. Ensuite, les articles dits classiques sont cités fréquemment, même après plusieurs décennies. En effet, pour certaines revues, le temps entre la soumission de l'article et sa publication peut prendre plus de deux ans. Ainsi, seules les citations d'articles de moins de 3 ans avant la publication et de moins de 1 an avant la rédaction sont prises en compte et ainsi, pour ces périodiques, un facteur d'impact sur 5 ans est alors plus pertinent[41]. De plus, cet indicateur bibliométrique ne prend pas en considération le fait qu'il existe des différences entre les revues en termes de périodicité et de nombre d'articles par numéro. Il ne tient également pas compte des citations reçues par des revues non indexées par le WoS et de l'impact des informations scientifiques nouvelles diffusées par l'entremise de cours, conférences ou autres types de formations[42][réf. à confirmer]. Ensuite, il existe certaines lacunes propres aux bases d'indexation elles-mêmes (les bases du WoS) telles que la prédominance des revues en anglais au détriment des revues publiées en d'autres langues. Aussi, le facteur d'impact pourrait mener à une uniformisation de la recherche et les listes de classement des revues basés sur le FI et sur les résultats d'une enquête d'expert auraient une corrélation modérée[20]. Ensuite, le facteur d'impact augmente avec le prestige de la revue, qui peut être artificiellement gonflé par une politique éditoriale adéquate et ses moyens en termes de publicité. Cependant, il confond des mesures de popularité, de prestige et d'impact réelles[43],[44],[45]. Aussi, les revues qui publient des articles de synthèse auront un FI plus élevé alors que les revues qui décident de ne pas publier de tels articles ont moins de chance d'être cités ce qui diminueraient leur nombre moyen de citation par article[45]. Les revues peuvent également publier une plus grande proportion de leurs articles ou surtout les articles pour lesquels ils s'attendent à un nombre élevé de citations dans le début de l'année. Cela donne plus de temps à la revue pour récolter les citations.

Ainsi, le facteur d'impact est manipulable[46],[47]. À titre d'exemple, en 2008, un article du Acta Crystallographica comprenait la phrase : « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d'un cristal[trad 1]. » À la suite de cela, l'article reçu plus de 6 600 citations et son facteur d'impact augmenta de 2,051 à 49,926 entre 2008 et 2009, soit plus que Nature (31,434) et Science (28,103)[48],[49]. Ensuite, la politique de certains éditeurs force les chercheurs à ajouter des auto-citations de leurs revues pour l'acceptation de publication de leurs articles, ce qui permet d'augmenter le facteur d'impact. Cette pratique est plus fréquente dans le monde du commerce et pour les revues avec un faible facteur d'impact[50],[51].

Facteurs d'impact normalisés

Développés en réponse à une diversité des disciplines scientifiques de plus en plus importante, la normalisation des indicateurs d'impact par domaines de la recherche constitue une préoccupation depuis les premiers indicateurs de citation, dans les années 1970, par exemple chez Murugesan et Moravcsik[52]. Elle a comme objectif de rendre plus facile la comparaison entre indicateurs de citations des revues pour des domaines différents de la recherche. Elle rend également une telle comparaison plus significative[26]. La principale technique consiste à normaliser les indicateurs en utilisant des méthodes cardinales ou ordinales (percentiles) qui sont définies par disciplines[53],[54]. Certains auteurs ont suggéré une pondération des citations sans l'introduction de chaînes d'influence (voir Eigenfactor), ce qui a abouti a un facteur d'impact pondéré : le facteur d'audience[55],[56]. Le Source Normalized Impact per Paper (SNIP), utilisé par Scopus, normalise le nombre de citations selon la discipline. Dans cet ordre d'idées, une citation en mathématiques aura une plus grande valeur dans le calcul du SNIP qu'une citation en médecine puisque le nombre moyen de citations obtenues pour cette dernière est supérieure a celui de la précédente. Ce dernier indicateur d'impact, tout comme le facteur d'audience, est indépendante de la multitude disciplinaire[57],[26].

Eigenfactor score

Développé par Carl Bergstrom (en) dans le cadre d'un projet académique de l'université de Washington, l'Eigenfactor est similaire au facteur d'impact, mais calculé à partir du nombre total de citations dans une revue sur une période de 5 ans. Il est ainsi plus adéquat pour les sciences humaines et les sciences sociales, dont les articles prennent souvent plus de temps avant d'être publiés et cités[58],[59],[60]. Il est le résultat d'une certaine normalisation en utilisant pour son calcul les citations émises plutôt que les citations reçues[Quoi ?]. Cette normalisation est mélangée, dans ce cas, aux pondérations en chaîne des revues émettrices en fonction de leur propre visibilité[style à revoir][59],[26].

Article Influence score

Calculé en divisant l'Eigenfactor Score par le pourcentage d'articles enregistrés dans le rapport de citation d'une revue particulière, l'Article Influence score représente une mesure moyenne de l'influence d'une revue par son contenu en articles[61].

SJR

Calculé à partir de la base de données de Scopus, l'indicateur SJR est un outil d'évaluation des revues scientifiques gratuit fournissant une alternative au FI de l'ISI[62],[63]. En effet, calculé pour une période de citation de 3 ans, cet indicateur diffère du FI surtout du fait qu'il attribue un poids différent aux revues selon leur prestige estimé avec l'application d'algorithmes similaires au PageRank de Google pour des revues en ligne. En effet, il normalise le nombre de citations selon la discipline et pondère les mesures de citations en fonction du prestige des revues qui peuvent être classées par pays, par domaine et même par spécialisation scientifique. Cet indicateur a été développé pour être utile et efficace dans les réseaux de citations fortement hétérogènes[63],[26].

Sondage auprès d'expert (Expert survey)

Représente un pointage définissant une mesure de la qualité et la contribution générale d'une revue. Son calcul est basé sur les résultats d'un sondage mené auprès de chercheurs, de praticiens et d'étudiants actifs (c'est-à-dire des contributeurs et lecteurs de revues) qui classent chaque revue selon des critères précis. Utilisé de façon complémentaire avec certains indicateurs d'impact base sur la citation, il serait un moyen efficace d'évaluer les revues scientifiques[20].

Altmetrics

Permet d'évaluer les différentes revues scientifiques et un classement basé sur les références savantes ajoutées aux sites de médias sociaux universitaires[21].

Source normalized impact per paper

Facteur d'impact normalisé, lancé par Elsevier en 2012 sur la base de Scopus[64]. La mesure est calculée comme suit; SNIP = RIP / (R / M), où RIP = impact brut par papier, R = potentiel de citation et M = potentiel médian de citation de base de données[57].

L'algorithme PageRank

Algorithme de Google développé en 1976[réf. souhaitée] et maintenant utilisé comme outil bibliométrique et plus particulièrement comme facteur d'impact récursif donnant plus d'importance aux citations émises par des revues au facteur d'impact élevé qu'a celles émises par les revues à faible impact. Aussi, il utilise une approche particulière pour laquelle les revues obtiennent un pointage plus élevé lorsqu'elles sont souvent citées, mais citent rarement d'autres revues. Plusieurs chercheurs ont proposé des approches connexes.

En 2006, Johan Bollen, Marko A. Rodriguez et Herbert Van de Sompel proposent de remplacer les facteurs d'impact par l'algorithme PageRank. Le Eigenfactor de Scopus est également un autre indicateur s'appuyant sur l'algorithme de type PageRank[65],[66], [67],[68],[69],[59],[70].

Limites des indicateurs basés sur la citation

Bien que les méthodes bibliométriques soient très utiles dans les mesures de diffusion de connaissances, cela diffère selon les domaines. Ainsi, par exemple, si elles sont très efficace pour les sciences naturelles, elles le sont bien moins dans d'autres domaines telles les sciences appliquées en raison des différences structurelles dans la production et la diffusion du savoir des divers champs de la science. En plus, certains problèmes affectent la validité de l'évaluation bibliométrique, dont[réf. souhaitée] :

  1. L'exclusion de certains types de documents.
  2. Classement par disciplines.
  3. Changement des titres de revues.
  4. Le nombre et la répartition de travail des auteurs.
  5. Citations abusives et erreurs de citation.

Ces facteurs réduisent la fiabilité de l'information et l'utilité des recherches bibliométriques. La langue aussi peut atténuer l'efficacité de méthodes bibliométriques, comme la publication d'articles dans les revues internationales est favorisée à celles à l'échelle nationale, la grande majorité des articles sont retrouvés en anglais. Même si l'information reste la même, son influence diffère selon le degré de maîtrise de la langue[41].

Comité de lecture

La relecture des articles à paraître est essentielle. Elle écarte les productions peu originales, contenant des erreurs ou à faible contenu. Elle élimine donc un certain bruit et permet au lecteur de s'appuyer sur le contenu d'un article, même s'il n'a pas l'expertise pour en vérifier tous les points et dans tous les cas, cela lui fait gagner du temps. L'existence d'un comité de lecture constitué d'experts du domaine joue un rôle prépondérant lors de la classification d'une publication scientifique. Désigné par les éditeurs, il vient remplir la tâche de révision de l'article. Il permet de confronter des avis et des points de vue différents sur les articles et de limiter les risques d'erreurs avant leur publication. Idéalement, il est constitué de membres qui ont une certaine notoriété dans le domaine et qui proviennent d'horizons différents[71].

L'évaluation par les pairs (peer review en anglais) désigne la validation d'un article par un groupe de scientifiques qui sont experts dans le même champ disciplinaire que le contenu de l'article et faisant généralement partie de l'entourage professionnel de l'auteur. Le but premier de la révision par les pairs est la sélection des meilleurs articles et l'amélioration de ceux déjà publiés[72]. La révision par les pairs contribue également à la distinction des meilleurs articles par rapport à ceux marqués par des lacunes de structure ou de contenu.

Notons cependant que le processus de révision par les pairs n'est pas parfait et peut même être parfois manipulé, devenant dans certains cas peu fiable à la filtration des articles et revues de qualité[73].

Prestige
Deux cycles favorisant un prestige plus important des revues scientifiques : un vertueux et l'autre à l'aspect plus frauduleux.

Pour les revues scientifiques, le prestige s'acquiert avec le temps et dépend en partie de la confiance qu'ont les différents acteurs de la recherche scientifique envers eux. Chaque discipline scientifique a ses revues dominantes qui reçoivent le plus de soumissions et qui sont donc plus sélectives. Ainsi, le prestige reflète également la difficulté de publier dans certains revues[74].

Au niveau des sciences de la nature et des sciences sociales, le facteur d'impact, le nombre total de citations, la rapidité à laquelle les articles sont cités et la demi-vie moyenne des articles sont tous des facteurs quantitatifs utilisés pour évaluer le prestige des revues et sur la base de ce facteur facteur d'impact, les revues des sciences de la nature sont classés dans le SCI et ceux des sciences sociales dans le SSCI. En sciences humaines, ce n'est qu'en 2007 que les différents revues se voient attribuer un facteur d'impact résultant de la publication d'un classement par l'ESF[75]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement de l'ESF fut établi par plusieurs experts et classait les revues en trois catégories en fonction de leur importance perçue (A, B et C). Cependant, devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres pour les remplacer par des descriptions écrites[76],[77],[3],[78],[79],[80].

Notons que l'apparition d'autres mesures de notoriété des revues (mesures d'influence, facteur d'audience/ SNIP), même lorsqu'elles demeurent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour être prises en compte[81],[82].

Classements nationaux

Il existe plusieurs classements nationaux des revues scientifiques et ceux-ci mettent en évidence le fait que la classification des revues scientifiques représente un outil d'évaluation des différents acteurs de la recherche et ce, dans plusieurs pays. Voici quelques exemples de classements nationaux des revues scientifiques :

  • ERA (en) Australia journal lists[83] ;
  • Qualis (CAPES) (en) ;
  • Autoritetslister for serier og forlag (Danemark)[84] ;
  • Norwegian Scientific Index de CRIStin (en)[85] ;
  • The Chartered Association of Business Schools Academic Journal Guide[86] ;
  • Liste HEC (en) (Pakistan)[87] ;
  • Indian National Academy of Agricultural Sciences (en)[88].

En France le classement des revues est assuré, pour différents groupes de disciplines, par des associations ou fondations (exemple : classement de la Fondation nationale pour l'enseignement de la gestion des entreprises[89]) ou par des organismes chargés de l'évaluation ou du recrutement dans l'enseignement supérieur et la recherche (évaluation et classement des revues de sciences humaines par l'Agence d'évaluation de la recherche et de l'enseignement supérieur[90], catégorisation des revues en économie et gestion par la section 37 du Comité national de la recherche scientifique[91], classement des revues en chirurgie thoracique et cardiovasculaire par la sous-section 51-03 du Conseil national des universités[92], etc.).

Critiques

Yves Gingras, directeur de l'Observatoire des sciences et technologies de l'Université du Québec à Montréal, note une problématique liée au Science Citation Index et à une mauvaise utilisation et interprétation de son facteur d'impact. Le chercheur note ainsi un détournement de l'indicateur par des stratégies telles l'augmentation du nombre de recensions ou encore l'incitation des chercheurs à citer d'autres articles du journal où ils publient[93]. Ainsi, par exemple, les bases d'indexation du WoS repèrent parfois des cas de manipulation flagrante et exclut les revues concernés de sa liste[94],[95].

Ensuite, bien que la publication d'un article dans une revue à haut facteur d'impact ne garantisse pas les citations, elle constitue un critère d'évaluation de la productivité et impose aux chercheurs une importante pression de publication[96]. Le risque est ici que les chercheurs se préoccupent plus d'augmenter leur nombre de publications selon le principe « publier ou périr » que de réaliser des travaux scientifiquement intéressants. En effet, pour les chercheurs, le nombre de publications est maintenant un déterminant majeur de leur carrière, des possibilités de promotions, de leur salaire, voire la continuité de leur emploi[97].

Certaines dérives dues au désir d'augmenter le nombre de publications risque de nuire à l'avancement de la science. Elles comprennent entre autres le psittacisme, le saucissonnage et l'auto-citation frauduleuse. Le psittacisme correspond au concept pour lequel le chercheur publie la même idée dans plusieurs articles en profitant du fait que les comités de lecture des différents éditeurs n'ont pas lus ses travaux antérieurs. Pour ce qui est du saucissonnage (salami effect), il exprime la situation où une même idée est découpée en plusieurs parties, chacune publiées séparément alors que l'auto-citation frauduleuse correspond à l'action d'un chercheur de citer une revue sous l'incitation de son éditeur afin d'y être publié.

Cette culture favorisant la production au détriment de la qualité pourrait être l'une des causes à la crise de la reproductibilité des résultats figurant dans les différentes publications scientifiques[98]. En effet, bien que le lien de causalité entre la pression de publication et les erreurs scientifiques (involontaires ou frauduleuses) ne puisse être démontré, il a été constaté que le nombre de rétractions a augmenté de façon importante dans les dernières années[99],[100],[101],[102],[103],[104],[105].

Une autre problématique est en lien avec la variation du nombre de citations selon la source des données utilisée, ce nombre étant directement lié à la couverture de la base de données bibliographiques qui compile les citations. Chacune des sources a ses forces et ses limites. Ainsi, une même publication scientifique peut avoir deux indicateurs d'impacts différents selon la base de données utilisée. De plus, au niveau de l'évaluation individuelle, le fait qu'un même chercheur puisse recevoir des mesures d'impact différentes selon les indicateurs et les bases de données bibliographiques utilisés pose de nombreux problèmes quant à leur utilisation en tant que système d'évaluation de la qualité[96]. Les indicateurs quantitatifs peuvent être affectés par des biais culturels du fait que les chercheurs d'une culture citent habituellement des chercheurs d'une même culture[106].

Notes et références

Notes
  1. (en) « This paper could serve as a general literature citation when one or more of the open-source SHELX programs (and the Bruker AXS version SHELXTL) are employed in the course of a crystal-structure determination. »
  1. Une référence à l'expression « publier ou périr ».
  2. Le « alt » est le diminutif d'« alternative »[27].
  3. Pour une liste plus complète recensant ces bases de données, consulter la catégorie Catégorie:Base de données bibliographiques.

Références
  1. Latour, B et Woolgar, S, « La vie de laboratoire. La production des faits scientifiques », Paris : La découverte,‎
  2. Andersen Marchman, M, Landres, X et Ebbe Juul Nielsen, M, « Les chercheurs sont prisonniers d'une course à la publication », Le Monde,‎ (lire en ligne, consulté le )
  3. (en) David Pontille et Didier Torny, « The controversial policies of journal ratings: Evaluating social sciences and humanities », Research Evaluation, vol. 19, no 5,‎ , p. 347 (DOI 10.3152/095820210X12809191250889)
  4. Corniou, M, « Science et fraude: une pression de plus en plus fort », Québec science,‎
  5. Salima, K, « Les indicateurs de recherche entre référentiels internationaux et context national »,
  6. Jacques Hillairet, Dictionnaire historique des rues de Paris
  7. Kronick, D, A History of Scientific and Technical Periodicals : the Origins and Development of the Scientific and Technological Press, Metuchen, NJ, Scarecrow Press,
  8. (en) H. Oldenburg, « Epistle Dedicatory », Philosophical Transactions of the Royal Society of London, vol. 1,‎ , p. 0 (DOI 10.1098/rstl.1665.0001)
  9. (en) David Banks, « The use of modality in the early academic article. The Journal des Sçavans and the Philosophical Transactions, 1665‐1700 », UCM (consulté le )
  10. Xavier Polanco, « Aux sources de la scientométrie », sur biblio-fr.info.unicaen.fr
  11. (en) Derek J. de Solla Price, Little Science, Big Science, New York, Columbia University Press,
  12. (en) Garfield, E, « Citation indexes for sciences: a new dimension in documentation through association of ideas », Science, vol. 122,‎
  13. Chanier, T, « Archives ouvertes et publication scientifique : Comment metre en place l'accès libre aux résultats de la recherche », l'Harmattan,‎
  14. (en)http://www.harzing.com/resources/publish-or-perish
  15. (en) Bakkalbasi et al., « Three options for citation tracking: Google Scholar, Scopus and Web of Science », Biomedical Digital Libraries, vol. 4,‎
  16. (en) Martin Fenner, « Public Library of Science (PLOS) », sur Lagotto
  17. (en) Heather Piwowar, « Altmetrics: Value all research products », Nature, vol. 493, no 159,‎ (DOI 10.1038/493159a)
  18. Lowry, Paul Benjamin; Moody, Gregory D.; Gaskin, James; Galletta, Dennis F.; Humpherys, Sean; Barlow, Jordan B.; and Wilson, David W. (2013). Evaluating journal quality and the Association for Information Systems (AIS) Senior Scholars' journal basket via bibliometric measures: Do expert journal assessments add value?,” MIS Quarterly (MISQ), vol. 37(4), 993–1012. Also, see YouTube video narrative of this paper at: https://www.youtube.com/watch?v=LZQIDkA-ke0&feature=youtu.be.
  19. Lowry, Paul Benjamin; Romans, Denton; and Curtis, Aaron (2004). "Global journal prestige and supporting disciplines: A scientometric study of information systems journals," Journal of the Association for Information Systems (JAIS), vol. 5(2), pp. 29–80 (http://aisel.aisnet.org/amcis2005/276)
  20. (en) Serenko A, Dohan M, « Comparing the expert survey and citation impact journal ranking methods: Example from the field of Artificial Intelligence », Journal of Informetrics, vol. 5, no 4,‎ , p. 629–648. (DOI 10.1016/j.joi.2011.06.002, lire en ligne [PDF])
  21. (en) Hamed Alhoori et Furuta, Richard, « Can Social Reference Management Systems Predict a Ranking of Scholarly Venues? », Research and Advanced Technology for Digital Libraries, vol. 8092,‎ , p. 138–143 (ISBN 978-3-642-40500-6, DOI 10.1007/978-3-642-40501-3_14, lire en ligne)
  22. Informations sur Scopus
  23. Pontille D., Torny D., «La manufacture de l'évaluation scientifique : algorithmes, jeux de données, outils bibliométriques », Réseaux, 177, 25-61, 2013.
  24. (en) « Introducing the Impact Factor » (consulté le )
  25. (en) « JCR with Eigenfactor » (consulté le )
  26. « mesurer l'influence d'une revue », sur bibliothèque de l'université de laval (consulté le )
  27. [[#Jason Priem et al. Altimetrics Manifesto -- voir commentaire 592|Jason Priem et al. Altimetrics Manifesto -- voir commentaire 592]].
  28. C. Lee Giles et Isaac G. Councill. Who gets acknowledged: Measuring scientific contributions through automatic acknowledgment indexing. In Proceedings of the National Academy of Sciences 101(51):17599–17604, 3 décembre 2016
  29. (en) « PLOS Collections », sur Public Library of Science (PLOS) : « Altmetrics is the study and use of non-traditional scholarly impact measures that are based on activity in web-based environments »
  30. (en) Janica Chavda et Anika Patel, « Measuring research impact: bibliometrics, social media, altmetrics, and the BJGP », British Journal of General Practice, vol. 66, no 642,‎ , e59–e61 (DOI 10.3399/bjgp16X683353, lire en ligne)
  31. « accéder au web of science », sur université paris descartes, (consulté le )
  32. (en) Drake, Miriam A., Encyclopedia of Library and Information Science, New York, N.Y., Marcel Dekker,
  33. (en) Sul H. Lee, « Citation Indexing and ISI's Web of Science » [Discussion of finding literature manually. Description of citation indexing, and Web of Science.], The University of Oklahoma Libraries, (consulté le )
  34. (en) Thomson Reuters, « Web of Knowledge - Real Facts - IP & Science - Thomson Reuters » (consulté le )
  35. (en) « Overview - Web of Science » [Overview of coverage gleaned from promotional language.], Thomson Reuters, (consulté le )
  36. (en) Archambault E., « Comparing bibliometric statistics obtained from the Web of Science and Scopus », Journal of the American Society for Information Science and Technology, vol. 60,‎
  37. J. Schöpfel et H. Prost, « Le JCR facteur d'impact (IF) et le SCImago Journal Rank Indicator (SJR) des revues françaises : une étude comparative », in Psychologie française 54 (2009) 287–305
  38. (en) « Web of Knowledge > Real Facts > Quality and Quantity » (consulté le )
  39. Chanier, T, « Archives ouvertes et publication scientifique : Comment mettre en place l'accès libre aux résultats de la recherche », l'Harmattan,‎
  40. « Que disent les indicateurs ? », entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d'évaluation de l'INRIA, Lettre d'information de l'INRIA, no 59, mai 2007.
  41. Gauthier E., « L'analyse bibliométrique de la recherche scientifique et technologique », Statistique Canada, vol. 8,‎
  42. WEUSC (2013), Wikipédia, objet scientifique non identifié, CNRS-ISCC, 5 juin 2013, Paris
  43. (en) Richard Monastersky, « The Number That's Devouring Science », The Chronicle, The Chronicle of Higher Education,‎ (lire en ligne)
  44. (en) N. Arnold, D et K. Fowler, K, « Nefarious Numbers », Notices of the American Mathematical Society, vol. 58, no 3,‎ , p. 434–437. (arXiv 1010.0278)
  45. (en) Eugene Garfield, « The Thomson Reuters Impact Factor », Thomson Reuters,‎ (lire en ligne)
  46. (en) Schuttea HK, Svec JG, « Reaction of Folia Phoniatrica et Logopaedica on the Current Trend of Impact Factor Measures », Folia Phoniatrica et Logopaedica, vol. 59, no 6,‎ , p. 281-285 (PMID 17965570, DOI 10.1159/000108334)
  47. (en) « Journal Citation Reports - Notices » (consulté le )
  48. (en) Bob Grant, « New impact factors yield surprises », The Scientist,‎ (lire en ligne, consulté le )
  49. (en)What does it mean to be #2 in Impact? - Thomson Reuters Community
  50. (en) A. W. Wilhite et E. A. Fong, « Coercive Citation in Academic Publishing », Science, vol. 335, no 6068,‎ , p. 542–3. (PMID 22301307, DOI 10.1126/science.1212540)
  51. (en) R. Smith, « Journal accused of manipulating impact factor », BMJ, vol. 314, no 7079,‎ , p. 461 (PMID 9056791, PMCID PMC2125988, DOI 10.1136/bmj.314.7079.461d)
  52. (en) Murugesan P & Moravcsik M J., « Variation of the nature of citation measures with journals and scientific specialties », Journal of the American Society of Information Science, vol. 29,‎ , p. 141-155
  53. (en) Schubert, A, & Braun, T., « Cross-field normalization of scientometric indicators », Scientometrics, vol. 36, no 3,‎ , p. 311-324.
  54. (en) Sen, B. K., « Normalized impact factor », Journal of Documentation, vol. 48, no 3,‎ , p. 318-325.
  55. (en) Zitt M., Ramanana-Rahary S., Bassecoulard E., « Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation », Scientometrics, vol. 63, no 2,‎ , p. 373-401.
  56. (en) Zitt M., Small H., « Modifying the Journal Impact Factor by Fractional Citation Weighting: the Audience Factor », Journal of the American Society for Information Science and Technology, vol. 59, no 11,‎ , p. 1856-1860.
  57. (en) Henk Moed, « Measuring contextual citation impact of scientific journals », Journal of Informetrics, vol. 4, no 3,‎ , p. 256–27 7 (DOI 10.1016/j.joi.2010.01.002)
  58. « Les indicateurs de l'évaluation de la recherche », sur mysciencework.com (consulté le )
  59. (en) Carl Bergstrom, « Eigenfactor: Measuring the value and prestige of scholarly journals », College & Research Libraries News, vol. 68, no 5,‎ (Eigenfactor.cfm lire en ligne)
  60. (en) Eigenfactor-vs-impact-factor/ « Eigenfactor vs. Impact Factor: How are They Different? », sur Enagoacademy.com (consulté le )
  61. (en) « Article influence and Eigenfactor », sur Elsevier Journal Insights (consulté le )
  62. (en) Declan Butler, « Free journal-ranking tool enters citation market », Nature, vol. 451, no 6,‎ , p. 6 (PMID 18172465, DOI 10.1038/451006a, lire en ligne, consulté le )
  63. (en) Matthew E. Falagas et al., « Comparison of SCImago journal rank indicator with journal impact factor », The FASEB Journal, vol. 22, no 22,‎ , p. 2623–2628 (PMID 18408168, DOI 10.1096/fj.08-107938, lire en ligne)
  64. (en) « Elsevier Announces Enhanced Journal Metrics SNIP and SJR Now Available in Scopus », Press release, Elsevier (consulté le )
  65. (en) Gabriel Pinski et Francis Narin, « Citation influence for journal aggregates of scientific publications: Theory with application to literature of physics », Information Processing & Management, vol. 12, no 5,‎ , p. 297–312 (DOI 10.1016/0306-4573(76)90048-0)
  66. (en) S. J. Liebowitz et J. P. Palmer., « Assessing the relative impacts of economics journals », American Economic Association, vol. 22, no 1,‎ , p. 77–88 (JSTOR 2725228, lire en ligne [PDF])
  67. (en) I. Palacios-Huerta et O. Volij, « The Measurement of Intellectual Influence », Econometrica, vol. 72, no 3,‎ , p. 963–977 (DOI 10.1111/j.1468-0262.2004.00519.x)
  68. (en) Y. K. Kodrzycki et P. D. Yu, « New Approaches to Ranking Economics Journals », B. E. Journal of Economics Analysis and Policy, vol. 5, no 1,‎ (DOI 10.2202/1538-0645.1520)
  69. (en) Johan Bollen, Marko A. Rodriguez, and Herbert Van de Sompel., Rodriguez et Van De Sompel, « Journal Status », Scientometrics, vol. 69, no 3,‎ , p. 1030 (ISBN 9781595936448, DOI 10.1145/1255175.1255273, Bibcode 2006cs........1030B, arXiv cs.GL/0601030)
  70. (en) Jevin D. West, Eigenfactor.org « Eigenfactor.org », Eigenfactor.org (consulté le )
  71. « Comité de lecture », sur Université de Montréal, (consulté le )
  72. (en) Robert H. Fletcher et Suzanne W. Fletcher, « Evidence for the effectiveness of peer review », Science and Engineering Ethics, vol. 3,‎ , p. 35-50
  73. (en) « Three myths about scientific peer review », sur michael nielsen.org, (consulté le )
  74. (en) Rowena Murray, Writing for Academic Journals, McGraw-Hill Education, , 2e éd., 42–45 p. (ISBN 978-0-335-23458-5)
  75. (en)Présentation de l'ERIH
  76. L'ERIH retire son classement par lettres des revues (22 janvier 2009), Sauvons l'Université (avec lien vers Index of journals scraps controversial grades, The Times of Higher Education, 22 janvier 2009)
  77. (en) Nick Bontis et Alexander Serenko, « A follow-up ranking of academic journals », Journal of Knowledge Management, vol. 13, no 1,‎ , p. 17 (DOI 10.1108/13673270910931134, CiteSeerx 10.1.1.178.6943)
  78. (en) « Journals under Threat: A Joint Response from History of Science, Technology and Medicine Editors », Medical History, vol. 53, no 1,‎ , p. 1–4 (PMID 19190746, PMCID 2629173)
  79. (en) Paul Benjamin Lowry, Sean LaMarc Humpherys, Jason Malwitz et Joshua Nix, « A scientometric study of the perceived quality of business and technical communication journals », IEEE Transactions on Professional Communication, vol. 50, no 4,‎ , p. 352–378 (DOI 10.1109/TPC.2007.908733)
  80. (en) Alexander Serenko et Changquan Jiao, « Investigating Information Systems Research in Canada », Canadian Journal of Administrative Sciences, vol. 29, no 1,‎ , p. 3–24 (DOI 10.1002/cjas.214, lire en ligne)
  81. (en) Glänzel W., Moed H.F., « Journal impact measures in bibliometric research, state-of-the-art report », Scientometrics, vol. 53, no 2,‎ , p. 171-193
  82. (en) Bordons M., Fernandez M. T., Gomez I., « Advantages and limitations in the use of Impact Factor measures for the assessment of research performance », Scientometrics, vol. 53, no 2,‎ , p. 195-206
  83. (en)Australian Research Council ranking of journals worldwide
  84. (da)Danish Ministry of Higher Education and Science (2014)""
  85. (no)Norwegian ranking of journals worldwide
  86. (en)
  87. (en)HEC Recognized Journals
  88. (en)NAAS Journal Scoring
  89. « Classement FNEGE 2016 » (consulté le ).
  90. « L'évaluation et le classement des revues de sciences humaines par l'Agence de l'évaluation de la recherche et de l'enseignement supérieur (AERES) » (consulté le ).
  91. « Catégorisation des revues en Économie et en Gestion » [PDF] (consulté le ).
  92. « Règles d'appréciation des travaux scientifiques des candidats au Concours de PU-PH et de MCU-PH, édictées par la Sous-Section 51-03 (Chirurgie Thoracique et Cardiovasculaire) du Conseil National des Universités » (consulté le ).
  93. Gingras, Y, « Dérives et effets pervers de l'évaluation quantitative de la recherche: sur les mauvais usages de la bibliométrie », Recherche en soins infirmiers, vol. s,‎
  94. (en)Gaming the Impact Factor Puts Journal In Time-out http://scholarlykitchen.sspnet.org/2011/10/17/gaming-the-impact-factor-puts-journal-in-time-out/
  95. [PDF]Que mesurent les indicateurs bibliométriques ?, document d'analyse de la Commission d'évaluation de l'INRIA, Préparé par A-M. Kermarrec, E. Faou, J-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d'Évaluation du 12 septembre 2007.
  96. Laurence Coutrot, « Sur l'usage récent des indicateurs bibliométriques comme outil d'évaluation de la recherche scientifique », Bulletin de méthodologie sociologique, octobre 2008, no 100, p. 45-50.
  97. Académie des sciences, « Du bon usage de la bibliométrie pour l'évaluation individuelle des chercheurs », 2011
  98. (en) John P. A. Ioannidis, « Why Most Published Research Findings Are False », PLoS Medicine, vol. 2, no 8,‎ , e124 (ISSN 1549-1277, PMID 16060722, PMCID 1182327, DOI 10.1371/journal.pmed.0020124)
  99. (en) Monya Baker, « 1,500 scientists lift the lid on reproducibility », Nature, vol. 533, no 7604,‎ , p. 452-454 (lire en ligne)
  100. (en) Aaron Mobley, « A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic », PLoS One,‎ (lire en ligne)
  101. (en) Leydesdorff L., The Challenge of Scientometrics : The Development, Measurement, and Self-Organization of Scientific Communications, Universal, , 344 p.
  102. (en) Weingart P., « Impact of bibliometrics upon the science system: inadvertent consequences? », Scientometrics, vol. 62, no 1,‎ , p. 117–31
  103. (en) Van Raan, A, Handbook of Quantitative Science and Technology Research, Kluwer, , « Measuring science », p. 19–50.
  104. Zitt M., Bassecoulard E. (2008) Challenges for scientometric indicators: data demining, knowledge flows measurements and diversity issues, Theme section / section thématique: The use and misuse of bibliometric indices in evaluating scholarly performance, Ethics in science and environmental politics 8, 1, 49-60 -- et nombreuses autres contributions dans ce numéro thématique.
  105. (en) Lepori B., Barré R., Filliatreau G., « New perspectives and challenges for the design and production of S&T indicators », Research Evaluation, vol. 17, no 1,‎ , p. 33-44.
  106. « Le Classement de Shanghai est-il biaisé? », sur http://onomastique.hypotheses.org/, (consulté le )

Voir aussi

Articles connexes

Liens externes
  • Portail des sciences
  • Portail de la presse écrite
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.