Nature: meno paraocchi bibliometrici, meglio leggere i lavori scientifici

 Redazione ROARS 27 giugno 2017 ore 08:21

«Universities: adopt as standard practice a requirement that committees actually read candidates’ research, as is done in the REF [la VQR inglese NdR] exercise. Emphasize how researchers approach questions when evaluating candidates.» Questa è solo una delle raccomandazioni che chiudono un articolo apparso su Nature che denuncia le ricadute negative dei paraocchi bibliometrici troppo spesso indossati dai revisori, sia di progetti che di ricercatori. Per quanto largamente disattesa in Italia, la raccomandazione non è nuova. Merita però attenzione un’analisi quantitativa che rivela come sulla breve distanza (tre anni dalla pubblicazione) gli articoli più innovativi hanno minore probabilità di rientrare nel top 1% dei più citati rispetto a quelli meno innovativi. Ma poi c’è il graduale sorpasso, un’ulteriore dimostrazione che i criteri della VQR italiana, in aggiunta agli errori aritmetici (il ricorso alla somma di numeri ordinali), erano inadeguati anche dal punto di vista concettuale.

Rimandando i lettori alla lettura dell’articolo, riportiamo di seguito la lista di raccomandazioni che conclude l’articolo:

Researchers: stop relying exclusively on short-term citation counts and JIFs in guiding the choice of topics and where to submit. Stop including them in funding applications.

Funders: insist on multiple ways to assess applicants’ and institutions’ publications. Stop grant applicants from providing short-term citation counts and JIFs. Scrub them from proposals and ban them from being discussed in reviews. Include experts outside the main field on review panels, and periodically examine the performance of grant applicants using five- or even ten-year windows. The ERC, although still too young to implement such a long-term window for evaluation purposes, aspires to do precisely this in the future.

Reviewers: resist seeking out and relying on metrics, especially when calculated over less than a three-year window.

Editors: reject shoddy metrics used to evaluate journals. Advocate for metrics to be assessed over longer time spans, as done by Research Policy⁵and recommended in a joint proposal from editors at several high-profile publishers, including Nature¹⁰.

Universities: adopt as standard practice a requirement that committees actually read candidates’ research, as is done in the REF exercise. Emphasize how researchers approach questions when evaluating candidates.

Reviewers are blinkered by bibliometrics, Nature, 26.04.2017