Una scienza senza qualità

Maria Chiara Pievatolo

Due delle obiezioni ai sistemi di valutazione basati su indicatori bibliometrici sono che questi si prestano a manipolazioni e frodi, e che tendono a disconoscere il valore di contributi rilevanti ma con indici bibliometrici non particolarmente notevoli. La risposta a queste obiezioni è che il numero di “errori” è talmente esiguo da renderli irrilevanti: si tratta, in altri termini, di casi d’importanza meramente “aneddotica”. Quanti fallimenti occorre addurre per dimostrare che non si tratta più di aneddotica? Uno, o, meglio, uno per volta. Un articolo scientifico errato di medicina non può essere sostituito da un articolo scientifico corretto di botanica. I processi scientifici sono molto diversi dalla produzione di massa di oggetti intercambiabili. Nella scienza abbiamo a che fare con pezzi unici, che possono essere valutati solo caso per caso e ai cui difetti non può essere posto rimedio, come faremmo con un pezzo difettoso uscito da una catena di montaggio, rimpiazzandolo con un altro pezzo identico. E’ questo che rende difficile immaginare un sistema di valutazione della ricerca che sia adeguato alle dimensioni industriali della scienza e, allo stesso tempo, in grado di rendere giustizia all’individualità di ciascuna attività di ricerca 

Quantità e qualità: un confronto impossibile?

Enrico Mauro, in un articolo recente, critica così la valutazione quantitativa della ricerca ispirata ai princìpi del new public management :

Come parlare di qualità senza ridurla a quantità, senza numerizzarla per poterla quindi comparare e classificare? Come, in altri termini, evitare il paradosso di pesare «l’imponderabile della qualità»? La risposta di Jankélévitch appare tanto truistica da una data prospettiva quanto inconcepibile dalla prospettiva opposta: «la qualità si spiega con la qualità, si giustifica qualitativamente, così come l’amore immotivato che, girando nel cerchio della sua tautologia incondizionale, rifiuta di rendere conto e di rispondere Poiché ai Perch黹

Proprio questo non so che, scrive Mauro, contraddistingue il lavoro del ricercatore in quanto “percorre l’inesplorato [e] non può garantire risultati decisivi, tanto meno su temi e in tempi e forme decisi a tavolino”. ²

Il funzionario che valuta la ricerca per via amministrativa adotta però criteri generali e dall’apparenza oggettiva, sia perché non può avere competenze specifiche su ciascuno degli oggetti da valutare, sia perché non può confrontarsi radicalmente con l’individualità essendo, in virtù della sua stessa funzione,³ animato da passioni ben diverse dall’amore immotivato. Può, anzi, addurre buone ragioni per rappresentare una simile tesi come mistica, elitistica ed esposta ad abusi, in quanto programmaticamente incapace di spiegarsi ai non iniziati: “molti sono i portatori di ferula, pochi gli estatici”.⁴

La bibliometria, vale a dire un più o meno sofisticato computo delle citazioni e delle pubblicazioni, è per il funzionario un controllo di qualità molto più chiaro ed efficace. Non è forse vero che le citazioni sono la moneta della scienza, con la quale i ricercatori riconoscono e pagano il loro debito verso le opere altrui?

L’efficienza complessiva di un simile controllo di qualità consentirà anche di minimizzare l’entità dei suoi fallimenti sia verso il basso, quando, operando come incentivo perverso, si presta a manipolazioni e frodi⁵ sia verso l’alto, quando induce a disconoscere il valore di contributi rilevanti ma con indici bibliometrici non particolarmente notevoli.⁶ A chi li contesta, il funzionario risponde ammettendo che esistono, ma che il loro numero è talmente esiguo da renderli irrilevanti: si tratta, in altri termini, di casi d’importanza meramente “aneddotica”.

Dalla parte della quantità

I. L’argomento dell’irrilevanza, quando è volto a minimizzare i fallimenti verso il basso dei metodi numerici di valutazione della ricerca, assume  una forma simile a questa:

…trovo piuttosto inutili la maggior parte delle argomentazioni sulla possibilità di manipolazione di informazioni bibliometriche quali il fattore d’impatto. La scienza stessa è manipolabile. Ci sono numerosi esempi di false scoperte o di comportamenti scorretti da parte degli scienziati. Ma la questione davvero interessante non è perché questo accade, ma come mai accada così raramente e così da essere quasi immancabilmente scoperto e punito.⁷

Sessantun’anni fa il sociologo della scienza Robert K. Merton sosteneva qualcosa di simile, ma con uno spirito diverso e in un mondo che ancora non conosceva l‘Institute for Scientific information, con il suo database proprietario e il suo fattore d’impatto, né l’uso della bibliometria per la valutazione della ricerca, di stato e no. In ogni caso, senza dilungarsi in considerazioni retrospettive, il primo lato dell’argomento dell’irrilevanza può essere riassunto così: la bibliometria, di stato e no, fotografa un sistema editoriale trasparente e competitivo di controllo della qualità che riduce al minimo le manipolazioni e gli abusi.

II. Quando invece l’argomento dell’irrilevanza affronta i fallimenti verso l’alto, il funzionario lo svolgerà così: la bibliometria può essere inadeguata a individuare i ricercatori veramente rivoluzionari, ma non è disegnata per questo, bensì per valutare, nel breve termine, i medi e i mediocri, inducendoli a un’operosità a cui altrimenti  sarebbero alieni.  Nel lungo termine le idee rivoluzionarie dei Giordano Bruno o dei Galileo Galilei si affermeranno indipendentemente dai giudizi dell’autorità. E se i Bruno e i Galileo fossero vivi oggi, ai tempi della valutazione di stato, avrebbero la consolazione di rimanere nel grado più basso della carriera accademica senza finire al rogo o essere costretti all’abiura.

Quando la scienza è prodotta su scala industriale, occorre essere industriali anche nel controllo di qualità. Se il metodo di controllo assicura un buon livello medio della produzione complessiva, i falsi positivi che saranno scartati e sostituiti e i falsi negativi che verranno riconosciuti solo nel lungo termine sono compresi in un margine d’errore del tutto accettabile entro un sistema generalmente efficiente.

Pezzi unici

Chi non desidera invischiarsi nel paradosso del sorite,⁸ deve resistere alla tentazione di rispondere elencando l’ormai ricca letteraturadedicata alle distorsioni prodotte dalla bibliometria.  Quanti casi di falsi positivi e di falsi negativi si dovrebbero indicare perché i funzionari riconoscano che le distorsioni apportate da un uso inappropriato della bibliometria non sono mera “aneddotica”? Sempre uno in più…

Vale la pena tentare una strategia di risposta diversa, che non si basi su molti casi, ma ne adduca uno soltanto a modello. Il caso selezionato a questo fine è quello di una semplice informazione enciclopedica sottoposta al controllo permanente di una forma di revisione paritaria aperta e comunitaria.

Gli articoli delle riviste pubblicate dall’editore commerciale Franco Angeli sono dotati di un DOI (Digital Object Identifier) che, sul suo sito, è illustrato così.

“Il DOI è il codice a barre della proprietà intellettuale: per saperne di più, clicca qui e qui.“

Chi legge questa definizione è indotto a pensare che il sistema del DOI sia un succedaneo digitale del vecchio registro della Stationers’ Company, che elencava le esclusive di stampa di ciascun libro riconosciute ai suoi membri. Il sito ISO, però, ne dà una definizione ben diversa: il DOI è un’infrastruttura per l’identificazione persistente e univoca di oggetti di qualsiasi tipo. Ed è vero – afferma il  DOI Handbook–  che il sistema del DOI si concentra sull’amministrazione di entità a cui è connesso l’interesse della “proprietà” intellettuale, ma nulla vieta di chiedere e ottenere un DOI per qualsiasi altro oggetto che stia a cuore a una comunità di utenti.

L’editore italiano non sta facendo consapevolmente disinformazione. La sua definizione, riportata anche sulla Wikipedia italiana prima che venisse corretta,  è infatti tratta dalle pagine di mEDRA, l’agenzia europea di registrazione del DOI. Le voci corrispondenti della Wikipedia francese, tedesca, inglese e spagnola, non usando mEDRA come fonte, non cadono invece nell’equivoco.

Per correggere l’inesattezza presente nella Wikipedia italiana non è stato  necessario fare una ricerca originale: è stato sufficiente risalire da mEDRA al sito ISO e a quello della fondazione internazionale a cui fanno capo tutte le agenzie di registrazione del DOI. Ma, fuori dal controllo comunitario di Wikipedia, una definizione fuorviante continua a essere presente sul sito mEDRA e, a cascata, sul sito di un  frequentato editore scientifico commerciale e  anche nelle menti di tutti i ricercatori che distrattamente la leggono. Un pezzo difettoso, anche se scartato dove è stato possibile farlo, ha prodotto e continua a produrre una disinformazione estesa e durevole.

E non è solo e in primo luogo un problema di Wikipedia: il caso Wakefield, con i suoi morti evitabili, ha mostrato che anche il controllo di qualità delle riviste di alto impatto è soggetto a fallimenti i cui effetti sono estesi e durevoli.

Non importa, cioè, quante centinaia o migliaia di pagine di Wikipedia contengano informazioni accurate: la pagina sul DOI, finché non è stata corretta, dava, sul Digital object identifier, una definizione fuorviante che ha contribuito a diffondere degli errori persistenti. Né importa che The Lancet, dopo 12 anni, abbia ritirato l’articolo di Wakefield sul nesso fra vaccino MPR e autismo. La stessa reputazione di The Lancet, anzi, ha contribuito alla diffusione e alla persistenza di una teoria fin dall’inizio poco fondata.⁹

Gli utenti avvertiti di Wikipedia sanno che nessuna delle sue voci è definitiva e tutte sono continuamente soggette a revisione, che anzi, almeno in linea di principio, potrebbero essi stessi modificarle. I lettori di The Lancet sono invece indotti a credere che l’altissimo fattore d’impatto della rivista edita da Elsevier trasferisca l’eccellenza dal contenitore al contenuto, cioè dalla rivista agli articoli che pubblica: mentre la voce di Wikipedia è per definizione parte di un processo su cui non è ancora stata detta l’ultima parola, gli articoli di The Lancet, in un sistema di valutazione basato sulla bibliometria, non sono l’inizio, bensì il compimento di un procedura altamente selettiva.

Quanti fallimenti occorre addurre per dimostrare che non si tratta più di  “aneddotica”? Uno, o, meglio, uno per volta: le teorie scientifiche – così come le voci enciclopediche – non sono oggetti fungibili. La voce fuorviante di Wikipedia sul DOI non può essere rimpiazzata da una delle sue molte voci accurate di argomento botanico: occorre che qualcuno, artigianalmente, si dia la pena di consultare le fonti pertinenti, di inserire la correzione e di offrirne una giustificazione che convinca gli altri wikipediani. I processi enciclopedici – e a maggior ragione quelli scientifici – sono molto diversi dalla produzione di massa di oggetti intercambiabili, per la quale si può dire che il controllo di qualità funziona ottimamente se un prodotto su 10.000 risulta difettoso e obbliga a risarcire un solo cliente insoddisfatto su 10.000. Qui abbiamo a che fare con pezzi unici, che possono essere valutati solo caso per caso e ai cui difetti non può essere posto rimedio, come faremmo con un pezzo fallato uscito da una catena di montaggio, rimpiazzandolo con un altro pezzo identico.

Non c’è dunque nulla di mistico nel “non so che”. In effetti sappiamo benissimo che cos’è, ma solo di volta in volta, artigianalmente, e non una volta per tutte, in massa. Questa, in un guscio di noce, è la discrasia¹⁰ che rende difficile immaginare un sistema di valutazione della ricerca che sia adeguato alle dimensioni industriali della scienza e, allo stesso tempo, in grado di rendere giustizia all’individualità di ciascuna attività di ricerca – compresa quella solo compilativa alla base della correzione di poche righe in una voce di Wikipedia.

1. Enrico Mauro, “I «pesci», il «pavone» e l’‘arte’ di ‘valutare’ la ‘qualità’ della ricerca scientifica”, Palaver, 5 n.s. (2016), n. 1, DOI 10.1285/i22804250v5i1p201,  pp. 221-222.
2. Ibidem, p. 205
3. L’amministrazione, infatti, governa il comportamento degli esseri umani “in masse uniformi e obbligate”.
4. Fedone, 69c-d.
5. Mario Biagioli, “Watch Out for Cheats in Citation Game”, Nature, 2016.
6. Pensiamo, per esempio, al caso di  Donna Strickland, recente co-vincitrice del premio Nobel per la fisica, o a quello di Peter Higgs, insignito dello stesso premio nel 2013.
7. Andrea Bonaccorsi (a cura di), The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience,Springer, 2018, “Towards an Epistemic Approach to Evaluation in SSH”, p. 5, trad. mia. Il  volume, curato da un ex funzionario dell’ANVUR e con il sostegno economico di quest’ultima (p. XVII), è offerto alla vendita ad accesso chiuso e al non modico prezzo di almeno 79,99 euro, pur essendo frutto di una ricerca finanziata con denaro pubblico. Per questo motivo ne viene omesso il link.
8. Il veleno del paradosso sta proprio nella confusione fra qualità e quantità.
9. Con danni collaterali di ogni tipo, fra i quali va segnalata una certa propensione all’autocensura da parte di chi fa ricerca sui vaccini.
10. Su questo tema vale la pena rileggere J. Ravetz, “How should we treat science’s growing pains?“, The Guardian, 8 June 2016.