Lo scienziato a una dimensione. Ovvero: a cosa serve valutare ricerca e università

È di questi giorni la notizia della nomina dei sette saggi che guideranno l’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, come ci racconta Pietro Greco in questo articolo. Se il vero punto dolente del sistema accademico italiano è la cronica e ampiamente accertata mancanza di risorse, subito dopo abbiamo il problema di un sistema che per ora non ha ancora trovato un modo omogeneo ed affidabile di autovalutarsi.

A che serve la valutazione fatta bene. In generale, le risorse da investire nella ricerca non sono infinite, in Italia più che altrove, ed è necessario, per operare delle scelte sensate, capire quali laboratori funzionino e quali no, in quali investire nuove risorse, e in quali invece incentivare un cambiamento di rotta. Questo si fa “a priori”, quando si selezionano i progetti, ma si deve fare anche “a posteriori”, con un processo di verifica trasparente e fatto con regole condivise. La valutazione serve per non sprecare le poche risorse che abbiamo, ed è in parte indipendente dalle scelte strategiche. Il governo può decidere se l’obiettivo prioritario siano le nanotecnologie o la genetica molecolare (sarebbe meglio entrambe), ma dovrà poi decidere, nell’ambito specifico a quale laboratorio dare le risorse. Se la concessione di nuovi posti fosse legata ai risultati delle valutazioni, forse il reclutamento dei giovani ricercatori avverrebbe in un modo più legato al merito (e vale la pena ricordare che qualsiasi sistema di selezione non funzionerà e sarà aggirato se non ci saranno incentivi ad operare bene, per esempio premiando chi assume i migliori. E come si vede chi sono, a posteriori, i migliori? Valutandoli…). [N.B.: a questo punto mi verrebbe un’obiezione grossa come una casa, ma aspettate a leggere]

L’ideale. Si formano, a cadenze regolari (3 o 4 anni) dei comitati indipendenti di esperti, più comitati per ogni singolo settore disciplinare, formati da scienziati italiani e stranieri di riconosciuto valore internazionale. Questi comitati raccolgono dei rapporti scientifici da un certo numero di laboratori operanti nel loro settore, procedono con incontri aperti con i ricercatori di tali laboratori, si leggono una buona parte dei loro lavori, finendo poi per produrre un documento di valutazione analitico in cui vengano soppesati i punti di forza e di debolezza dei vari gruppi, proposti consigli e raccomandazioni su dove investire o meno. Il problema con questo genere di valutazione individuale è che prende un sacco di tempo, costa molti soldi e richiede un’organizzazione non banale. E va fatto con regolarità.

La realtà italiana. La valutazione in Italia per molti anni semplicemente non si è fatta. Nel senso che venivano valutate, spesso in modo poco trasparente, le richieste di fondi, ma nessuno si sognava di mettere il naso nei risultati che questi fondi avrebbero dovuto produrre. Poi ad un certo punto è stato istituito il CIVR che tra il 2005 e il 2006 ha valutato tutto il sistema della ricerca italiano, con riferimento al periodo 2001-2003. Per farlo hanno deciso di farsi dare un certo numero di lavori da ogni sede, circa 18.000 articoli in totale, facendoli poi giudicare da panel di esperti di area con l’aiuto di un gran numero di revisori anonimi. I risultati sono stati interessanti, anche se il metodo ha dato adito a più di una perplessità, ma insomma è stato un primo tentativo. Dopo questo primo esercizio, nulla o quasi, almeno fino ad ora.

Gli indici. E arriviamo ai numeri. In alternativa alla valutazione “ideale” esiste da molti anni la pratica di servirsi di indici statistici di tipo bibliometrico. Prima c’era l’Impact Factor delle riviste (ora parecchio screditato), poi il numero di pubblicazioni e relative citazioni, e infine, di recente, una serie di indici basati su queste quantità (h-index, g-index, etc…). Tutti molto suggestivi e tutti ugualmente con qualche problema. Di questo parla molto bene Francesco Sylos Labini in un paio di post recenti che potete leggere qui. Possiamo vedere gli indici come o una specie di voto popolare, ogni volta che inserisci una citazione in un tuo lavoro stai “votando” per quello scienziato (anche se dici, che il suo lavoro è scadente), insomma funziona un po’ come Facebook... Il nocciolo del problema è però il seguente. Le varie discipline scientifiche non si differenziano solo per problematiche e metodi, ma anche per diverse tradizioni culturali. Per esempio i matematici scrivono pochi lavori con pochissime citazioni, i fisici scrivono molto di più dei matematici e si citano parecchio tra di loro (parliamo di un fattore 10…), i chimici e i medici ancora di più. E non abbiamo parlato degli umanisti che scrivono libri o degli ingegneri che spesso pubblicano quasi esclusivamente atti di congressi. Insomma, ogni comunità scientifica ha le sue abitudini, tutte lecite, ed è difficile pensare che un tentativo di rendere questa realtà unidimensionale, e perciò ordinata, possa avere successo(*). Come dice un mio collega: “Sarebbe come fare la classifica dei raccoglitori di frutta, basata solo sul numero di frutti raccolti, per cui un "raccoglitore di angurie" che abbia raccolto 100 angurie varrebbe come un"raccoglitore di mirtilli" che ha raccolto 100 mirtilli.” A parte l’omogeneità del campione, ci sono poi situazioni in cui non c’è quasi relazione tra il numero di lavori, il numero di citazioni e l’impatto scientifico del singolo scienziato. Alcune medaglie Fields hanno indici molto bassi, perché hanno scritto poco e perché ci sono poche persone che possono leggere questi lavori, e perché ci vorranno anni per capirli. Questo non vuol dire che non vadano sostenuti, magari la fisica o la biologia del futuro saranno basate sul loro lavoro. E anche nelle scienze fisiche, o chimiche, il divario tra gli sperimentali e i teorici, tra i grandi laboratori in cui tutti firmano tutto (soprattutto i capi) e i ricercatori che sviluppano progetti piccoli, ma molti validi, è a volte veramente enorme.

Però. È anche vero che se mi arriva un curriculum da esaminare, vado subito su internet a guardare quante citazioni ha quella persona, il tipo di rivista, con chi ha lavorato, quante persone diverse lo hanno citato (una misura interessante per riconoscere l’esistenza di combriccole di compagni di merende pronti a scambiarsi reciproci favori). Insomma, qualche cosa questi dati ci dicono, e questo spesso prima di aver aperto i lavori (che dovrebbe sempre essere il criterio finale di valutazione). E poi il fascino negli indici risiede nel fatto che dovrebbero essere meno manovrabili dai poteri accademici a carattere locale. Alcune persone scientificamente scadenti, che purtroppo hanno avuto posizioni di potere nella scienza italiana, avrebbero avuto vita meno facile con un riscontro oggettivo come il numero di lavori o di citazioni (a volte per scoprire che questo numero era quasi uguale a zero…).

Una proposta, anzi due. (una) A me piacerebbe che, quando si faranno le valutazioni dell’ANVUR, tutte le persone coinvolte rendano pubblico il loro curriculum, corredato di indici bibliometrici, citazioni dei lavori e quant’altro. E (due) sarebbe utile estendere questa prassi a tutte le commissioni di concorso, sia per i commissari che per i candidati. Insomma, qualsiasi sia la modalità di valutazione, questi dati devono essere conosciuti, ma non devono esaurire la valutazione e non devono in nessun modo essere vincolanti nel giudicare uno scienziato. Non dimentichiamo che il matematico Bernhard Riemann ha pubblicato in tutta la sua carriera soltanto 9 lavori e all’epoca erano proprio in pochi a capirli…

Postilla (che risponde all’obiezione che avevo in testa nel primo paragrafo). Tutto questo non serve a niente, anzi è solo uno spreco di denaro pubblico, se non ci sono risorse da dividere. Valutare non è un’attività fine a se stessa. Se nei prossimi cinque anni non ci saranno posti da ricercatore da assegnare, a che serve fare classifiche?

(*) Nota tecnica: l’h-index è per esempio un tentativo intelligente, ma disperato, di creare un ordinamento tra le aree, e più precisamente l’area formata dalle citazioni dei lavori ordinati in ordine decrescente, ed è il più grande quadrato inscritto in quest’area. Va bene, è un tipo di media, e scoraggia i due estremi, tanti lavori poco citati o pochi lavori con tante citazioni, ma non sa dire molto più di questo…