Boicottaggio VQR oscurato dal Sole 24 Ore. Ma c’è Roars da Radio Londra

I supplementari della VQR si sono svolti a porte chiuse, senza sapere bene cosa stava succedendo negli atenei. Anche dopo il fischio di chiusura, ci sono voluti quattro giorni perché l’ANVUR pubblicasse i dati insieme ad un laconico comunicato. Messi da parte i complimenti  e la felicità sfoderati in occasione della fine dei tempi regolamentari, questa volta è il Sole 24 Ore che si incarica di commentare, pubblicando persino una mini-classifica degli atenei “più attivi” nella ricerca. Infatti, secondo il Sole, «l’adesione è in linea con quella della volta scorsa, per cui le università che hanno inviato meno “prodotti” sono tendenzialmente quelle che ospitano i dipartimenti in media meno attivi». Una tesi che ha il pregio di liquidare il boicottaggio della VQR, ma che non regge all’esame dei fatti e dei numeri. Nulla di nuovo sotto il sole: in altri tempi, per sottrarsi alle veline del Minculpop, ci si sintonizzava su Radio Londra. Nel nostro caso, il lettore interessato sapere il come e il perché del boicottaggio della VQR, può rivolgersi a Times Higher Education. Academics in Italy have boycotted assessment. What has it achieved? è il titolo dell’articolo firmato da due redattori di Roars che è apparso sulla prima pagina del noto magazine britannico.

Link a Times Higher Education:
A. Baccini, G. De Nicolao: Academics in Italy have boycotted assessment. What has it achieved?

1. «Accà nisciuno è fesso» dicono (alcuni) rettori

Il 20 aprile, l’ANVUR ha pubblicato il seguente comunicato:

Le tabelle forniscono il quadro aggiornato dei conferimenti dei prodotti VQR, al termine della finestra di riapertura che scadeva il 15 aprile. A differenza del comunicato del 15 marzo, questa volta l’ANVUR non si complimenta con la comunità accademica italiana per le statistiche di conferimento. In tale occasione, Roars aveva ironicamente commentato “La protesta è fallita. La VQR è morta”. In effetti, nonostante i complimenti e la felicità del Presidente Fantoni, dopo meno di quindici giorni l’ANVUR aveva riaperto una finestra per il conferimento dei prodotti. Un’ammissione, neppure tanto implicita dell’inutilizzabilità di una valutazione in cui il boicottaggio aveva “decimato” diversi atenei di rilievo, tenendo le lor percentuali di conferimento ben sotto il 90%: Salento (70,7%), Napoli Parthenope (73,7%), Pisa (77%), Reggio Calabria (82,7%), Catania (85,8%), L’Aquila (86,3%), Urbino (86,4%), Roma Sapienza (86,4%), per citarne alcuni.

Come specificato nel comunicato dell’ANVUR, la successiva riapertura era stata fatta «accogliendo la richiesta dei Rettori di alcune università». Lo stesso Presidente della CRUI sembrava essere stato preso in contropiede. A caldo, aveva dichiarato :

Ma neanch’io lo farò [caricare ulteriori prodotti], come … diciamo … come Rettore della mia università, ma penso che qua… nessuno lo farà. Comunque su questo prenderemo una posizione.

Una presa di posizione che stiamo ancora attendendo: infatti, la CRUI, “sbandata e acefala“, non è riuscita ad esprimere nemmeno una riga di testo. I rettori si sono mossi in ordine sparso: alcuni galantuomini, tra cui il Rettore di Roma Sapienza, hanno dichiarato che non avrebbero effettuato inserimenti forzati senza l’assenso dei valutati, altri (Insubria, Pisa, Pavia, Udine, …) hanno inserito d’ufficio tutto quello che si poteva inserire al motto di “cosí fan tutti” o, meglio ancora, di “accà nisciuno è fesso“, ben contenti di sfilare un fetta di FFO dalle tasche dei galantuomini.

2. Addio fotografia dettagliatissima e certificata

E adesso cosa dicono le ultime tabelle pubblicate dall’ANVUR?

Guardiamole insieme. In particolare, vale la pena di esaminare le barre rosse che evidenziano il miglioramento della percentuale di prodotti conferiti ottenuto nel corso dei “tempi supplementari”. Ci sono 18 atenei, circa il 20% del totale, che hanno abbracciato il principio “accà nisciuno è fesso“. Abbiamo collocato in questa categoria quelli che, grazie agli inserimenti d’ufficio, hanno ottenuto incrementi superiori al 2% delle loro percentuali di conferimento. Il restante 80% è rimasto sostanzialmente fermo.

Complessivamente la percentuale di conferimento è salita dal 92,0% al 93,8%. Un +1,8% che rende meno eclatante l’impatto dell’astensione, ma che lascia la percentuale finale al di sotto del 95,3% della precedente VQR 2014-2010.

A qualcuno, potrà sembrare che aver raggiunto quota 93,8% decreti il sostanziale fallimento della protesta, dato che siamo  vicini al 95,3% della prima VQR. Ma non è così. Questa è la seconda VQR e i valutati hanno avuto il tempo di imparare le regole del gioco: in assenza di proteste, sarebbe stato lecito attendersi un livello “fisiologico” di conferimento superiore di qualche punto a quel 95,3% di quattro anni fa.

Tuttavia, il vero sasso negli ingranaggi della VQR è un altro. Molti atenei che si trovavano al di sotto del 90% non hanno approfittato della finestra dei tempi supplementari. In particolare, pesa come un macigno l’86,8% di Roma Sapienza.

Le diverse forme di obiezione (con o senza diffide formali) e le diverse linee di condotta degli atenei (inserimenti consensuali, forzati per chi non aveva inviato formale diffida, inserimenti forzati per tutti) implicano che alle percentuali di caricamento si possono dare tutti i possibili significati, ma non quello di indicatori della percentuale di attività/inattività scientifica. Basta un esame sommario del grafico appena riportato per rendersi conto che le percentuali sono irrimediabilmente falsate dall’impatto della protesta che, con ogni evidenza, non è stato uniforme.

Il sasso negli ingranaggi potrebbe rivelarsi ancora più fatale se, una volta presi in considerazione i dati disaggregati per aree e per dipartimenti, l’eterogeneità delle percentuali di conferimento fosse tale da dare il colpo di grazia alla pretesa di costruire classifiche intra- e inter-ateneo che misurino qualcosa di diverso dall’obbedienza.

Con queste premesse, il prossimo presidente dell’ANVUR difficilmente potrà parlare di una «fotografia dettagliatissima e, soprattutto, certificata» della qualità della ricerca italiana. Se le tare tecniche della prima e della seconda VQR potevano e potranno sfuggire ai non addetti ai lavori, non sfugge a nessuno che non si possono spacciare per misure della qualità della ricerca dei numeri irrimediabilmente falsati dalle diverse percentuali di protesta e dalle diverse modalità di pressione messe in atto per reprimerla.

3. Il Sole 24 Ore e la classifica di Totò

Insomma, forse non è un caso se l’ANVUR si è astenuta dal rilasciare commenti trionfalistici. Eppure, c’è sempre qualcuno più realista del re. All’indomani della pubblicazione delle tabelle, sul Sole 24 Ore esce un articolo intitolato “Bari, Venezia e Salerno le più attive nella ricerca“. L’autore è Gianni Trovati, già noto ai lettori di Roars per come aveva commentato la selezione dei commissari basata sulle mediane, che – come noto a tutti – dividono una popolazione in due parti di uguale numerosità. L’articolo di Trovati, Il giudizio dell’ANVUR sui docenti: Pubblicazioni «insufficienti» per un professore ogni due, era una surreale sfida al Maresciallo de La Palice, quello che «se non fosse morto, sarebbe ancora in vita».

Chi ci ha seguito fino a qui, si rende conto che non ha senso definire alcuni atenei “più attivi nella ricerca” sulla base di percentuali di conferimento che in buona parte differiscono a causa delle diverse percentuali di obiezione e anche delle diverse strategie persuasivo-repressive. Tanto più che, come abbiamo evidenziato in rosso, due degli atenei “al top” dell’estemporanea classifica del Sole, ovvero Insubria e Salerno, debbono il podio alla rimonta effettuata nei tempi supplementari. Ma che valore ha il loro podio, se lo hanno ottenuto scavalcando altri atenei i cui rettori (fessi o galantuomini?) non se la sono sentita di aderire alla filosofia dell'”accà nisciuno è fesso“? Non pago delle sue maldestre e volatili classifiche estive, il Sole ha forse inaugurato una specie di “classifica di Totò” che premia i furbi e punisce i galantuomini?

Alla luce di tutto ciò, appare paradossale appare quanto scrive il Sole:

Niente rivolta
Il dato non era scontato, perché nell’università si è infiammato nei mesi scorsi un dibattito che aveva alimentato in alcuni atenei previsioni di “rivolta”, sotto forma di mancata adesione alla nuova valutazione. I numeri, cresciuti dopo la riapertura della finestra per gli invii dal 4 al 15 aprile decisa dall’Agenzia per dare una seconda chance anche alle strutture più critiche, dicono che non è accaduto: l’adesione è in linea con quella della volta scorsa, per cui le università che hanno inviato meno «prodotti» sono tendenzialmente quelle che ospitano i dipartimenti in media meno attivi

Il sillogismo di Trovati non regge: una percentuale globale simile a quella “fisiologica” non esclude che gli atenei con percentuali minori siano proprio quelli dove la protesta ha raccolto più adesioni o è stata repressa meno efficacemente. Per diradare ogni dubbio basta esaminare il seguente grafico, in cui ogni pallino rappresenta un ateneo.

A distanza di quattro anni, la maggioranza dei ricercatori valutati sono gli stessi. È ragionevole pensare che, in assenza di protesta, le percentuali di conferimento non sarebbero variate in modo totalmente erratico. Un ateneo con pochi inattivi tende a rimanere tale e un ateneo con molti inattivi, può migliorare, ma difficilmente si collocherà in cima alle percentuali di attività. Immaginiamo il caso estremo in cui le percentuali di conferimento rimangano immutate da una VQR all’altra: allora, i pallini starebbero tutti sulla linea rossa. In presenza di variazioni fisiologiche, i pallini dovrebbero rimanere vicini alla linea rossa, preferibilmente sopra di essa, a causa della riduzione di soggetti inattivi che è plausibile attendersi, una volta che le regole del gioco siano state assimilate dai valutati.

Per avere un’idea dell’impatto della protesta, basti notare che nella VQR 2004-2010 c’erano solo quattro atenei sotto il 90%, mentre nella VQR 2011-2014 ce ne sono ben 12. La protesta ha rimescolato le gerarchie di produttività al punto che il coefficiente di correlazione tra la percentuale di conferimento delle due VQR è pari a 0,23, un valore relativamente basso e decisamente poco spiegabile se fosse vero che «le università che hanno inviato meno “prodotti” sono tendenzialmente quelle che ospitano i dipartimenti in media meno attivi».

4. Qui Roars da Radio Times Higher Education

Come abbiamo appena visto, quando l’ANVUR tace, subentra il Sole 24 Ore a rimodellare la realtà in modo da far scomparire gli spigoli e rendere rosa il futuro. In altre epoche, per sottrarsi alle veline del Minculpop bisognava sintonizzarsi sulle frequenze di Radio Londra. Per un curioso scherzo del destino, lo stesso giorno in cui il Sole 24 Ore pubblica la sua mini-classifica che tratta le percentuali di conferimento come se fossero indicatori di attività scientifica, Times Higher Education pubblica in prima pagina un articolo sul boicottaggio della VQR firmato da due redattori di Roars.

UK academics who dislike the research excellence framework often suggest boycotting it. But could it ever really happen? And what would the consequences be? Italy provides some evidence. The country has its own version of the REF, known as the VQR (“Evaluation of Research Quality”). But Italian universities are in turmoil because of the refusal of large numbers to do so.  Alberto Baccini and Giuseppe De Nicolao consider the protest’s impact. (da Times Higher Education del 21 aprile 2016).

Su Times Higher Education trovate l’articolo completo che offre quello che il Sole 24 Ore non ha mai fornito ai suoi lettori: un resoconto delle origini, delle motivazioni  e degli sviluppi del boicottaggio della VQR, citando anche i costi dell’agenzia di valutazione e lo sconcerto nazionale suscitato dalla nomina di un consigliere che alla sua candidatura aveva allegato un tema con diversi estratti (non virgolettati) presi tali e quali da fonti non citate. Tutti argomenti, che Times Higher Education ha ritenuto di interesse per i suoi lettori, ma che faticano a fare breccia sulle colonne del quotidiano di Confindustria.

Oggi, come ieri:

Non è merito nostro, di noi che lavoriamo giorno e notte qui a Londra per informare il pubblico italiano di quanto avviene nel nostro paese e nel mondo: noi cerchiamo soltanto di avvicinarci alla realtà dei fatti, e di ragionare con sincerità e buon senso. Ma sappiamo che l’Italia ha sete di verità e di senso comune; e non è possibile allontanare dall’acqua le labbra degli assetati.

(H. Stevens, Listener All., “Short Italian News Comment” 269, 22 aprile 1941, 22.40 (Bbcn s.I.b. 5).)