I costi nascosti della valutazione: il curioso caso australiano

Ma quanto costa la valutazione? Meglio non farlo sapere. Anzi, meglio non porsi nemmeno, il problema devono aver pensato in Australia. Nell’ultima “VQR australiana” avevano chiesto agli atenei una stima del costo in termini di tempo, ma l’informazione è stata poi secretata. Nel nuovo esercizio di valutazione, si guarderanno bene dal raccogliere informazioni sui costi. Quale potrebbe essere la cifra? Secondo Ksenia Sawczak (Director of Research Services at the University of Canberra), il costo potrebbe superare i 100 milioni di dollari, una cifra che, fatte le debite proporzioni, si accorda bene con i costi stimati della VQR italiana, ovvero non meno di 150 milioni di Euro. La domanda che si pone la Sawczak vale anche per l’Italia: come mai i principi di trasparenza e accountability nel cui nome vengono svolti gli esercizi di valutazione su larga scala (come la VQR) non valgono più quando si tratta di valutarne i costi per la collettività? L’HEFCE (l’agenzia che ha in carico la valutazione in UK) ha commissionato a una società specializzata una stima “ufficiale” ed “indipendente” dei costi del REF: 250 milioni di sterline (pari a circa 320 milioni di Euro del 2014). Cifra considerata “troppo bassa” dall’Institute of Economic Affairs di Londra. Geuna e Piolatto in un working-paper del 2014 stimavano i costi della VQR in 182 milioni di Euro. Nella versione su rivista peer reviewed, la loro stima è scesa ad appena €70,5 milioni, poiché hanno eliminato dal calcolo i costi opportunità dei revisori e dei membri dei panel. E l’Anvur che dice? Nel suo rapporto biennale 2018, l’Anvur sostiene che la VQR 2011-2014 sarebbe costata solo 14,7 milioni di euro, venti volte di meno della stima ufficiale del REF. A chi dare fede?

Segnaliamo l’articolo “The hidden costs of research assessment exercises: the curious case of Australia” di Ksenia Sawczak (Director of Research Services at the University of Canberra) pubblicato su LSE impact blog, il blog della London School of Economics dedicato al dibattito sull’impatto dell’attività accademica.

Ecco un estratto dell’articolo:

[…] a subtle change made by the ARC to guidelines for the 2018 round […] nearly went unnoticed; namely, the decision not to collect information from universities on the amount of time spent on preparing submissions. This important information was collected as part of the last exercise in 2015, but the ARC has refused to make it publicly available on the grounds it was not part of the evaluation. Clearly, the figure must have been astronomical, and one that is not in the ARC’s interests to disclose, nor to seek information on again. […] how would the public feel to discover that just one round of this standalone exercise has been estimated by some in the sector to cost in excess of $100 million, much of it borne by universities themselves? And those costs are almost entirely administrative, with a high likelihood they are cross-subsidised by student fees. […] Until the hidden costs of assessment exercises in Australia are revealed and a thorough consideration of their general utility is undertaken, they will remain an international curiosity, with the dubious honour of serving as an example of assessment for the sake of assessment and irresponsible use of public monies.