Eduscopio: il duello tra Gavosto e Tassinari

Continua, e con questo post si chiude almeno su Roars, la discussione tra Giorgio Tassinari ed Andrea Gavosto su Eduscopio, la classifica delle scuole superiori realizzata dalla Fondazione Agnelli. Tassinari aveva sfidato a duello Gavosto che preferisce rispondergli su Roars “luogo pubblico non estraneo a combattimenti pugnaci”. Tassinari replica, rilanciando la sfida.

Riassunto delle puntate precedenti. La discussione su Eduscopio, una classifica delle scuole secondarie superiori realizzata dalla Fondazione  Agnelli era iniziata con questo post di Giorgio Tassinari, cui è seguita la replica di Andrea Gavosto, presidente della Fondazione Agnelli, ed una risposta di Tassinari. Di seguito la continuazione e la chiusura, almeno su roars, della discussione.

Andrea Gavosto, presidente della Fondazione Einaudi.

Il prof. Tassinari mi sfida a singolar tenzone su Eduscopio.it, lasciandomi la scelta del tempo, del luogo e dell’arma. Poiché siamo tutti pervasi dallo spirito natalizio, preferisco rispondergli sul sito di Roars, che è un luogo pubblico e, certamente, non estraneo a combattimenti pugnaci.

Avendo avuto finalmente modo di studiare l’oggetto del contendere, Tassinari solleva alcune osservazioni di metodo, a cui replico volentieri. Non risponderò invece alle sue opinioni sul feticismo per il quasi-mercato dell’istruzione di cui la Fondazione Agnelli sarebbe preda: si tratta, appunto, di opinioni, anche se mi verrebbe da dire che solo chi non ha mai assistito a un open day può pensare che sia Eduscopio a scatenare la concorrenza fra le scuole!

Prima di affrontare puntualmente le critiche, è però importante chiarire un punto. Eduscopio.it non è – e non vuole essere – uno strumento di valutazione delle scuole, con l’intento di determinare il contributo di dirigenti e docenti ai risultati degli studenti; il suo obiettivo è, piuttosto, quello di fornire agli studenti e alle loro famiglie una rendicontazione di quello che succede dopo il termine degli studi scolastici, al primo anno di università o nel mercato del lavoro. La nostra ambizione è di dare alle famiglie un mezzo – attendibile e semplice da utilizzare – che le aiuti nella scelta dei percorsi scolastici e, ugualmente, dia loro “voce”, nel senso di poter domandare, in modo documentato, a docenti e dirigenti che cosa pensano di fare per migliorare gli esiti scolastici. A mio avviso, questa rendicontazione è particolarmente utile per le famiglie meno benestanti e culturalmente avvertite, che non dispongono di reti di conoscenze abbastanza ampie che permettano loro di basare le scelte e i giudizi su informazioni affidabili. Inoltre, gli stessi istituti scolastici possono conoscere le scelte universitarie o lavorative compiute dai loro diplomati e organizzare di conseguenza didattica e orientamento.

La differenza fra valutazione e rendicontazione è importante anche alla luce delle critiche che mi rivolge il prof. Tassinari. Egli è evidentemente interessato a individuare quali sono i fattori che spiegano i risultati delle singole scuole: di qui l’insoddisfazione per la bassa capacità esplicativa del modello, per l’assenza di indicatori di scala e di effetti classe (e, nel primo post, di effetti studente, che però in una cross-section avrebbero determinato un fit perfetto). Eduscopio.it, al contrario, non intende spiegare alcunché: si limita a fotografare gli esiti delle scuole, adottando una sola correzione necessaria – la normalizzazione dei voti e dei crediti per corso di laurea e ateneo – poiché il metro in materia di voti e crediti è appunto differente per corso e ateneo. Detto diversamente, Tassinari vuole individuare il contributo dei vari fattori (abilità e retroterra sociale degli studenti, composizione delle classi, qualità dei docenti, capacità dei dirigenti, ecc.) che determinano l’outcome della scuola e, di conseguenza, propone di “sottrarre” dalla parte non spiegata dei risultati (il residuo statistico) includendo variabili esplicative aggiuntive. Noi, al contrario, vogliamo mostrare all’esterno il risultato complessivo delle azioni compiute dalla scuola (selezione degli studenti, composizione delle classi, abbinamento classi-docenti, adozione di metodologie didattiche, organizzazione del lavoro dei docenti, ecc.), senza cercare di districarne l’impatto specifico: di conseguenza, le variabili di controllo devono essere tenute al minimo indispensabile, lasciando nel residuo tutto quello che è di pertinenza della scuola. Paradossalmente, se seguissimo la strada indicata da Tassinari, aggiungendo ulteriori controlli, finiremmo con l’attribuire un “prezzo” (il cosiddetto valore aggiunto) al contributo del singolo docente ai risultati degli studenti: in quel caso andremmo davvero nella direzione di stabilire un mercato esplicito dell’istruzione, almeno per quel che riguarda gli insegnanti.

Fatta questa premessa, veniamo alle osservazioni specifiche.

1. Per le ragioni indicate in precedenza, un R² basso nel modello con gli effetti fissi di corso e ateneo non è preoccupante, anzi va nella direzione auspicata (a condizione naturalmente che gli effetti fissi siano significativi).
2. Una correlazione di 0,55 fra voti e crediti formativi (nell’ambito di una cross section) non mi pare affatto bassa: tanto più che Tassinari se l’aspettava negativa (ma, anche qui, bisogna fare attenzione a precisare se si intendono correlazioni conditioned o unconditioned).
3. Mentre, a partire dal lavoro di Angrist e Lavy (1999)[1], vi è un’importante letteratura sull’effetto della dimensione della classe sugli apprendimenti degli studenti, l’impatto dello school size è stato in effetti meno indagato dagli economisti (ma non dagli psicologi dell’educazione). L’ipotesi di Tassinari sull’esistenza di una scala ottimale è suggestiva (anche se non intacca l’obiettivo di Eduscopio.it per i motivi che abbiamo detto): l’evidenza preliminare per le scuole secondarie è che la scala ottima sia compresa fra 600 e 900 allievi, con forti diseconomie oltre i 1.000 (si vedano Lee e Smith (1997) [2] e Leithwood e Jantzi (2009)[3]).
4. Tassinari attribuisce molta importanza alla questione dell’effetto classe, che, se capisco bene, include sia l’effetto pari (si impara dai compagni oltre che dai docenti, ma si veda Angrist (2014) per una voce critica[4] e Sacerdote (2011) per una rassegna[5]) sia l’attribuzione dei docenti alle classi da parte del dirigente scolastico. Come scrivevo prima, sia i criteri di aggregazione degli alunni in classi sia l’abbinamento fra classi e docenti rientrano nelle prerogative della scuola: pertanto, è giusto che esse non vengano factored out nell’analisi ma che il singolo istituto risponda delle sue scelte, in base all’indice FGA.

Per concludere (e non volendo proseguire all’infinito un dibattito che rischia di essere rilevante solo per gli addetti ai lavori): i quesiti di ricerca che pone Tassinari sono d’interesse; tuttavia, Eduscopio non è lo strumento adatto per rispondervi: il suo obiettivo è unicamente quello di dare conto alle famiglie dei risultati delle scuole.

Riferimenti bibliografici

[1] Angrist, J. and Lavy, V. (1999) ‘Using Maimonides’ Rule To Estimate the Effect of Class Size on Scholastic Achievement’ The Quarterly Journal of Economics, 114 (2): 533-575

[2] Lee, V. E., & Smith, J. B. (1997). High School Size: Which Works Best and for Whom? Educational Evaluation and Policy Analysis, 19(3), 205-227.

[3] Leithwood, K., & Jantzi, D. (2009). A Review of Empirical Evidence About School Size Effects: A Policy Perspective. Review of Educational Research, 79(1), 464-490.

[4] Joshua Angrist, The Perils of Peer Effects, NBER Working Paper No. 19774, December 2013, Revised January 2014

[5] Sacedote, B. (2011) ‘Peer Effects in Education: How Might They Work, How Big Are They and How Much Do We KnowThus Far?’ in Handbook of Economics of Education vol. 3 (eds) Hanushek, E., Machin, S. and Woessmann, L. Amsterdam: North-Holland

Giorgio Tassinari, Università di Bologna.

Ammetto di essere deluso, molto deluso. Dal dott. Gavosto mi aspettavo qualcosa di più fantasioso e allo stesso tempo più plausibile; invero il richiamo al clima natalizio che renderebbe tutti più buoni può risultare convincente solo per i bambini che hanno meno di otto anni e che credono ancora a Babbo Natale. Prendo quindi atto che il dott. Gavosto non vuole (oppure non può, non tiene gana, come direbbe Camilleri, oppure… honny soit qui mal y pense) affrontare la disputa in campo aperto. Preferisce rimanere arroccato nella sua fortezza savoiarda, a cui però l’assedio è sempre più stretto. Segnalo infatti a lui e soprattutto ai lettori di Roars che  nell’ultimo numero del Menabò di Etica ed Economia il prof. Michele Raitano ha pubblicato un breve saggio su Eduscopio, anche questo assai critico.

Nella sua seconda replica il dott. Gavosto insiste sulla differenza tra “rendicontazione” e “valutazione”, sottile come un foglio di carta velina. Peccato infatti che tutta la stampa, nazionale e locale, abbia letto e interpretato le elaborazioni di Eduscopio in termini di graduatoria. Ma la distinzione tra valutazione e rendicontazione è fragile, e non regge una analisi ermeneutica minimamente seria. Entrambi i termini  condividono la nozione di valore, ma vi è anche una radice escatologica comune (vedi Luca, 19, 11-27). Infatti la parabola dei dieci servitori racconta che dopo che ciascuno dei servi ha reso conto al padrone dell’uso dei talenti affidati loro, il padrone “valuta” le loro azioni.

Altro motivo di delusione è la rozzezza epistemologica della FGA. Gavosto afferma che “Eduscopio si limita a fotografare gli esiti delle scuole”. Ebbene, uno studioso di scienze sociali che pretende di essere oggettivo, e non si rende conto di essere impegnato in un gioco linguistico alla Wittengstein, è, ad essere clementi, uno spirito semplice…

Tornando all’importanza dell’effetto classe, la giustificazione di Gavosto è disarmante. Tutta la letteratura rilevante afferma che se il fenomeno che stiamo studiando ha una struttura gerarchica (nel nostro caso studenti-classi-scuole) occorre usare un modello gerarchico, ovvero un modello multilivello (vedi Raudenbush e Bryk 2002). A questo riguardo Gavosto afferma al contario che si possa arrivare alla scuola tramite aggregazione degli studenti. Aggregazione perfetta, evidentemente. Ma il dott. Gavosto ha mai sentito parlare della macroeconomia?

Infine, rinnovo il mio invito ad una tenzone diretta. Se il dott. Gavosto lo preferisce, può inviare in sua vece un campione.

Riferimenti bibliografici

1. Raudenbusch, A. Bryk (2002), Hierarchical Linear Models. Applications and Data Analysis Methods, Thousand Oaks, Sage.