Concilio dei topini

Sequel: Esami scolastici a stadi (2)

Un perenne problema di qualsiasi metrica venga usata per valutare le persone è la legge di Goodhart: c’è sempre qualcuno che “bara”, nel senso che trova un modo per massimizzare la metrica che non è quello che si intendeva ottenere. Questo è il motivo per cui in molti sistemi il giudizio umano ha l’ultima parola: nello sport c’è l’arbitro, nella legge c’è il giudice, in informatica ci sono gli amministratori di sistema. Le leggi senza il giudice che le interpreta, per quanto pignole e dettagliate, saranno sempre piene di cavilli, così come i programmi sono pieni di bug e si piantano per motivi arcani.

Sulla scuola si sente dire spesso che c’è chi “studia solo per il voto”, o chi “prende tutti 10 e poi non sa lavorare”, o chi è “secchione ma non capisce niente”. Secondo me la maggior parte delle volte queste frasi vengono pronunciate senza troppa ragione, ma il fenomeno è reale. E mi sembra che nessuno lo prenda sul serio, o che ne percepisca la mole. A voi sembra grave che uno passa ore e ore a lezione e a fare i compiti, per anni, e alla fine non ha imparato un tubo? A me sì. Esempio: al liceo facevamo Latino, qualche ora di lezione a settimana, più i compiti. Io in Latino ero bravo, avevo ottimi voti, l’insegnante aveva persino detto “se si impegnasse potrebbe essere un Latinista”. Quanto Latino so adesso? Quasi zero. La prima declinazione è rosa, rosarum, rosis, rosae, rosae, rosis. Controllo su internet: la ricordo sbagliata. Considerando che imparare una lingua è una delle facoltà di base degli umani, in cui quasi tutti hanno discreto successo indipendentemente dall’intelligenza, non avere imparato assolutamente nulla dopo tutte quelle ore per anni è inquietante.

Alle medie facevo Francese, non ricordo granché, non ero neanche bravo, però so dire “Je ne parle pas Français”, “La Tour Eiffel est tres beaucoup”, “La mere du maire est alle à la mere”, “Ta maman est tres etc”. Non azzeccherò gli accenti, però dopo tanti anni che non lo tocco so ancora esprimere minime frasi di senso compiuto. Invece il Latino è svanito, puff. Il Francese ci è stato insegnato come una lingua, il Latino come uno strano rituale senza scopo. Gli insegnanti di Latino dicono sempre che “il Latino ti impara a ragionare”, frase che io però interpreto come “l’unico momento in cui gli insegnanti di Latino ragionano è quando fanno una versione, per il resto tengono il cervello spento”.

Il Latino dei licei è la punta dell’iceberg. La sua lampante inutilità rende il problema evidente, ma ciò a cui mi riferisco non dipende dalle specificità del Latino, avviene in tutte le materie, anche in quelle messe meglio come matematica. L’insegnamento scolastico ti fornisce una specie di versione finta di quello che dovrebbe darti, e questo è l’esito naturale quando cominci a dare dei voti e poi molli il timone. A grandi linee, il processo è il seguente. Immaginiamo di partire da una scuola primordiale. Metti su qualcuno a insegnare, fai delle verifiche e delle interrogazioni, dai i voti da 1 a 10. Anche se i voti indicano effettivamente la bravura in una certa misura, tra quelli con i voti più alti trovi degli strani figuri che non sembrano davvero aver capito cosa gli hai insegnato, ma che comunque riescono a dare risposte che suonano più o meno giuste, e che ti dicono quello che vuoi sentirti dire alle interrogazioni. E niente, i voti non sono una misura perfetta, pace e si va avanti. Chiamiamo questi esseri “secchioni”, o che so, usate il termine che voi usereste per questo fenomeno, visto che “secchione” ha troppi significati. I secchioni in qualche modo sono intrinsecamente adatti allo specifico ambiente scolastico che è stato creato. Chi è che da grande vorrà fare l’insegnante? I secchioni! Per loro la scuola, nelle sue specificità, è l’habitat naturale. E una volta al comando, continueranno a seguire la propria indole, perpetrando l’impostazione iniziale dell’insegnamento, in tutte le sue arbitrarietà irrilevanti, evolvendolo verso la purezza, la scuola fine a se stessa.

Credo che potrei andare avanti a lamentarmi molto a lungo; in particolare, in generale, per esempi; come molti prima di me. Ma tutto questo è inutile se non provo a pensare a un modo concreto per migliorare la situazione. Se io fossi il ministro dell’istruzione, cosa farei, eh? Continuerei a lagnarmi e battere i piedi?

Come si risolve il problema alla radice? Qualunque dettame specifico su verifiche e programma, a parte essere un palo nel culo per tutte le persone che vogliono pensare con la propria testa, è destinato al Goodharting; è come la selezione naturale. Bisogna fare in modo che tutte le figure coinvolte, dagli studenti, ai genitori, agli insegnanti, ai presidi, siano incentivate a far sì che i pargoli imparino “davvero” qualcosa, indipendentemente dal metodo. Ma se ogni test concepibile può venire forzato per cercare di prendere voti più alti senza veri risultati, allora non è impossibile? Esempio: al momento l’INVALSI non conta più o meno un tubo. C’è la graduatoria, le presidi sono tutte giulive se la loro scuola è in alto, applausini isterici, e sticazzi. Però ultimamente avevo letto qualcuno lamentarsi che poi il ministero aveva davvero cominciato a farci qualcosina con l’INVALSI, non ricordo cosa. Cosa succederebbe se l’INVALSI avesse conseguenze concrete? Che so, gli insegnanti con più punti hanno accesso preferenziale alle scuole “migliori”? Più fondi extra? Succederebbe che tutti barerebbero l’INVALSI come se non ci fosse un domani, genitori, insegnanti, presidi, tutti. Secondo me sarebbero anche capaci di farlo supercazzolandosi da soli che in realtà sono bravi e onesti cittadini.

Ho pensato, pensato, pensato… Ogni voto che ha una conseguenza concreta e immediata diventerà fasullo, ci saranno le scuole dove tutti hanno 10, gli esami di maturità dove tutti hanno 100, le università dove tutti hanno 30.

Allora i voti devono essere privi di conseguenze immediate.

Eh e così però nessuno fa più un tubo! Ci deve essere un risultato intermedio, qualcosa di raggiungibile che ti dice se stai facendo bene, perché pochi ragazzini-ragazzi-adulti hanno la lungimiranza e l’esperienza necessaria per capire come prepararsi al lavoro che dovranno fare anni nel futuro.

Allora ci devono essere i voti subito che non contano, e i voti dopo che contano.

I voti delle verifiche durante l’anno non vanno in pagella. Possono determinare prestigio sociale, sgridate della mamma, lo sguardo commiserante dell’insegnante, ma non vanno nella cazzo di pagella. A fine quadrimestre, gli studenti si recano in altra sede a fare una serie di esami standardizzati statali su tutte le materie, di quelli adattivi al computer in cui ognuno riceve domande diverse in base a come sta andando, a tempo, copiare impossibile, e che poi vengono analizzati con una regressione multilivello che ricalibra tutti i punteggi e stima le incertezze sui voti. Le verifiche didattiche possono avere domande aperte, permettere all’insegnante di capire cosa sbagli, etc.; la verifica finale che conta per la pagella invece è obiettiva e imbarabile. Insegnamento e valutazione separati. In questo modo i genitori sono incentivati a rompere le scatole agli insegnanti solo nella misura in cui il figlio è davvero migliorato nella mega batteria di test statali, e non “come si permette di dare 6 a mio figlio, guardi che io ho 7 lauree”.

Vi sembra sufficiente? Se pensate che forse sì dai, non avete capito quando è subdolo e inesorabile il Goodharting! Sarei proprio un ingenuo! I genitori e gli insegnanti sono straincentivati a far diventare i ragazzi bravissimi a compilare test standardizzati. Scordatevi le verifiche aperte utili a seguire gli studenti, le mamme agguerrite pretendono sessioni di allenamento con test a crocette, coach su come gestire ottimalmente il tempo in un test strutturato, droghe varie da somministrare ai figli. Una qualsiasi modifica alla metodologia di test diventa occasione di guerra fratricida. “Mio figlio si è allenato tanto a ottimizzare le prestazioni sui test da 60 secondi a domanda, e ora lo stato ci tradisce con i test da 120! È un’ingiustizia!”.

Allora ci devono essere i voti subito che non contano, i voti dopo che contano per gli studenti, e i voti dopo ancora che contano per gli insegnanti.

Dopo i test per la loro pagella, ci sono altri test analoghi, da capo tutte le materie, che gli studenti devono completare. Solo la partecipazione e l’invio del test conta sulla pagella; il risultato è anonimo, noto solo a livello aggregato per insegnante. Assolutamente nessuna conseguenza, il ministero pubblicizza chiaramente che se rispondi “cacca, culo, pipì, pupù” nessuno lo saprà mai e nessuno verrà mai a romperti le scatole. Gli insegnanti vengono premiati proporzionalmente alla variazione dei voti degli studenti su questo test, con un bonus mensile variabile in aggiunta allo stipendio fisso. Uno studente vuole ricattare un insegnante? Può mandare in bianco le risposte su quella materia, ma sarà uno studente su centinaia. 100 studenti si mettono d’accordo per ricattarlo? Beh a questo punto mi chiederei come ha fatto a farsi tanti nemici, ma a qualcuno succederà, che so, magari perché è severo: allora lo stipendio calerà, ma poi la variazione al test successivo sarà alta perché parte da un valore basso, e quindi soldi gratis, ricattatemi pure stronzi. Ci sono studenti che vengono da un’esperienza scolastica disastrata e hanno gravi lacune? Soldi gratis per chi se li prende, sono i più migliorabili! Chissenefrega se sono indietro con il programma, il punto è che possono migliorare più degli altri! Un insegnante vuole prendersi solo gli studenti più coscienziosi, che si impegneranno nel test anche se non conta per loro? Ma tanto non è che si impegneranno di più la volta dopo. I somari hanno la stessa variazione relativa di impegno in media.

Quale studente si mette a impegnarsi in un lungo test in cui nessuno lo vede, nessuno lo valuta, e nessuno gli farà i complimenti? Deve piacergli. Deve stargli simpatica l’idea di essere bravo nella materia. Non serve che si impegni quanto nel test della sua pagella, basta che almeno ci provi, tanto il voto non viene rapportato. Quindi fargli associare i test all’ansia non è una buona idea per i suoi insegnanti, devono rendere interessante la materia.

Siamo a posto? Gli insegnanti devono far contenti simultaneamente i genitori e gli studenti, sia sul voto competitivo che sull’interesse per la materia. Quali cavilli rimangono? Ma questa è la domanda sbagliata. Il punto del Goodharting è che i cavilli ci sono sempre, qualsiasi misurazione è destinata a marcire. Anche se nelle situazioni che ho considerato sembra funzionare, nel momento in cui il sistema venisse implementato, dopo un anno tutti avrebbero imparato benissimo quali classi convengono agli insegnanti e quali no. In questo momento non riesco a immaginare quali nello specifico, ma ci saranno per forza quelle che massimizzano il compromesso stipendio-rotture di coglioni. Qualsiasi cosa non sia esattamente costante, avrà un massimo, e le persone che ci sono in mezzo lo trovano. Quindi avverrebbero mille battaglie e sotterfugi sulla formazione delle classi e per assegnare gli insegnanti. Stai antipatico ai nonni perché sei gay, e il preside non vuole rotture? Beccati la classe maledetta!

Allora ci vogliono i voti per imparare, i voti per valutare solo gli studenti, i voti per valutare solo gli insegnanti, e pure i voti per valutare solo la scuola, pure quelli.

Questi poveri studenti, dopo aver completato le due batterie di test, ne affrontano una terza. Come nella seconda, per la loro pagella conta solo la partecipazione, quello che scrivono è anonimo e la valutazione è pubblica solo in forma aggregata per scuola. Le scuole nella loro interezza e i presidi vengono premiati in base al punteggio assoluto calibrato a livello nazionale. È importante che al livello più alto ci sia il punteggio assoluto anziché variazioni relative o altre misure variopinte, perché quello che ti interessa massimizzare davvero è l’abilità di ogni studente. Ci sta che l’insegnante venga premiato se fa migliorare di più lo studente, ma questo solo perché ci aspettiamo che questo sistema porti al miglioramento sulla scala assoluta. La legge di Goodhart dice che ci saranno sempre dei modi per far aumentare la variazione senza migliorare il risultato finale, e che per quante regole uno metta, le persone troveranno sempre il modo per barare se non c’è qualcuno che glielo impedisce giorno per giorno. Allora l’insegnante va inserito in un contesto in cui conta il risultato finale punto.

Dunque abbiamo sistemato studenti, genitori, insegnanti, presidi. Cosa manca?

I test! I test li fa qualcuno, e in base a questi test milioni di persone vengono valutate e premiate, a tutti i livelli, in tutti i sensi. Il ministero ha un controllo enorme. Quindi i nostri cari studenti, nel caso non si fossero rotti abbastanza le scatole dopo tre esami di stato, devono sottomettersi a un quarto test. Come al solito, solo la partecipazione conta per la pagella. Questo test non viene progettato né realizzato dal ministero. È ad arbitrio di un ente indipendente, con ruoli non eletti. I risultati vengono aggregati a livello regionale e comunicati in parlamento.

Per riassumere:

1. I voti delle verifiche degli insegnanti non contano in pagella.
2. Un primo esame di stato a fine quadrimestre, calibrato a livello nazionale, determina le pagelle.
3. La variazione su un secondo esame analogo determina i bonus per gli insegnanti, non ha effetto sulle pagelle se non per la partecipazione ed è anonimo.
4. Il punteggio assoluto su un terzo esame determina i bonus per scuole e presidi.
5. Un quarto esame, gestito indipendentemente, viene usato per monitorare il sistema.

In realtà non mi aspetto che il protocollo che ho descritto funzioni così com’è. Ci saranno sicuramente molti difetti da sistemare e dettagli da stabilire. Però credo che l’idea nel suo complesso sia migliore di quello che abbiamo adesso; anziché regole imposte dall’alto su come insegnare, una serie gerarchica di incentivi fa sì che tutti vengano premiati se riescono davvero a far migliorare gli studenti su una misura oggettiva, senza cercare di “barare”, sia nel senso di alzare i voti arbitrariamente, sia di tenere solo al voto e non a cosa piace allo studente.

Ovviamente nessuna delle valutazioni individuali sarebbe pubblica, e le università si baserebbero esclusivamente sui loro test di ingresso indipendenti. Ma questa è un’altra storia.