Concilio dei topini

La settimana scorsa scrissi una mia idea su come ristrutturare il sistema di valutazione scolastico, dalle verifiche all’INVALSI.

Sommario: molti hanno esperienza diretta del fatto che sistematicamente la scuola ti fa perdere tempo a imparare cose inutili, o addirittura ti fa perdere tempo a non imparare niente. Io credo che la scuola nel suo complesso sia utile, e vorrei un modo per ridurre o eliminare questi difetti. Non mi aspetto che dettagliati diktat dall’alto funzionino, perché ho esperienza negativa anche con quelli. Ci vuole un sistema flessibile che incentivi studenti, insegnanti, genitori, presidi a tenerci a insegnare davvero qualcosa, senza però obbligarli a seguire uno schemino rigido.

Esempio: al momento il ministero ti manda a seguire dei seminari in cui ti spiegano di non fare lezioni frontali. Tali seminari, manco a farlo apposta, sono strutturati come l’esempio da manuale della peggior lezione frontale possibile: diapositive piene di scritte, lette da una persona che se ne sta impalata a parlare senza interruzioni. Tutti annuiscono, ripetono in coro “non faremo lezioni frontali”, e poi tornano a fare lezioni frontali.

Ho parlato con un insegnante che pensava che fare una pausa dopo 30 minuti di spiegazione contasse già come “poco frontale dai”. Al momento “lezione non frontale”, “active learning”, “lezione partecipata”, etc. sono perlopiù degli slogan, e i pochi insegnanti che ne capiscono davvero il significato lo applicano senza nessuna forma di riconoscimento. In particolare, cambiare radicalmente modo di insegnare dopo che per tutta la vita hai subìto ed eseguito lezioni frontali, idem gli studenti, implica che probabilmente all’inizio la qualità sarà peggiore a causa della mancanza di esperienza, e ci saranno un sacco di lagne. Inoltre anche se l’active learning migliorasse l’apprendimento, questo non si tradurrebbe in voti più alti nell’attuale sistema. Quindi impegnarsi è non solo non incentivato, ma disincentivato. Bisognerebbe introdurre un incentivo forte, una forma di premio o riconoscimento, per chi cambia davvero metodo di insegnamento.

Il problema è che dare forti incentivi è pericoloso. Se si decidesse di dare bonus sugli stipendi degli insegnanti o sui fondi della scuola in base a una qualche metrica (una prova tipo INVALSI ad esempio), la metrica in questione verrebbe barata fino all’osso. Così come ci sono sempre gli studenti che cercano di prendere un voto migliore senza aver davvero capito, ci sarebbero insegnanti e presidi che troverebbero strategie, cavilli e sotterfugi, consci o inconsci, per migliorare il proprio stipendio o punteggio. L’INVALSI così com’è adesso non reggerebbe due minuti se avesse delle conseguenze concrete. Questo fenomeno in generale si chiama legge di Goodhart.

La mia idea è applicare una sorta di bilanciamento dei poteri tra varie metriche in modo gerarchico. Persone diverse vengono premiate in base a parametri diversi, e l’unico modo ovvio per aumentarle tutte è che gli studenti imparino davvero qualcosa. Schema:

1. I voti dati direttamente dagli insegnanti agli studenti non contano per la pagella. Questo serve per evitare che uno studente “studi per il voto” sulle verifiche, che gli studenti competano all’interno della classe, e che un insegnante che se la prende con te possa danneggiarti.
2. A fine quadrimestre e a fine anno, gli studenti si recano in altra sede per affrontare esami su tutte le materie. Gli esami sono stabiliti a livello nazionale per disciplina, come l’esame di maturità, però non sono a traccia unica, e non saturano, per evitare copiature o aiuto vicendevole durante l’esame, e sono gli stessi per tutte le età. I voti vengono ricalibrati a livello nazionale con una regressione multilivello. Questi esami sono quelli che contano per la pagella. Anche se le verifiche non fanno media, gli studenti sono tenuti a impegnarsi perché devono riuscire a fare bene questo esame. Averli ogni metà anno anziché solo a fine anno serve per avere un incentivo più a breve termine.
3. Dopo la prima batteria di esami, gli studenti ne affrontano una seconda, analoga ma diversa. La partecipazione e la sottomissione di questi esami conta per la pagella dello studente, ma non il risultato. Il miglioramento da un quadrimestre all’altro materia per materia viene usato per assegnare un bonus sullo stipendio dell’insegnante, mediato sui suoi studenti. Il fatto che questo esame sia di seguito al primo fa sì che lo studente arrivi già preparato, quindi ottenere un risultato simile, in media, dipende più che altro dalla sua volontà e voglia di impegnarsi, non contando per la sua valutazione. Questo fa sì che l’insegnante debba mettere gli studenti in una condizione tale da aver voglia di fare bene l’esame anche se per loro non conta niente. Lo sbilanciamento numerico studenti-insegnante fa sì che sia difficile per l’insegnante corrompere gli studenti, e che per un singolo studente sia difficile ricattare l’insegnante. L’insegnante viene premiato sulla variazione per evitare che cerchi di ottenere studenti migliori in partenza; avere studenti scarsi non gli fa differenza se variano in media della stessa quantità.
4. Dopo la seconda, gli studenti completano un’ulteriore terza serie di esami. Come per la seconda, per la loro valutazione conta solo partecipare. I risultati degli esami, mediati, hanno effetto solo sullo stipendio del preside e su bonus per i fondi alla scuola. Premiare sul punteggio assoluto serve per evitare distorsioni dovute al fatto che gli insegnanti vengono premiati sulla variazione, che porterebbe a strategie in cui gli studenti fanno apposta male il secondo test la prima volta se l’insegnante gli sta simpatico.
5. Un terzo test, realizzato a parte, ha risultati completamente segreti che vengono usati da un’ente tecnico regolatore non eletto per valutare il ministero. Solo i dati aggregati per regione vengono letti in parlamento. Una sorta di democrazia diretta alla bitcoin.

Anche se secondo me l’idea generale potrebbe essere valida, il modo in cui l’ho pensata è probabilmente pieno di buchi. Mi hanno fatto notare i seguenti problemi.

Alla fine contano solo i test

Visto che tutto in qualche viene misurato con queste tre serie di esami simili tra loro, nonostante tutti i giri e i paletti che ho messo in mezzo per fare in modo che le persone si controllino a vicenda, dopo un periodo di adattamento il risultato dovrebbe essere che gli studenti studieranno per il voto, gli insegnanti insegneranno per il voto, i presidi selezioneranno per il voto, i genitori romperanno i coglioni per il voto. Certo, magari lo farebbero in modo più efficiente di adesso, però comunque il punto è il voto e non “imparare davvero qualcosa”.

Per rispondere a questa critica, la contestualizzo. In base alla legge di Goodhart, qualsiasi sistema di misura concepibile verrà distorto in questo modo. Quindi non bisogna chiedersi semplicemente se gli studenti studino per il voto in un senso assoluto, perché la risposta sarà sempre sì, ma piuttosto se lo facciano più o meno che con il sistema attuale. Mi aspetto che il solo fatto che chi valuta sia separato da chi insegna migliori molto questo aspetto, e il resto del sistema di pesi e contrappesi serve solo a evitare che la nuova metrica non crei altri problemi di tipo diverso.

Effetti di bordo sugli incentivi per gli insegnanti

Poiché un insegnante viene premiato in base a quanto migliorano in media sul test 2 gli studenti che ha avuto nel quadrimestre, quando uno studente cambia insegnante la sua prestazione influenza il premio di due insegnanti. Ad esempio, se lo fa molto male apposta perché ha odiato la materia nell’ultimo quadrimestre, implicitamente sta anche dando un vantaggio all’insegnante successivo.

Nel complesso questo crea un certo incentivo a prendere studenti che vengono da un’esperienza negativa, e a evitare quelli che vengono da un’esperienza positiva. Secondo me questo è un effetto benefico perché produce una retroazione negativa, che stabilizza il sistema. Se gli incentivi fossero per prendere chi sta già meglio, si avrebbe una situazione in cui le differenze di trattamento vengono accentuate anziché bilanciate, ovvero la classica situazione in cui le disuguaglianze vengono amplificate.

Per coloro a cui in generale non piace cercare di livellare le disuguaglianze, ad esempio perché pensano che “ognuno riceve quel che merita”: questa retroazione agisce sulle disparità di trattamento, non di abilità dello studente. Non è un sistema che “fa finta” che gli studenti siano tutti bravi uguali, o che danneggia chi è più bravo limitandone le possibilità, ma che cerca di dare a tutti le stesse opportunità.

Gli studenti ti sparano

Credo che questa critica si riferisca al fatto che gli studenti devono fare quattro batterie di esami di fila. Poiché la preparazione è una sola, e le ripetizioni non sono valutate per lo studente, mi aspetto che in realtà come scocciatura non sia particolarmente pesante. I voti degli esami successivi caleranno in base alla curva di rompimento di palle degli studenti, ma tanto non sono rapportati gli uni con gli altri, quindi non è un problema.

Sistemi simili vengono forzati anziché portare a miglioramenti

Nel mondo esistono già sistemi scolastici in cui insegnanti e presidi vengono premiati direttamente in base al rendimento degli studenti, e succede che, come predetto dalla legge di Goodhart, si producano distorsioni in cui le scuole cercano di selezionare gli studenti di un certo tipo piuttosto che preoccuparsi della loro educazione, perché forti premi diretti attirano il tipo di persona che ci tiene al premio piuttosto che il tipo di persona che lavora perché ci crede.

Ammetto ignoranza. Non me ne intendo di insegnamento in generale, e la mia esperienza di insegnante è di qualche mese. Però preferisco scrivere le mie idee prima di essere influenzato da ciò che già esiste, perché altrimenti mi sarebbe molto difficile pensare in modo originale. Scoprirò in seguito se un sistema simile al mio è già stato implementato, ed eventualmente come funziona davvero.

Quello che mi aspetto in generale è che i dettagli di un sistema del genere andrebbero tarati in base a prove reali. Quanto sono ampi i bonus? Come vengono calcolati? Che tipo di prove si usano? Su che scala vanno calcolate le medie? Come viene tenuta in considerazione l’incertezza sui risultati dei test? Credo che uno sbilanciamento di caratteristiche del genere sia sufficiente a rompere tutto.

Mi aspetto però che sia necessario avere misure diverse in contrasto tra loro per evitare gli abusi, e che la misura gerarchicamente più in cima dipenda dal rendimento assoluto e non da quello relativo. Vedrò se almeno queste idee reggeranno il confronto con ulteriori informazioni.

Tanto la scuola non serve a niente

Bryan Caplan dice che la scuola è inutile e andrebbe rimossa. Beh, non sono d’accordo!

David Friedman fa dei buoni argomenti sull’educare i figli a casa, però non sono argomenti statistici: non mi aspetto che la sua esperienza personale e delle persone simili a lui generalizzi. A me personalmente la scuola ha dato cose che i miei genitori non mi avrebbero dato, che avrei fatto fatica a trovare da solo, e io sono sempre stato tra i migliori studenti, che mi sembra il tipo di persona per cui lui argomenta che la scuola sia inutile. D’altro canto, la scuola mi ha anche dato un sacco gigante di merda, e vorrei tenere solo la parte buona.

Comunque, se anche mi convincessero che niente scuola è meglio che la scuola attuale, non credo che sarebbe una proposta politica realistica. Voglio ragionare all’interno della finestra di Overton, cioè limitatamente a ciò che sembra essere un futuro plausibile del sistema attuale.

Un esame a fine quadrimestre è troppo a lungo termine

Se le valutazioni didattiche non avessero ricadute, forse molti studenti non avrebbero lungimiranza sufficiente a impegnarsi per il test a fine quadrimestre.

Mi sembra un argomento serio. Io stesso sono sempre stato pigro con gli esami, le verifiche e le scadenze. Questo però quando non me ne frega niente e lo devo fare solo perché devo farlo (cioè quasi sempre), altrimenti vado a schioppo. Io credo però che le modifiche al sistema trasformerebbero la didattica in modo da impedire all’insegnante di fare cose che rendono scontenti gli studenti. In un clima più positivo, credo che lo studente si impegnerebbe perché gli interessa. Se non si impegna su un qualche argomento perché non gli piace, in un test non saturato può comunque dare il meglio di sé se ha un punto di forza.

La pagella non funziona più

Il primo test è quello che determina principalmente la pagella dello studente. Però se il test è standardizzato a livello nazionale, la pagella così com’è adesso diventa inutile. Non si può decidere di bocciare lo studente perché ha troppi 4, i voti sono su una scala molto più ampia. Quindi a chi dovrebbe fregare di avere una buona pagella, se non ci sono le bocciature? Oppure, come funzionerebbero le bocciature?

Io sono contrario alle bocciature, ho già ragionato su come rimpiazzarle e intendo definire meglio questa zona grigia del sistema in post futuri. Il fatto che introdurre un punteggio oggettivo esterno renda immediatamente insensate le bocciature mi sembra già un’indicazione di quanto servano.

Ad esempio, se la bocciatura fosse decisa in base ai punteggi relativi degli studenti in una classe o scuola, metterebbe estremamente in competizione gli studenti. Notate che questa è la reificazione del sistema attuale.

Se invece fosse decisa in base ai punteggi assoluti, sarebbe una tortura predestinata delle persone meno capaci su scala nazionale.

Per il momento, per non lasciare un buco, diciamo che viene stilata una classifica pubblica. Secondo me la pressione sociale così è già enorme.

La variazione non è zero in media?

Gli insegnanti vengono premiati in base a quanto cambiano in media le prestazioni dei loro studenti sul test 2. Gli studenti a volte andranno meglio, altre peggio, ognuno con un suo livello medio, e quindi l’insegnante prende sempre lo stesso bonus indifferentemente. Ad esempio, gli studenti possono punire un insegnante non gradito solo una volta, dopodiché la variazione può solo diventare positiva o rimanere zero.

Il problema della variazione media nulla è risolto dal fatto che i test siano gli stessi per età diverse, quindi i punteggi in media aumentano.

Per l’impossibilità di punizioni multiple: un insegnante che ottenga punteggi bassissimi sul test 2 sarebbe molto evidente al preside, e gli studenti possono fare male anche il test 3 per mettere pressione, cosa che comunque avviene naturalmente se la materia gli ha fatto schifo.

Gli insegnanti non possono scegliersi gli studenti, quindi alcuni di questi problemi non esistono in primo luogo

Dissento.

La mia breve esperienza a scuola mi ha fatto notare che la politica interna di una scuola determina chi riceve le classi “migliori”. In alcune scuole questo avviene anche in violazione di regole scritte sugli assegnamenti, con gli insegnanti più anziani che beccano le classi tranquille. Nonostante sulla carta le classi non dovrebbero essere selezionate per abilità, mi aspetto che tutti i lettori abbiano notato che non è così nella realtà. Ad ogni modo, la variazione casuale sarebbe sufficiente ad avere classi differenti su qualsiasi misura di “migliore” a cui tengano gli insegnanti.

Oltre ai meccanismi interni alle scuole, gli insegnanti esercitano la scelta scegliendo, o lottando con le unghie per scegliere, in che scuola lavorare. Anche qui, nonostante sulla carta i diversi tipi di scuole dovrebbero differire solo per tipo di mestiere che insegnano, mi aspetto che i lettori abbiano notato come invece la società devolva rapidamente per usare le categorie attitudinali come segnali di intelligenza e altre “virtù gradite”.

Gli studenti farebbero i test successivi come il primo in ogni caso

Il funzionamento del sistema si basa sul fatto che le persone reagiscano alle situazioni sgradite e rispondano agli incentivi. Però a volte le persone sembrano comportarsi un po’ come dei droni, e fanno quello che devono fare per abitudine. Visto che gli studenti studiano per il primo test perché è importante per loro, cosa gli costa fare anche il secondo e il terzo? Non è che lo farebbero decentemente solo così tanto per, indipendentemente da quanto la materia o la didattica gli siano piaciuti?

Io non lo farei. Se l’insegnante mi facesse cagare, probabilmente farei apposta a scrivere cacca culo pipì in tutta la verifica. Oppure inventerei delle risposte surreali per non annoiarmi. Molti miei conoscenti secondo me farebbero lo stesso.

Gli altri, non lo so. Ho visto così tanti secchioni obbedienti da rimanerne inquietato. In particolare dal mio punto di vista di maschio indisciplinato, le femmine a volte mi sembra che ci godano a sottomettersi all’autorità, anche quando apparentemente non c’è alcun motivo, o quando è addirittura controproducente.

Come nel caso del fatto che un esame 3-4 mesi in là sia troppo a lungo termine nel contesto attuale, mi aspetto che il sistema trasformerebbe le aspettative e i comportamenti tipici degli studenti. Al momento la scuola promuove molto essere il bravo studente obbediente, mentre il nuovo sistema non lo farebbe più. Però devo ammettere che molte femmine rimangono per me un’incognita totale. Le femmine secchione si impegnerebbero in ogni caso nei test 2, 3, 4 solo per fare le brave bimbe? Il mio sistema sarebbe sufficiente a dargli una svegliata e a renderle più indipendenti? Un’inaspettata angolazione femminista. L’intuito mi suggerisce che funzionerebbe, ma non mi sento sicuro.