Caro direttore,
l’iniziativa del ministro Carrozza e la conseguente istituzione del Comitato per selezionare il nuovo presidente dell’Invalsi ha (ri)messo in circolo la lettera al ministro inviata nel luglio scorso per iniziativa di Fabio Lucidi, Pietro Lucisano e Renata Maria Viganò da alcuni professori universitari (l’elenco dei firmatari conta 95 professori di pedagogia sperimentale o psicometria di varie università italiane).
Vi si afferma il disagio vissuto “a fronte di un uso talvolta inappropriato degli strumenti di misura degli apprendimenti e, in particolare, delle prove strutturate. Specifici errori nella costruzione o nell’uso di questi strumenti, invece di contribuire a diffondere una seria cultura della valutazione rischiano di generare incidenti di percorso, gettando discredito su pratiche scientifiche che nel tempo hanno consolidato procedure e modelli di analisi rigorosi e affidabili”.
A parte la differenza che esiste fra prove strutturate e prove standardizzate, sarebbe interessante sapere quali aspetti dei rapporti tecnici presentati annualmente dall’Invalsi nel mese di luglio non hanno soddisfatto i requisiti di scientificità. Non mi ricordo per esempio che sul delicato tema della misura della propensione al cheating vi sia stato un contributo fattivo all’elaborazione di un quadro teorico e di un algoritmo migliore di quello utilizzato da Invalsi.
Né mi ricordo che a seguito della pubblicazione di un Rapporto sia comparsa una presa di posizione pubblica su qualche aspetto di dettaglio. I Rapporti vengono pubblicati, ma giacciono inutilizzati: dalla scuola perché sono troppo tecnici, dagli addetti ai lavori perché … non so perché. Che io sappia, in 5 anni di gestione dell’Invalsi da parte della Banca d’Italia la comunità accademica non ha dato grandi contributi propositivi. Il bando di ricerca dell’Invalsi rivolto l’anno scorso proprio all’università per chiedere contributi di ricerca sull’aspetto metodologico non ha certo visto una partecipazione di massa di psicometristi e pedagogisti.
Sarebbe bello che in questa occasione venissero fuori i paper, le pubblicazioni, gli studi di caso che mostrano un uso inappropriato degli strumenti oppure che suggeriscono modalità alternative di risolvere le questioni tecniche, magari con un repository di studi di accademici italiani nel merito della costruzione delle prove e dell’uso dei dati. Il fatto è che da anni lamentiamo come sulle prove Invalsi si siano visti solo o i titoli di quotidiani, o gli attacchi spesso non argomentati dei detrattori.
La ragione delle critiche dei pedagogisti-psicometristi pare emergere dove in seguito si dice che “la Docimologia e la Psicometria sono state espropriate ai settori scientifici di competenza e affidate a consulenti ed esperti con il risultato di alimentare sospetti e resistenze nei confronti dei processi di selezione e valutazione”.
Si tratta in questo caso non di diffidenza bensì di vera e propria lesa maestà: un “Istituto di ricerca” (che non è l'”accademia” titolata a ricercare) utilizza in corpore vili gli strumenti psicometrici senza passare dall’approvazione dell’università: questo pare di capire dalla lettera. Da come è costruita la frase si capisce che i “consulenti” e gli “esperti” sono persone inaffidabili e incompetenti.
Mi dispiace parecchio che si pensi che chi lavora per l’Invalsi sia una specie di azzeccagarbugli che non ha alcuna qualifica per farlo. Evidentemente non tutti gli esperti e i consulenti hanno una carriera universitaria alle spalle (qualcuno sì), ma l’esperienza che serve per confezionare prove e quesiti richiede comunque anni di affinamento: saper calibrare il livello di difficoltà, costruire distrattori efficaci, sottoporre il proprio operato alla verifica impietosissima del pretest, che mostra ogni minima macchiolina di quello che si è fatto, non è proprio cosa da nulla. Saper leggere le tabelle che presentano i risultati, i grafici e le curve di Rasch, fare ipotesi realistiche sulle ragioni dei malfunzionamenti: non si può dire che ciò non richieda una preparazione e una seria conoscenza di quello che avviene, né si può affermare che tale conoscenza non sia presente nei membri dei gruppi di lavoro, almeno a leggere i Rapporti tecnici.
Possibile poi che i responsabili della conduzione del gruppo, che sono ricercatori selezionati per concorso pubblico (questa volta non sono consulenti, ma personale interno), non abbiano alcuna competenza scientifica? E che dire dei due ultimi presidenti, che fanno parte comunque di un istituto di ricerca di livello internazionale? Chi può fare ricerca in Italia?
Forse quello che è mancato all’Istituto è la capacità di convincere il paese della bontà dell’operazione: i Rapporti sono troppo scientifici e troppo poco popolari, non riuscendo in tal modo ad agganciare né la comunità scientifica né il popolo. Non c’è stata un’interlocuzione con le scuole fatta con semplicità, gli strumenti da mettere insieme per capire l’operazione non di rado sono macchinosi, lo sforzo richiesto agli insegnanti è oggettivamente gravoso, il lavoro da fare sulle prove e sui loro risultati è senza dubbio impegnativo. C’è una distanza che non è stata colmata, una comunicazione che non è avvenuta, una solidità all’interno che non è diventata apertura all’esterno, un feeling che non è scattato. Ma questo non ha niente a che fare con la psicometria.
La diffidenza sulle prove non è mai stata motivata dalle metodologie e nemmeno dallo spostamento sulle “competenze”, di cui semmai nella scuola si parla in positivo. La gente di scuola è diffidente per altri motivi, e il sospetto è che sia facilissimo cavalcarli. Ecco perché mi suona doloroso sapere che in Italia un lavoro degno e in fondo trasparente, fatto per un bisogno reale della collettività, non abbia credito. Dovremmo meditare sulle nostre sorti “magnifiche e progressive”, prima di cambiare linea.