I non addetti ai lavori si rassegnino se non sarà possibile spiegare in termini semplici, come quelli richiesti in un articolo di giornale, che cos’è una mediana. Basti loro sapere che è un indice con il quale l’Anvur, l’Agenzia nazionale di valutazione dell’università e della ricerca, vuole appunto “misurare” la qualità (dove nelle virgolette c’è già tutto il paradosso) del lavoro dei docenti. Un numero che dovrebbe indicare un livello minimo di ammissibilità della produzione accademica, sia quella di chi giudica il lavoro altrui – nel caso di una commissione giudicatrice: per esempio quella di un concorso a cattedra – sia quella, come è ovvio, di chi viene esaminato. Ma cosa dovrebbe esprimere, in buona sostanza, il numero della mediana? Non il numero complessivo di pubblicazioni, ma il numero di citazioni ottenuto dalle pubblicazioni del professor Tizio; il quale, più è citato, più è – nelle intenzioni dell’Anvur – un bravo professore. In pieno solleone estivo, l’Anvur ha pubblicato le mediane per l’accesso alle abilitazioni nazionali sia nei settori umanistici, non bibliometrici, sia in quelli scientifici, bibilometrici. Sul punto IlSussidiario.net ha sentito Eugenio Mazzarella, docente di Filosofia teoretica nell’Università di Napoli Federico II e parlamentare del Pd, che su l’Unità ha scritto poco tempo fa un articolo assai critico verso il lavoro dell’Anvur.
Professore, lei si oppone alla valutazione?
Sono stato criticissimo, ma certo non per oppormi a una cultura della valutazione. Anzi, per difenderla dal rischio elevatissimo di delegittimazione, se fatta male o malissimo: vedi il caso dei test per il Tfa, che è finito, per così dire, con le scuse ai candidati e con la controversa pubblicazione della lista dei 145 “responsabili”; e il dibattito e le polemiche che da mesi ci sono sulle strategie di valutazione messe in campo dall’Anvur per le abilitazioni nazionali alla docenza universitaria. Qui non è in gioco il principio della valutazione, ma la sua attuazione. Per altro, la mia forza politica, il Pd, ha promosso da sempre l’istituzione dell’Anvur.
Quali sono gli errori di merito e di metodo secondo lei commessi dall’Anvur nella predisposizione del meccanismo proposto (per quanto riguarda le discipline umanistiche)?
Le mediane per i settori non umanistici (bibliometrici) già evidenziavano l’irragionevolezza del criterio delle mediane per accedere all’abilitazione, sia per entrare nelle liste degli aspiranti commissari, sia per presentarsi come candidato. Con le mediane per gli umanisti siamo al paradosso. I valori mediani di produttività negli ultimi dieci anni risultano del tutto disparati tra settori concorsuali: per le monografie da 0 a 4, per articoli su riviste e capitoli di libri da 9 a 28, per i famigerati articoli su riviste di fascia A, di eccellenza per così dire (eccellenza la cui determinazione è del tutto opinabile e in alcuni casi veramente incomprensibile) la mediana generalmente è 1, in pochi casi 2, spesso 0. Ripeto quello che ho scritto su l’Unità: la disparatezza delle mediane, una disparatezza di produttività quantitativa, fa capire che le produttività medie, al di là di quello che c’è scritto nei prodotti, non misurano niente di rilevante da un punto di vista statistico, se per essere valutato come professore di X ho bisogno di 4 monografie e come professore di Y di zero. Almeno per il settore a zero vorrebbe dire o che la mediana è incongrua o che bisogna “chiudere” la disciplina. Probabilmente è semplicemente “misurata” male. Gli effetti sono abnormi. Prendo ad esempio il settore di filosofia teoretica, 11/c1. Sono richieste in alternativa (ne basta una di mediana, per candidarsi a commissario o a abilitando) nei dieci anni o 4 monografie, o 21,5 articoli su rivista e capitoli di libro, o 1 articolo in rivista di fascia A. Mi limito ad un’osservazione banale. Se la terza mediana è “uno”, vuol dire che è del tutto insignificante: sulle riviste di fascia A scrivono solo i gruppi che vi partecipano per affiliazione accademica. La mediana non dice nulla di significativo sulla comunità scientifica, ma consente solo ad un pupillo della scuola che fa una rivista di fascia A di potersi presentare, mentre magari un non pupillo con dieci articoli e due monografie guarda con il naso all’insù il giovane dottorato con estratto di tesi su fascia A già valutabile. O un valente studioso cinquantenne con tre monografie e 19 tra articoli di riviste standard e capitoli di libri non può presentarsi. Così come potrà fare il commissario un ordinario che abbia scritto un solo articolo in rivista di fascia A e null’altro, e non un collega che abbia le succitate tre monografie e 19 articoli e capitoli. Se si voleva evitare che potessero essere commissari o candidati studiosi considerati “inattivi”, il dispositivo delle mediane legittima precisisamente il contrario: se appartieni a un buon sistema di relazioni accademiche ti basta pochissimo per essere in commissione o per presentarti all’abilitazione. Un caso di studio per una rivista di fascia A sulla valutazione! Che dà un colpo fortissimo alla reputazione pubblica, nazionale e internazionale, dell’università italiana.
Che vuol dire, professore?
Come si fa a non rendersi conto che con questo sistema di sbarramento all’accesso all’abilitazione per commissari e candidati ne vien fuori un paradosso generale: i candidati all’abilitazione che hanno superato le mediane sono per definizione, dal punto di vista assunto dall’Anvur, già migliori, quanto meno perché più produttivi delle migliaia di ordinari di ruolo che non potranno candidarsi a commissario, non avendo raggiunto le soglie delle mediane. Allora perché dovrebbero anche essere giudicati in un concorso per diventare di fatto semplici abilitati a un ruolo che altri da decenni coprono con titoli inferiori ai loro? Andrebbero promossi nel ruolo per il quale superano la mediana ipso facto, a rigor di logica e di giustizia, fatto salvo il dottorando di buona e potente scuola accademica con articoletto in rivista di fascia A. Ma ovviamente l’università italiana non è, pure con i suoi difetti, quella che emerge da queste mediane: un covo di inattivi, che in percentuali significative ma non alte certo ci sono, ma che non si scovano con questi mezzi, ma magari con una più incisiva normativa sul tempo pieno e sul tempo definito, su cui però Miur ed Anvur non si sono dimostrati fin qui particolarmente sensibili.
Facciamo allora un passo indietro. Esistono criteri universali di valutazione che si possono applicare alla ricerca?
Assolutamente no. Questo è il vulnus di fondo, l’inconsapevolezza culturale di tutta la criteriologia adottata dall’Anvur. Mi spiego con un esempio. Può anche darsi che nella ricerca della fisica di base – anzi è probabile – sia possibile individuare dei luoghi di confronto scientifico, riviste, che avallino di per sé la bontà di un articolo che vi è pubblicato; fermo restando che in ultima istanza anche lì il “prodotto” scientifico va letto da “pari”. È ben possibile che tremila ricercatori che lavorino sul bosone di Higgs abbiano spazi di eccellenza del loro dibattito interno per così dire pre-codificati, riconosciuti da tutti. La ricerca su un settore del genere è fondamentalmente cooperativa, ha basi concettuali comuni e condivise. In ambito umanistico non è così, la ricerca ha basi concettuali spesso in dialogo fortemente dialettico, e talora antitetiche. Esemplifico rozzamente: i platonici ritengono di aver ragione sugli aristotelici, e viceversa; litigando, controargomentando a vicenda, magari migliorano le loro argomentazioni, e la “scienza” avanza… E va bene così. Ma se i platonici collocano le loro riviste in fascia A perché il sistema di relazioni accademiche in quel momento li premia, ciò vuol dire che per un aristotelico raggiungere una cattedra sarà un po’ più difficile nel mondo dell’Anvur… Spero di essermi fatto capire, e che Dio mi perdoni per aver trattato così Platone e Aristotele!
Da dati quantitativi possono mai derivare indicazioni di tipo qualitativo?
Penso proprio di no. Lo spiego con un esempio pratico, un caso che potrà accadere nel “mondo” Anvur. Vorrei candidarmi all’abilitazione. Ho 5 articoli negli ultimi 10 anni in una buona rivista non di fascia A, ma non raggiungo nessuno degli altri indicatori richiesti. Mi manca un libro, un paio di articoli, non sono presente in fascia A delle riviste. Ad una prossima tornata dell’abilitazione, è del tutto possibile che la rivista su cui ho scritto “salga” in fascia A: magari vi avranno nel frattempo scritto dei premi Nobel o il direttore avrà spiegato meglio le sue ragioni all’Anvur… Anche se nel frattempo non avessi scritto nulla, per depressione indotta da questi criteri, potrei presentarmi all’abilitazione, perché il “contenitore” su cui ho lavorato nei dieci anni sale in classifica, e quello che era di serie b nel 2012 diventa ipso facto di serie a nel 2016. A meno che all’Anvur non pensino di aver definito per sempre l’eccellenza delle riviste, e fermato così la sgradita evoluzione delle scienze… Insomma la qualità si giudica dai contenuti, non pensando di cavarsela all’ingrosso con classifiche dei contenitori!
Che differenza c’è tra valutazione del prodotto della ricerca e valutazione professionale di chi fa ricerca? Come vanno pensati (e organizzati) questi due elementi della valutazione?
Se lei intende che per aver un buon professore universitario c’è bisogno di valutarne non solo i prodotti scientifici, ma anche le capacità didattiche, lo schema di accesso all’abilitazione proposta dall’Anvur non ne tiene alcun conto. Non solo non è richiesta a chi è già nei ruoli una qualche certificazione della qualità dell’impegno didattico svolto; ma a chi non ha mai svolto alcuna attività didattica strutturata negli atenei, non è richiesta neppure una lezione “prova”, come una volta avveniva per la libera docenza e per i concorsi quando non si era già professori almeno in un ruolo inferiore. Questo è un altro vulnus dell’abilitazione scientifica così come è stata pensata: qui ci si avvia alla carriera di professore universitario, non − bene che vada − di supertecnico di laboratorio.
Tutto il lavoro dell’Anvur è oggetto di numerose critiche. Perché secondo lei?
Tutto si è concentrato sulla produzione di criteri e regolamenti, che offrissero misure statistiche dell’attività di ricerca, come se un’anagrafe ci dicesse quanti Beethoven e Einstein sono nati in un decennio di produzione scientifica… Una seria valutazione della ricerca è sempre valutazione tra pari, che si leggono a vicenda e a vicenda si giudicano. Poi la ricerca scientifica ha diversissimi profili di “produttività” sociale, che vanno dall’avanzamento morale e spirituale, dal conseguimento di un canone di bellezza all’efficienza di una soluzione giuridica o di un’equazione matematica, al conseguimento di un brevetto per una nuova tecnologia. Ritenere di poter misurare con gli stessi criteri cose così diverse è un errore culturale che si paga. Si può avere una cultura della valutazione, solo se si ha la capacità di valutare cosa è cultura in generale. Voi su questo avete sollecitato un dibattito importante.
Se questo tipo di valutazione dovesse affermarsi e prevalere, quali conseguenze vede per l’università italiana?
Nel vizio di costituzionalità, per altro eccepito formalmente dal professor Onida, dei criteri per l’accesso all’abilitazione, fondamentalmente l’aver previsto ora per allora criteri privilegiati per l’accesso alla carriera universitaria (in sostanza so solo ora come avrei dovuto costruire il mio percorso scientifico nei passati dieci anni, e quali sono le riviste di eccellenza che in questo mi avvantaggiano, stabilite per decreto), ci sono i presupposti dei binari sbagliati su cui verrà posto il futuro della ricerca italiana. I criteri che oggi avvantaggiano alcuni e penalizzano altri, se recepiti in modo stabile, determineranno un potente effetto di conformismo della ricerca scientifica: ci si costruirà la carriera sui parametri e gli indicatori di presunto merito indicati ex ante: tutti avranno interesse a pubblicare nelle stesse riviste e collane, e ad adeguarsi agli indirizzi culturali e di ricerca che tramite questo meccanismo diventeranno dominanti. Più che concentrarsi sull’innovazione della ricerca, fondamentalmente legata alla sua libertà, ci si concentrerà sul sistema di relazioni che serve a costruire un curriculum tipo Anvur. L’effetto depressivo per tutto il sistema è del tutto prevedibile, e per altro ben noto con la retromarcia a livello internazionale che si sta facendo sulla valutazione bibliometrica, o a essa assimilabile, lì dove è stata applicata. Con criteri di carriera premiali ex ante si applica alla ricerca scientifica l’indirizzo di governo politico della ricerca applicata o industriale: finanzio questo o quello perché lo ritengo strategico. Ma questo è in stridente contraddizione con la ricerca fondamentale e di base, istituzionalizzata nell’idea stessa di universitas, di apertura e dialogo universale, rivolto insieme verso ogni direzione e unificato nel reciproco confronto, degli studi.
Ci sono modelli virtuosi ai quali potremmo ispirarci?
Guardi, la prima cosa è imparare non solo dalle buone pratiche degli altri, ma anche dai loro errori. E sugli effetti distorsivi della bibliometria ormai c’è una letteratura. Più in generale, non penso che ci sia molto da inventare: il criterio della peer review, della valutazione tra pari, resta l’asse portante di ogni valutazione credibile; a cui può aggiungersi un’efficace sistema premiale ex post sui risultati raggiunti dalla ricerca. Ma c’è un problema più generale.
Quale, professore?
Una motivazione a sostegno delle procedure di valutazione messe in piedi dall’Anvur, su sollecitazione del Miur (e questo è già un problema, perché l’Agenzia di valutazione dovrebbe essere terza rispetto al sistema universitario, ma anche al ministero), è la necessità di adeguare la “misurazione” della ricerca in Italia a standard europei; adeguamento che la renda più facilmente valutabile, riconoscibile cioè nella sua qualità, per l’accesso ai fondi europei (dove oggi siamo penalizzati: finanziamo le politiche di ricerca europee più di quanto riusciamo poi a riprenderci in termini di accesso ai finanziamenti). L’esigenza è fondata, ed è in linea con la riforma del 3+2 attuata per le lauree.
Ma…?
Ma come abbiamo già sperimentato con il 3+2 un’esigenza è una cosa, la sua soddisfazione un’altra: formalmente è aumentato il numero dei laureati in Italia, ma sostanzialmente non c’è in circolo una maggiore formazione superiore di qualità nel Paese, perché il 3+2 è stato applicato male, in modo incongruo e generalista. Un filosofo triennale non ha senso, una laurea infermieristica sì, per fare un esempio. Ma per tornare ai criteri di accesso ai finanziamenti europei della ricerca, questa è materia fondamentalmente che attiene alla ricerca scientifica non umanistica, per la quale c’è da sempre scarsissima attenzione nei fondi europei. Non c’è quindi neanche una motivazione prammatica a stressare i criteri per la valutazione della ricerca umanistica sugli standard europei utili per le scienze dure e applicate. Sarebbe più saggio finanziare la ricerca umanistica, che per altro ha anche pronunciati caratteri culturali “locali”, di identità culturale nazionale, su fondi nazionali più cospicui, anziché orientare tutto un sistema su criteri impropri per attingere, in teoria, a scampoli di fondi europei. Oltre che “spingere” in direzione umanistica non surrettizia (la solita “formazione”, l’incremento di “capitale sociale”,etc.) i bandi europei a livello politico.
Lei cosa propone?
Trasformiamo i criteri di accesso all’abilitazione in criteri d’indirizzo per l’autonoma valutazione delle commissioni e prendiamoci tempo per riflettere, con urgente umiltà da parte di tutti, su un sistema di valutazione adeguato alle specificità disciplinari. Spero che l’attesa sentenza sul ricorso di Onida possa spingere in questa direzione.