Cosa significa valutare la qualità di un’istituzione universitaria? Quali criteri e indicatori scegliere per misurarne l’efficacia? Che significato attribuire ai numerosi ranking esistenti nel mondo? E come giudicarne la validità? L’argomento è sempre più interessante e non manca ormai da qualche anno di suscitare dibattiti e polemiche in tutto il mondo, segno che ormai la formazione universitaria è diventata un tema (e quindi anche un business) globale, che interessa settori anche più ampi della formazione in senso stretto: pensiamo per esempio alla mobilità degli studenti e all’housing universitario.
Due recenti lavori diversissimi fra loro per impostazione, respiro e finalità consentono di approfondire la tematica della valutazione universitaria riecheggiando in modi differenti questioni simili. Il primo è uno studio di ampio respiro su un grosso set di ranking mondiali, di derivazione accademica o privata, su scala mondiale e locale e anche per settori di specializzazione svolto dalla professoressa Ellen Hazelkorn, Policy Advisor per l’Autorità dell’Alta Formazione in Irlanda, che ha realizzato un report globale su tutti i ranking già nel 2010 ed è tornata a farlo alla fine del 2014.
I contenuti del suo lavoro aiutano a capire meglio quali sono i problemi connessi a questo campo di indagine. Senza entrare in tutti gli aspetti analizzati, alcuni punti di interesse emergono da tale importantissimo studio, unico nel suo genere.
Innanzitutto i dati di contesto: la valutazione è richiesta e si rende necessaria per diversi motivi che sono essi stessi legati allo scenario mondiale in evoluzione. Le università e i diversi Paesi hanno interesse crescente alla valutazione, perché si è capito ormai che esiste un vero e proprio mercato globale dell’alta formazione e della ricerca, con diversi stakeholder e soggetti coinvolti in prima persona. Avere una buona posizione nei ranking può permettere di attrarre utenti o investimenti: per questo molte università si dotano di funzioni o destinano persone che curino il riassetto in vista di un miglioramento nei ranking.
In secondo luogo lo studio conduce a scoprire chi è interessato alla valutazione. Essenzialmente 4 categorie: futuri studenti, futuri studenti magistrali, futuri post-graduates, altri studenti (lifelong learning, professionals ecc.): i più interessati sono gli studenti di master non-europei (post-bachelors, post-triennali), segno che la mobilità (cioè la scelta di andare fuori, valutando le opportunità a livello globale) è tema cruciale per la parte specialistica del percorso accademico e per le economie emergenti.
Ma cosa guardano gli interessati quando operano le scelte? Il dato interessante che emerge su questo aspetto è in qualche modo prevedibile, ma sembrerebbe contraddire le finalità stesse dei ranking: il driver più forte per gli studenti nella scelta di un contesto universitario o di un altro è la reputazione dell’istituto universitario in sé, ma soprattutto la reputazione che si acquisisce avendo studiato in un certo ateneo. Questo rappresenta un punto critico per i policy-maker (a tutti i livelli, anche quelli locali), che lo studio mette in luce.
Se si considera infatti che ci siano nel mondo circa 18mila istituti di formazione universitaria, per un totale di circa 196 milioni di iscritti (di cui 20 milioni solo in Europa), possiamo calcolare che le prime 100 università del mondo sono lo 0,5% del totale e che servono una popolazione pari allo 0,4% del totale degli iscritti. Forse allora focalizzare l’attenzione sui ranking ci porta a non comprendere correttamente cosa vogliono gli studenti nel loro insieme. Cosa scelgono gli studenti nel 99,5% dei casi? L’élite e i modelli ad essa collegati sono la meta ideale, tanto per gli studenti quanto per le istituzioni universitarie in corsa nella valutazione globale?
Da qui un avvertimento: fatalmente la spinta a guadagnare posizioni nei ranking può veicolare un’immagine cui conformarsi, non solo da parte di singole istituzioni universitarie, ma anche da interi paesi. Cosa fare? Adeguarsi? E come? Buttare a mare tradizioni? I ranking incentivano certi comportamenti e quello che si misura è critico: da un lato perché non possiamo controllare come altri useranno i ranking, dall’altro perché ogni ranking ha dei limiti intrinseci. Si capisce allora — dice il rapporto — che non si possono usare ranking in modo esclusivo, perché ognuno prende certi aspetti a criterio, né si possono per questi motivi usare per destinare fondi, magari continuando a finanziare le élites, incentivando immagini e comportamenti e ignorando i bisogni di settori più ampi del mondo dell’educazione e della società intera.
D’altra parte è urgente assicurarsi che i ranking siano allineati con valori nazionali e obiettivi e abbiano scopi chiari, riconoscano le diversità delle istituzioni universitarie, ognuna con missioni e scopi propri. Infine è necessario assicurarsi che gli indicatori siano disegnati e scelti in modo adeguato e misurino preferibilmente, là dove possibile, gli outcomes derivanti dalle scelte più che gli input (cioè la qualità dei servizi). Il tutto avendo bene in mente che i ranking sono strumenti limitati, che hanno conseguenze ancora non comprese.
Proprio partendo dagli outcomes come indicatori prende le mosse uno studio (How the labour market evaluates Italian Universities) finanziato dalla Banca d’Italia relativo a un metodo di valutazione dell’efficacia dei percorsi universitari. Il lavoro si situa in un orizzonte più limitato (solo nazionale) e non ha il problema di creare un ranking, ma di approfondire un metodo per la valutazione. Gli autori, Vincenzo Mariani e Emanuele Ciani, ricercatori in economia che hanno affrontato più volte temi legati al mondo del lavoro e ai sistemi di alta formazione, hanno affrontato la realizzazione di un metodo basato su un modello econometrico che prenda in considerazione un importante outcome della formazione universitaria: l’occupabilità dei laureati e i loro salari, discutendo varie alternative per valutare il contributo dei singoli atenei ai risultati occupazionali dei loro laureati e distinguendolo da altri fattori di contesto (come l’eterogeneità nei mercati locali del lavoro).
Nel lavoro, perciò, per qualità della singola università si intende la differenza fra la condizione occupazionale di un laureato dell’ateneo rispetto ai laureati in altri atenei, a parità di caratteristiche individuali (percorso di studio, background familiare e altre caratteristiche socio-demografiche) e di fattori di contesto (qualità del mercato locale del lavoro nell’area di residenza). Un aspetto importante che emerge è che la peggior performance dei laureati in atenei del Mezzogiorno è in larga misura spiegata dalle peggiori prospettive occupazionali dei mercati locali del lavoro su cui si affacciano queste università. In altre parole, una volta tenuto conto delle differenze nei vari mercati del lavoro locali e di altri elementi, le differenze fra laureati di atenei localizzati nelle diverse macroaree risultano molto contenute (ad eccezione di quelle degli atenei del Nord Ovest), confermando un sentore comune, basti pensare ai sistemi universitari di Milano e di Torino.
Per quanto riguarda i possibili sviluppi di un lavoro come questo, l’auspicio è che qualcosa migliori sul versante dei dati: se si vuole fare esercizi di questo tipo e se si vuole utilizzare queste informazioni per arrivare a valutazioni che comportino anche scelte finanziarie e nella ripartizione delle risorse, è indiscutibilmente necessario potenziare le informazioni disponibili sull’inserimento lavorativo dei laureati.
Il tentativo, pur iniziale e non senza limiti, derivanti sì dai set di dati disponibili ma anche dalla forse eccessiva semplicità del modello econometrico preso a riferimento, è però molto interessante, perché apre la strada a miglioramenti futuri che vanno almeno in parte nella direzione indicata dalla Hazelkorn: la necessità di valutare l’impatto della presenza di una certa università sul territorio piuttosto che di imporre immagini schematiche che definiscano la qualità del servizio di formazione calandole dall’alto.
