Ci risiamo. Dopo le promesse elettorali ricomincia la stagione delle dichiarazioni attraverso i media dei responsabili dei diversi dicasteri, e non di meno del Presidente del Consiglio, senza alcuna valutazione degli impatti, su cittadini e imprese che ne sono destinatari, delle regolazioni e degli interventi pubblici annunciati. Ancora una volta ci si rende conto che in Italia la cultura della valutazione è ancora merce rara rivelando nella circostanza l’assenza di procedure di lavoro ben sperimentate in altri paesi che prevedono:
– il ricorso alla trasparenza e alla consultazione delle parti interessate,
– il ricorso diffuso ad analisi quantitative degli impatti nel breve e nel medio periodo.
Si tratta evidentemente di un approccio importante che può rendere più consapevoli e razionali le decisioni ma anche a ridurre la conflittualità politica e sociale, circoscrivendola alle sole questioni di fondo riguardanti la diversità dei valori di riferimento.
La legislazione vigente
Negli ultimi anni l’uso del termine valutazione è cresciuto in modo esponenziale nella Pubblica Amministrazione, anche se non si è verificata un’analoga crescita nell’effettivo utilizzo della valutazione a supporto delle decisioni pubbliche. C’è da dire che in Italia non manca una legislazione che va in tale direzione. Invero, seguendo le raccomandazioni dell’Organizzazione per la Cooperazione e lo Sviluppo Economico (OCSE, Raccomandazione del 9 marzo 1995, Rapporto sulla Regolazione del 27 maggio 1997) e dell’Unione Europea (Consiglio europeo di Stoccolma del 23-24 marzo 2001, Dichiarazione n. 39 sulla qualità redazionale della legislazione comunitaria), si è progressivamente avvertita, anche nel nostro Paese, l’esigenza di analizzare i riflessi che singole leggi o provvedimenti di normazione in genere possono produrre nei contesti sociali ed economici sui quali ricadono.
Tale esigenza si è tradotta in quadro normativo a tutt’oggi scarsamente applicato costituito principalmente dall’ art 5 della legge n. 50 dell’ 8 marzo 1999 (Legge Bassanini sulla semplificazione) e nella sua attuazione nelle Direttive della Presidenza del Consiglio dei Ministri: 27 marzo 2000: “Analisi tecnico-normativa e analisi dell’impatto e della regolazione” e 21 settembre 2001: “Direttiva sulla sperimentazione dell’analisi di impatto della regolazione sui cittadini, imprese e pubbliche amministrazioni e più di recente nella Legge 28 novembre 2005, n. 246.
Le Direttive prevedono:
l’introduzione dell’Analisi Tecnico-Normativa (ATN), da condursi anche alla luce della giurisprudenza volta ad analizzare, tra l’altro:
– la necessità dell’intervento normativo;
– l’incidenza delle norme proposte sulle leggi e i regolamenti vigenti;
– la compatibilità dell’intervento con l’ordinamento comunitario;
gli elementi da considerare nell’Analisi dell’Impatto della Regolazione (AIR), tra cui:
– descrizione degli obiettivi del provvedimento e delle opzioni alternative;
-individuazione dei soggetti destinatari;
-valutazione dei benefici e dei costi; -disponibilità di bilancio per l’attuazione dell’intervento;
-valutazione della c.d. “opzione nulla”, cioè dell’alternativa di lasciare immutata la situazione esistente;
l’’introduzione del Monitoraggio e Verifica ex post dell’Impatto della Regolazione (VIR).
La legge 246 pone infine l’accento su
– i criteri generali e le procedure per l’AIR, compresa la fase della consultazione, e per la VIR;
– le tipologie sostanziali, i casi e le modalità di esclusione dell’AIR e della VIR;
– i criteri generali e le procedure, nonché l’individuazione dei casi di effettuazione della VIR;
– i metodi di analisi e i modelli per l’AIR e la VIR, e nonché i metodi relativi alla la loro revisione.
Gli obiettivi posti dal quadro normativo ricordato appaiono ben chiari :
1. L’analisi dell’impatto della regolazione (AIR) consiste nella valutazione preventiva degli effetti di ipotesi di intervento normativo ricadenti sulle attività dei cittadini e delle imprese e sull’organizzazione e sul funzionamento delle pubbliche amministrazioni, mediante comparazione di opzioni alternative. E’ ben evidente che L’AIR costituisce un supporto alle decisioni dell’organo politico in ordine all’opportunità dell’intervento normativo.
2. La verifica dell’impatto della regolazione (VIR), secondo la normativa, consiste nella valutazione, anche periodica, del raggiungimento delle finalità e nella stima dei costi e degli effetti prodotti da atti normativi sulle attività dei cittadini e delle imprese e sull’organizzazione.
Viene dunque da chiedersi come mai l’attuazione di questi elementi strategici dell’azione politica e amministrativa, finalizzati anche a rendere più trasparenti e funzionali le politiche di regolazione adottate in vari settori economici, pubblici e privati, siano ancora poco utilizzati in Italia.
La cultura della valutazione
Negli ultimi anni l’uso del termine valutazione è cresciuto in modo esponenziale nella Pubblica Amministrazione, anche se non si è verificata un’analoga crescita nell’effettivo utilizzo della valutazione a supporto delle decisioni pubbliche, forse perchè alla valutazione vengono attribuiti compiti esagerati e obiettivi spesso irraggiungibili, un insieme confuso di bisogni di razionalità, di trasparenza, di miglioramento, di economicità. All’allargamento dei compiti attribuiti alla valutazione si è accompagnata una sempre minor chiarezza concettuale. Qualche tempo fa Nicoletta Stame, già presidente dell’Associazione Italiana di Valutazione (AIV), osservava come “spesso la valutazione è vista come un costo del progetto”, e ancora “valutare è spesso sentito come uggioso dovere di riempire fogli di carta, aggiungendo burocratismo a burocratismo”. Valutare è troppo spesso considerato come sinonimo di giudicare. In questa accezione tale attività incute preoccupazione nei soggetti che devono attuare la regolazione, questi tendono di conseguenza a frenare un’attività il cui scopo non è quello di giudicare, ma quello di imparare per migliorare le performance della governance pubblica.
Definizione e scopi della valutazione di una regolazione
Più propriamente, nel contesto di interesse, per valutazione si deve intendere “Il processo che consiste nel misurare gli aspetti quantitativi e qualitativi di una regolazione o di un intervento ed offrire ai decisori i risultati di queste misurazioni corredati da giudizi sul successo, vantaggi e svantaggi, delle stesse regolazioni e azioni rispetto agli obiettivi e alle risorse impiegate per risolvere i problemi cui sono indirizzate”.
Pertanto nell’attività valutativa un ruolo critico deve essere attribuito alla raccolta dei dati, la quale deve risultare strutturalmente organica all’applicazione di metodologie di analisi che siano modellate sulle esigenze e le indicazioni emerse a livello normativo e va organizzata, gestita e controllata in tutte le fasi del ciclo di valutazione dell’intervento. Secondo tale ottica le informazioni utili ad una valutazione di qualità degli interventi pubblici dovrebbero essere ricercate da molteplici fonti. Oltre all’acquisizione diretta di informazioni dagli uffici amministrativi di competenza, dagli archivi degli enti locali, dalle statistiche ufficiali e non ufficiali, un ruolo importante viene assegnato alla consultazione diretta dei beneficiari mediante indagini campionarie e questionari strutturati in modo funzionale alle metodologie di analisi prescelte, o talvolta, più semplicemente con riferimento a giudizi di sintesi di esperti o informazioni derivate da focus group di destinatari degli interventi regolativi in base ad interviste semi-strutturate.
Il ricorso a fonti di informazione esterne va inteso sia come una possibilità di verificare la customer satisfaction per la PA in vista di un’impostazione organizzativa client oriented anche nel settore pubblico, sia come essenziale strumento di feedback informativo che consenta di avere una verifica costante dei benefici effettivamente prodotti dall’intervento e dei margini di perfezionamento esistenti.
Le attività di acquisizione dei dati, di analisi delle risorse informative e di utilizzo strategico delle indicazioni emerse dovrebbero accompagnare, in stretto coordinamento, tutte le fasi del processo valutativo costituendo un circolo virtuoso, in quanto finalizzato al perseguimento di obiettivi di selezione ex ante degli interventi più idonei, monitoraggio in itinere dell’effettiva realizzazione degli obiettivi, individuazione di azioni di miglioramento continuo in corso di attuazione, verifica ex-post del valore dell’intervento e previsione dell’impatto previsto sull’amministrazione centrale e locale e sulla collettività in un orizzonte temporale più lungo.
Trattandosi di interventi pubblici, per le particolari finalità sociali che li ispirano, le analisi dei benefici netti indotti e del valore complessivamente creato andrebbero sviluppate considerando ovviamente sia le valutazioni delle pubbliche amministrazioni coinvolte sia le percezioni dei soggetti direttamente o indirettamente interessati.
Razionalizzazione dell’informazione: Cosa misurare
Il riferimento agli obbiettivi, alle risorse impiegate e ai risultati (detti anche indicatori programma) nella precedente definizione fa implicitamente riferimento a due aspetti chiave della valutazione delle performance di una regolazione o di un intervento pubblico, cioè ai concetti di Efficacia (raffronto tra effetti ottenuti e attesi) ed Efficienza (rapporto tra effetti ottenuti e risorse utilizzate). Per una valutazione esauriente delle prospettive della regolazione o dell’azione, anche nell’ottica della “soddisfazione degli stakeholders” (cittadini, imprese, enti, etc.) vanno inoltre considerate misure di:
– Utilità/Benessere per l’analisi ex ante (attese) e o la verifica ex post (benefici) dell’incidenza sui gruppi o sulle popolazioni destinatarie.
– Pertinenza per verificare se gli obiettivi del programma siano di pertinenza rispetto all’evoluzione dei bisogni della popolazione e dell’economia destinataria dell’intervento.
– Sostenibilità per l’analisi della capacità di mantenimento dei risultati raggiunti al termine dell’intervento (permanenza dei cambiamenti o benefici).
A completamento del quadro informativo possono utilmente considerarsi misure di:
– Fiducia nel sistema pubblico, come barometro del consenso nei confronti del soggetto pubblico competente rispetto al provvedimento valutato;
– Comunicazione/contatto, quale espressione del grado di efficacia della comunicazione delle misure previste dal provvedimento soggetto a valutazione presso la collettività destinataria. Va osservato che la disponibilità di informazioni precise sull’intervento ha un peso diretto sulla valutazione da parte dell’utenza.
Gli indicatori di performance ricordati hanno un grande appeal per coloro che si occupano di valutazione poiché sono facilmente comprensibili, trattandosi di semplici quantificazioni di fenomeni o di rapporti tra due quantità. Con un limitato impegno analitico e un ridotto sforzo di misurazione essi sembrano produrre gran parte delle conoscenze necessarie per sostenere l’opera di razionalizzazione della pubblica amministrazione, consentendo di “valutare” direttamente qualsiasi dimensione di successo dell’attività pubblica, sia essa definita come efficienza, efficacia, economicità, risultato, esito, impatto, rendimento, qualità. E’ abbastanza naturale che gli strumenti più semplici e rassicuranti incontrino il maggior favore.
Gli indicatori sono utili per produrre una misura quantitativa della qualità di un processo regolativo e delle sue performance. Gli indicatori devono essere sviluppati secondo standard opportuni , testati e implementati con rigore statistico A tal fine essi devono possedere i seguenti requisiti
– Validità scientifica, Validità causale, Specificità, Interpretabilità
– Fattibilità, Economicità, Tempestività e facilità di manutenzione
– Sensibilità, Accuratezza, Generalizzabilità.
Metodologie di valutazione: Come misurare gli impatti
Tra le ragioni che ostacolano la diffusione della pratica della valutazione, oltre a quella della scarsa cultura sul tema va, a nostro avviso, aggiunta quella della mancanza di adeguati strumenti di misurazione e giudizio sugli impatti.
Un progetto normativo e, più in generale, un intervento pubblico, andrebbe esaminato non solo alla luce di appropriati indicatori, ma anche con metodologie rigorose e adeguate alla complessità e alla “multidimensionalità” intrinseca nell’attività valutativa.
Il processo valutativo si assume di natura composita e va pertanto riferito a diverse dimensioni di analisi dal cui studio congiunto può ricavarsi una misura completa ed esaustiva del valore aggiunto dell’iniziativa.
Dalle indicazioni comunitarie, inoltre, emerge l’evidente esigenza di impostare tale attività su più livelli di analisi e per diversi segmenti di beneficiari, su diversi tempi (breve e medio lungo termine), su effetti diretti e effetti indiretti, per obbiettivi operativi e obiettivi strategici, per cui ne consegue il ricorso a metodologie di analisi e valutazione d’impatto tutt’altro che banali.
Sul piano strettamente metodologico, come osserva Bezzi, uno dei fondatori della Rivista Italiana di Valutazione, il 41% circa degli articoli pubblicati sulla rivista sono di natura sociologica, appena il 19% di natura economico-statistica, e ancor meno (15%) sono i contributi di natura teorica e sulle metodologie di valutazione. Anche se questo può essere la conseguenza della composizione del board editoriale della rivista il quadro che ne deriva non è certo confortante.
E non costituisce un ausilio alla buona prassi della valutazione la libertà lasciata ai valutatori dalla normativa vigente.
Nelle esperienze di analisi quantitativa cui ci si riferisce in una survey elaborata dal Formez sono state utilizzate varie metodologie come l’Analisi dei Costi di Conformità, l’Analisi Costi-Efficacia e, soprattutto, l’Analisi Costi-Benefici (ACB), mutuate dalla valutazione degli investimenti privati. Lo sforzo primario è stato infatti quello di misurare i benefici indotti da diverse opzioni del provvedimento ed i relativi costi sostenuti , confrontati tra loro rispetto alla situazione di assenza di qualunque intervento, (definita “ipotesi controfattuale”) in un’ottica prevalentemente economico-finanziaria.
La stessa statistica ha posto poca attenzione allo sviluppo di metodi di valutazione ad hoc, limitandosi alla proposta di tecniche “quasi-sperimentali” e al metodo della “differenza-nelle-differenze” per affrontare il problema del confronto dei risultati di un intervento regolativi. La stima dell’effetto deriva dal confronto tra i risultati osservati come conseguenza dell’intervento e quelli relativi all’assenza di intervento (situazione controfattuale). Soltanto il primo dei due termini di questa differenza può essere osservato (valore fattuale), l’altro è ipotetico e non osservabile per definizione (valore controfattuale).
Tra i metodi che consentono di stimare, di approssimare, di ipotizzare plausibilmente la situazione controfattuale sono stati considerati il modello di regressione e il matching statistico che si basa sull’idea di abbinare a ciascun soggetto “trattato” quel o quei soggetti non trattati che sono molto simili, formando così un idoneo gruppo di controllo. Tali metodi si basano tuttavia su una visione parziale della valutazione, in quanto i diversi livelli e le diverse dimensioni dell’attività valutativa non sono modellati in maniera integrata bensì considerati separatamente perdendo così l’unicità del processo di valutazione.
In altri termini, manca ad oggi un approccio metodologico rigoroso di tipo quali-quantitativo, capace di offrire una visione globale del beneficio netto prodotto che consideri contestualmente le diverse tipologie di dati (testuali, dicotomici, categorici o numerici) e le molteplici sfaccettature che caratterizzano l’analisi del provvedimento pubblico e le differenti ottiche di valutazione dei soggetti, privati e pubblici, direttamente o indirettamente coinvolti.
In questa prospettiva sarà necessario:
– sviluppare un impianto metodologico organico per la valutazione che si adatti al ciclo di programmazione legando fra loro tutte le fasi di analisi e confronto intertemporale dei risultati;
– produrre analisi su più livelli di approfondimento;
– costruire modelli flessibili rispetto alle scelte del decisore pubblico e ai bisogni espressi i dalla comunità .
In sintesi, si può dire che l’utilizzo strategico dell’attività di valutazione dei provvedimenti pubblici a livello centrale e locale pone oggi una serie di sfide di tipo scientifico ed organizzativo: si pone sempre più l’esigenza di dotare la P.A. di metodologie statistiche capaci di supportare le attività valutative secondo le nuove logiche descritte in precedenza nel rispetto della coerenza, della sequenzialità e della multidimensionalità insite in tali attività, nonché la necessità di ’organizzare osservatori stabilmente adibiti alla produzione sistematica di misurazioni durante l’intero ciclo di valutazione, alla costituzione di basi dati funzionali a tali analisi, alla diffusione delle best practices nazionali e internazionali.
Al fine di superare i gap culturali e metodologici ricordati è altresì auspicabile il fare ricorso ad un approccio interdisciplinare alla valutazione con il coinvolgimento di soggetti portatori di diverse competenze tecnico-scientifiche (giuridiche, statistiche, economiche, aziendalistiche, sociologiche). Per concludere vogliamo ricordare due importanti affermazioni che dovrebbero essere sempre presenti a coloro hanno la responsabilità di governo del Paese e che hanno una evidente nesso con l’analisi e la valutazione di regolamentazioni:
“Conoscere per governare” amava dire Einaudi, e più recentemente gli economisti Kaplan e Norton hanno sostenuto che “Non si può gestire ciò che non si sa misurare” .