Protagonisti

La valutazione vista da un esperto

Ovunque si sente ripetere che la valutazione è un esercizio fondamentale e da cui non si può prescindere, eppure nel sistema pubblico italiano la valutazione è un elemento quasi completamente assente. Il quadro normativo che si è configurato in questi ultimi mesi, tuttavia, fa ben sperare. Che le cose possano cambiare è, infatti, un augurio che tutti noi dovremmo farci dato che la valutazione è uno strumento imprescindibile per una gestione efficiente di ogni organizzazione e risorsa (tanto più se pubblica). Ne abbiamo parlato con Giovanni Abramo, ricercatore del CNR ed esperto di valutazione della ricerca.

Giovanni Abramo è un ricercatore del CNR esperto di valutazione della ricerca. Alla luce delle recenti normative introdotte dal Ministro Brunetta e dal Ministro Gelmini sulla valutazione nelle pubbliche amministrazioni e nelle università abbiamo provato a fare con lui il punto su: perché valutare, cosa valutare e come.

“Le motivazioni che generalmente sottendono un esercizio di valutazione della ricerca (ma il discorso si può allargare a qualunque ambito pubblico o privato) – ci spiega Abramo - sono sostanzialmente quattro. La prima è che valutando si può dare un incentivo ai singoli per migliorarsi, quindi si può realizzare una maggiore efficienza nell'attività che si svolge. Il secondo motivo è che si può garantire una migliore allocazione delle risorse in funzione del merito. Il terzo motivo è che una buona valutazione permette di risolvere quella che gli economisti chiamano asimmetria informativa. Se si riesce a conoscere la qualità della propria attività di ricerca (o non) il cliente, che può essere lo studente che si deve iscrivere ad una facoltà o l’impresa che vuole stabilire un rapporto di collaborazione con l'ente di ricerca di turno, può scegliere in base a criteri oggettivi. Risolvere il problema dell'asimmetria informativa è fondamentale per migliorare l'efficienza del mercato. Quarto ed ultimo motivo è la possibilità di dimostrare al contribuente quali sono i ritorni degli investimenti pubblici nell'attività di ricerca”.

Ascoltando questa intervista qualcuno potrebbe obiettare che una cosa è valutare la produzione scientifica di un ente di ricerca, di un'università o di un gruppo di ricercatori, che per definizione è rigorosa, oggettiva e, quindi, facilmente misurabile, mentre ben altra cosa è valutare l’operato di un ufficio pubblico.
Niente di più lontano dalla realtà. Parlando di valutazione della ricerca Abramo ci spiega, infatti, che di esercizio nazionale di valutazione se ne è fatto uno solo, condotto dal CIVR nel lontano 2006. Si chiamava esercizio Valutazione Triennale della Ricerca (VTR), e riguardava i dati del triennio 2000-2003.
“Questo è stato l’unico esercizio a livello nazionale – spiega Abramo – quindi dal 2003 ad oggi la produzione scientifica delle università e degli altri enti di ricerca non è stata più valutata. Se a questo aggiungiamo che il VTR valutava le organizzazioni nel loro insieme e non prendeva in considerazione, invece, la produttività dei singoli ricercatori o dei gruppi di ricerca, si capisce che la strada da fare è ancora molta”.

Chi premiare il singolo o l’organizzazione?

Su saperi pa trovi altri approfondimenti sul d.lgs 150/2009

Il tema della produttività del singolo è un tema familiare per chi si occupa di pubblica amministrazione in quanto presente nel decreto legislativo 150/09 del Ministro Brunetta.
Quando chiediamo un’opinione ad Abramo su questo tema ci risponde senza esitazione: “In qualunque tipo di organizzazione il sistema incentivante premia il singolo, oppure il gruppo (di ricerca o di progetto). Un sistema premiante a livello macro non è pensabile, è iniquo e non ottiene il risultato voluto. Per fare un esempio riprendiamo il VTR. Il sistema universitario in Italia è abbastanza piatto, senza enti di serie A o di serie B come, invece, avviene nel mondo anglosassone. Tuttavia la differenza di qualità della ricerca all’interno della stessa università è molto elevata, cioè in una stessa struttura coesistono gruppi di ricerca eccellenti e ricercatori che producono pochi risultati e di bassa qualità. Come è facile intuire la media che deriva da questa situazione è abbastanza uniforme e una distribuzione delle risorse economiche basata su questo indicatore non permette di raggiungere obiettivi di ottimizzazione degli investimenti. Le università che ricevono i finanziamenti, infatti, non sono in grado di riallocarli al loro interno in modo efficiente, cioè in funzione del merito.” 

Valutazione e controllo

La valutazione non è un esercizio accademico, ma uno strumento di management. Non serve ad elargire punizioni, ma a far funzionare un’organizzazione in maniera efficiente e a non sperperare le (poche) risorse a disposizione. “Valutazione – prosegue Giovanni Abramo - è un termine inadatto. Nella teoria del management delle organizzazioni si parla di controllo, anzi di tre tipi di controllo: controllo strategico, controllo dell’implementazione e controllo operativo. Il controllo strategico è quello che si preoccupa di verificare che l’ambiente di riferimento non sia mutato rispetto al momento in cui si sono individuati gli obiettivi strategici. Il controllo dell’implementazione verifica se nel complesso si stanno perseguendo gli obiettivi intermedi. Infine il controllo operativo scende nel dettaglio per verificare se le singole unità organizzative stanno operando come previsto.”

Da questo disegno appare evidente come il controllo non incida sul tipo di autonomia delle organizzazioni. Possedere autonomia (funzionale o gestionale) non significa essere indipendenti. “Facciamo il caso delle università – conclude Abramo – Gli enti pubblici di ricerca ricevono i finanziamenti dal livello centrale ed è evidente che il livello centrale deve avere un certo controllo su di esse, senza per questo interferire sull'autonomia dei singoli atenei. Ognuno di essi, infatti, dovrebbe formulare il proprio piano strategico in funzione delle linee guida tracciate dal policy maker. Deve esserci, dunque, un allineamento su alcuni obiettivi condivisi che ogni singolo ateneo, poi, personalizza a secondo del contesto in cui si inserisce. Il sistema centrale deve effettuare il controllo affinché i propri obiettivi di policy vengano realizzati attraverso le proprie strutture operative.”

Non dimentichiamo, infine, che la fase di valutazione più importante è quella della selezione del personale poiché, come dicono oltreoceano: “garbage in, garbage out” (vedi intervista video).
Questo è l’unico scenario possibile se si vuole puntare su una pubblica amministrazione efficiente. 

Your rating: Nessuno Average: 2.3 (13 votes)

Commenti

La valutazione vista da un esperto

Ho letto l'intervista.
Mi sembra si possano fare alcune osservazioni:
1- Lavalutazione puo avere scopi diversi e riguardare oggetti di valutazione diversi.Inoltre la singola alutazione può restar qual è isolata oppur inserirsi in un sistema di valutazione e questo può di nuovo avere scopi diversi.
Mi sembra che l'intervistato non distingua che assai debolmentee tra questa pluralità di fini di oggetti e di sistemi, né per la verità l'intervistatore lo provoca a esplorare tali direzioni..Mi astengo dall'entrare nella materia: sarebbe troppo lungo e complicato.
2- in oggni caso ogni valutazione ha anche uno scopo a cui qui non si accenna mai: dare un feedack al valutato affinchè sul suo lavoro o sul suo comportamento, affinché egli acqusti consapevolezza di sè e del risultato del suo lavoro e possa migliorarsi. Questo di suscitare attraverso la valutazione un input e una spinta al miglioramento è ( o dovrebbe essere) lo scopo fondamentale di ogni valutazione sensata e fin dalla valutazione scolastica.
Il commento è minimale, ma penso colga i due principali limiti della intervista

Una modesta proposta

Peccato per la caduta di stile - quando alle risorse umane dell'organizzazione, uomini e donne, viene accostato l'inglese "garbage" [spazzatura]. E, a mio avviso, in modo anche improprio giacché gli uffici pubblici non sono sistemi che hanno come finalità la "lavorazione" delle risorse umane.

Piuttosto, queste ultime vanno sapientemente valutate (prima, durante e dopo lo svolgimento delle attività di lavoro, come ricordato nell'articolo) in vista del raggiungimento delle finalità di servizio alla collettività di ciascuna organizzazione.

Suggerisco di cercare del "garbage" nella stratificazione normativa e nelle incertezze di policy, piuttosto.

Antonio Pandolfi

Lo stile

Sinceramente, tutte le volte che ho sentito il detto “garbage in garbage out”, nella mia esperienza di studio e di lavoro oltreoceano, non l’ho mai percepito e, quindi, assimilato in senso letterale: farò sicuramente più attenzione la prossima volta. Se può essere utile, per sgombrare il campo da possibili equivoci, sento un rispetto così profondo per l’essere umano che non ho mai definito “garbage” neanche coloro che si macchiano dei più efferati crimini. Penso che ognuno di noi abbia capacità, attitudini e interessi che lo rendono particolarmente produttivo in alcune attività e l’esatto opposto in altre. Penso anche che in Italia, se le persone giuste fossero messe al posto giusto, il nostro sistema paese sarebbe ai vertici mondiali per sviluppo socio-economico. Le risorse umane sono un fattore produttivo e tutti gli altri, materie prime incluse, sono indirettamente il prodotto delle risorse umane. E’ su di noi che ruota il tutto, nel bene e nel male. Il “garbage” della stratificazione normativa, da lei richiamato, non è per caso il frutto dell’attività delle risorse umane? Franco Modigliani soleva dire: “Quando qualcuno muore, non è detto che il PIL decresca”. Io mi chiedo: “Perché aspettare che qualcuno muoia?”. Di più: “Non si può evitare fin dall’inizio che il prodotto del lavoro di qualcuno faccia più male che bene?”

In estrema sintesi. La "mia"

In estrema sintesi. La "mia" Regione mi ha mandato a frequentare un master biennale di management in Bocconi. Si é parlato a fondo e lungamente anche della valutazione del personale. Su tale premessa, comprendo e condivido quanto afferma Abramo. Nella PA ciò che dovrebbe prioritariamente mutare é il metodo di selezione del personale. L'ho anche scritto in alcuni articoli su quotidiani genovesi e lo confermo qui: il metodo del concorso pubblico per il personale dirigente, é sorpassato. Non può essere strutturato come un qualunque concorso per impiegato. Occorre saper individuare l' "attitudine" in coloro che, nel partecipare al concorso, ritengono di avere capacità di dirigere, di motivare il personale. Fino ad oggi, in tutti gli uffici/enti in cui ho lavorato, questo requisito é ingrediente raro. E quando é presente, rischia di non essere compreso e messo da parte.
Le motivazione ed il senso di appartenenza non possono essere introdotti con decerto legge. Cordiali saluti.
BERTORELLI
c/o REGIONE LIGURIA 010 5484094

Complimenti

Complimenti alla Regione Liguria per simili investimenti nel capitale umano e a lei, per aver deciso di impiegare le sue rare conoscenze/competenze gestionali nella pubblica amministrazione. Il settore pubblico può e deve fare molto di più per attrarre, sviluppare e mantenere simili risorse.

La valutazione vista da un lavoratore

Le indicazioni di Giovanni Abramo potrebbero (uso il condizionale) anche essere funzionali se si potesse:
1) Misurare TUTTE le lavorazioni di un individuo e del suo gruppo;
2) Misurare la qualità di queste lavorazioni;
3) Avere strumenti e manager capaci di rilevare quanto indicato nei punti 1 e 2;
4) Piena autonomia nella distribuzione degli incentivi evitando privilegi o raccomandazioni.

Nel Pubblico Impiego e nella Ricerca sfido Giovanni Abramo a dimostrare che ciò sia possibile altrimenti stiamo parlando solo di aria fritta.

Inoltre quanto vorrebbe fare Giovanni Abramo nella ricerca non è possibile farlo con i parametri imposti dal caro ministro Brunetta con la 150/2009 in quanto vieta di premiare il 25% dei propri dipendenti anche se hanno lavorato tutti con eccellenza e penalizza i manager che riescono a far lavorare bene l'intero gruppo di lavoro obbligandoli per legge a diversificare le prorpie valutazioni. ASSURDO e INCONCEPIBILE. Nel privato applicare simili paletti farebbe crollare la produttività di un azienda.

Le "sfide" nella Via Gluck

Quando da bambino giocavo a pallone nella mia Via Gluck romana, con le porte delimitate da barattoli o sassi, ci dividevamo in due squadre a “pari o dispari”. Chi vinceva la conta poteva scegliere per primo i suoi compagni di squadra. Le assicuro che ciascuno di noi sapeva benissimo chi scegliere, per vincere ed eravamo dei semplici bambini. Per usare la sua terminologia, la “sfido” io a trovarmi un qualsiasi responsabile che non sia in grado di riconoscere i più produttivi nella propria unità organizzativa: o non vuole o non è un “capo”. Per rispondere alla sua sfida, la invito a visitare il sito del nostro laboratorio di ricerca: http://www.disp.uniroma2.it/laboratoriortt/Risultati.html. In fondo alla pagina, alla voce: Decision Support System, può trovare la documentazione esplicativa del nostro sistema di supporto alla valutazione della ricerca. Per finire, bisogna accettare una verità inconfutabile: i sistemi di valutazione infallibili non esistono.

Si faccia da parte

Prima di tutto mi chiedo perché lei è stato chiamato in qualità di esperto. Esperto di che cosa? Cosa ha fatto oltre a queste inutili pubblicazioni da rivista che non servo a nulla. Mi dispiace, non la voglio offendere, però vede anche lei, ad esempio fa parte di sistema che non funziona. Lei cosa produce? Cosa fa? Il suo lavoro da chi viene valutato? Il suo tempo a chi fa guadagnare qualcosa? Perché vede, in una società che dovrebbe premiare il merito ci dovrebbe anche essere l'onestà di di dire che certi enti, ad esempio quello per il quale lei lavora, non sono di pubblica utilità o quanto meno producono troppo poco in relazione alle persone impiegate, pagate e utilizzate. Non c'è niente da fare, prima di parlare di valutazione bisognarebbe stabilire la meritocrazia e per fare questo almeno l'80% delle persone che ora vengono pagate dai contribuebti occupano posti che non meritano, in quanto assunti attraverso consorsi truccati. Si rende conto? Di queste persone cosa vorrebbe valutare? è in grado di spiegarmelo? non credo. Comunque, detto questo, le augiro buon lavoro. Ormai lei fa parte del sistema. Quello che non funziona.

mamma mia...

Gentile Dario, possibile che esista qualcuno in Italia che ancora sostiene che la ricerca scientifica non serve a nulla?
Probabilmente lei è uno di quelli che consiglierebbe alle nuove generazioni di fare giurisprudenza o di studiare ragioneria perchè l'avvocato e il ragioniere sono gli unici mestieri che servono veramante...
Il nostro paese è arrivato a questo livello anche perchè il sentire comune ha sempre disprezzato "queste pubblicazioni da rivista che non servono a nulla" salvo poi guardare ore di documentari della storia siamo noi su quando la Fisica italiana eccelleva nel mondo ai tempi di fermi e dei ragazzi di via Panisperna...

Riguardo alla sua accusa sul perché l'intervistato sia stato chiamato credo che dovrebbe rivolgerla alla redazione e non ad Abramo stesso... che modo di ragionare è?

grazie per l'attenzione
Goffredo Amerini Malatesta

Delucidazioni

Caro Abramo, forse non sono stato molto chiaro. Le chiedo scusa. Non è mia intenzione sostenere che la ricerca non è utile, tutt'altro. La ricerca è il sale di una società, di questo ne sono straconvinto. Il punto è che la ricerca in Italia è stata rovinata anche dal sistema di fare ricerca. Mi spiego? E noti molto bene che ho detto anche, non soltanto. Di certo il governo attuale (e detto per inciso, non sono di destra, anzi) ha fatto dei tagli gravissimi, indegni di un paese cha ha una storia nel campo della ricerca importante come il nostro (per fare un esempio, i ragazzi di via Panisperna). Purtroppo, tuttavia, da Fermi a oggi troppe cose sono cambiate e visto che "la storia siamo noi", noi siamo anche quelli che hanno contribuito a rovinare la ricerca. Per cui lo Stato, paradossalmente, ha finito per mantenere i ricercatori e non la ricerca. Mi capisce? Temo di no, perché lei fa parte di questo sistema che non funziona, c'è poco da fare. E la prego, non se la prenda. Purtroppo il suo sistema di valutazione è anacronistico o quantomeno non è applicabile al nostro paese, dove ci sono un gran numero di ricercatori che occupano posti che non meriterebbero e che, alla fine di ogni anno, si trovano, per il solo fatto di dover giustificare la propria posizione, a fare delle ricerche per così dire inutili. Dico "per così dire", non “davvero”. Di questo ne dobbiamo essere consapevoli e credo che lo sappia benissimo anche lei. Mi dica, è di queste persone che la ricerca ha bisogno? Pensa che i ragazzi di via Panisperna fossero gente di questo tipo? Vede, ci sono fior fiori di ricercatori in gamba che purtroppo pagano lo scotto di un sistema corrotto, sbagliato, superficiale. Per questo dico che forse la soluzione alla ricerca non sono i suoi sistemi di valutazione, perché i suoi sistemi di valutazioni si basano su criteri che non hanno rapporti con la società economica, ma sempre su criteri pensati e sviluppati dall'interno di questo stesso sistema. E' un po' come dire che voi vela cantate e voi vela valutate. Mi dispiace, è assurdo. Il campo della ricerca va ripensato totalmente e in questo senso mi domando qual è il suo ruolo. Le ripeto, non è un'accusa, quanto piuttosto una semplice curiosità. Le sembra avere senso il fatto che lei stia a pensare a un sistema di valutazione su un sistema che non funziona? Lei vorrebbe valutare una cosa che non ha produttività? In qualunque altro paese suonerebbe ridicolo. Comunque, per finire, io consigliere alle nuove generazioni di studiare filosofia, forse, perché in questo paese c'è bisogno di gente che sappia pensare. Mi capisce? Temo di no. Detto queesto mi sento in pieno diritto di chiedere direttamente a lei le sue credenziali. Comunque, visto che questo è il sistema, buon lavoro. Cosa vuole che le dica?

I cambiamenti ed i sistemi di valutazione

I cambiamenti portano tutti a rivedere/implementare ANCHE i sistemi di valutazione... per li bene comune, correct?
A quanti interessa "bagnarsi prima di piovere"?

Ma è saggio chiedersi:

"La mia/tua opera è un bene per tutti"?

Il fine giustifica SEMPRE i mezzi?

SORRY BUT come facciamo ad essere sicuri che non si stanno sfruttando i più deboli (es. idee, etc...) per portare avanti i "fannulloni" o i "fortunati"?

Ci potete offrire garanzie?

All the best to all of you

Agata