VI Workshop Nazionale di Azienda Pubblica Novara 19 e 20 giugno 2014
Dicembre 15, 2013
ELETTO IL NUOVO CONSIGLIO DIRETTIVO AIDEA
Dicembre 20, 2013
La valutazione della qualità della ricerca (VQR) effettuata dall’ANVUR ha avuto come oggetto i prodotti della ricerca pubblicati nel periodo 2004-2010. Più in particolare, ciascun ricercatore ha dovuto indicare i suoi tre prodotti migliori (tra quelli pubblicati in quegli anni) per farli valutare dall’ANVUR. In diversi casi i Dipartimenti sono intervenuti nella scelta finale dei prodotti, soprattutto nei casi in cui lo stesso prodotto era stato scelto da più di uno dei coautori appartenenti alla stessa struttura.
Di seguito si riportano alcuni dati relativamente ai prodotti presentati, ai criteri di valutazione impiegati, alle valutazioni ottenute, così come emergono dai rapporti ANVUR. Nei paragrafi successivi sono proposte alcune riflessioni del Consiglio Direttivo di AIDEA.
1. I principali risultati della VQR per gli aziendalisti
Numero soggetti valutati e tipi di pubblicazione presentati
Sono stati valutati 1.655 soggetti delle discipline aziendali. Di questi, 356 non hanno presentato i tre prodotti previsti (il 21%), con percentuali che oscillano dal minimo di 18% per P11 al massimo del 25% per P10. Per le altre due macroaree dell’Area 13 (Economia e Statistica) il numero di prodotti attesi non consegnati è stato decisamente inferiore.
Come tipologia di prodotti, percentualmente prevalgono per l’area aziendale gli articoli su rivista (max P08 57%, min P07 35%) seguiti dalle monografie (max P07 34%, min P10 17%).
Si rileva una varietà nel la lingua di pubblicazione: i lavori in lingua inglese vanno dal 45-46% di P10 e P08, al 35-36% di P09-P11, al 28% di P07. Pochissime le monografie in inglese, mentre il prodotto con la maggiore percentuale di lavori in lingua è rappresentato dagli atti di convegni (61%).
Principali risultati della valutazione
Il voto medio delle discipline aziendali è stato 0,18 rispetto allo 0,4 degli statistici e allo 0,42 degli economisti. In particolare risulta ridotta rispetto alle altre componenti dell’area 13 la percentuale di lavori giudicati eccellenti (circa 1/3 rispetto alle altre due macro-aree). La percentuale di lavori “limitati” per l’area aziendale è stata del 67%; quella dei prodotti penalizzati del 4,97% . Nell’ambito delle discipline aziendali il voto medio assegnato è stato il seguente: P10=0,3; P08=0,23; P07=0,13; P09 e P11 = 0,11.
Per quanto riguarda la valutazione per tipo di prodotti, le monografie hanno ricevuto valutazioni prevalentemente limitate (P09=98%, P08 e P11=91%, P07=83%, P10=64%). Sommando buoni ed eccellenti, per le monografie le percentuali sono molto basse: P07 = 3,67%, P11= 2%, P10= 1,72%, P08=1,59%, P09=0%). Fortemente penalizzati anche i contributi su volumi che, ad eccezione del P10 (solo il 58% è stato giudicato limitato), negli altri sottosettori sono giudicati ”limitati” in più dell’80% dei casi.
Il voto medio per fascia di docenza dell’area aziendale è simile, a differenza delle altre macroaree per le quali il voto medio è maggiore quanto maggiore è la fascia di docenza. La fascia PO (Professori Ordinari) ha ricevuto per il 52% dei lavori presentati voto medio pari a 0, contro il 43% degli associati e il 49% dei ricercatori.
Il numero di lavori con peer review è stato elevato: dal minimo del 52% di P08 fino al massimo del 74% di P07.
Alcuni commenti di ANVUR sui risultati della VQR
Come emerge dai documenti dell’ANVUR, “Per le generazioni più anziane (nati prima del 1945) il punteggio medio è inferiore a 0,15 in ciascuno dei tre sub-GEV. Si registra un forte aumento della qualità della ricerca per le generazioni successive; per quanto riguarda il sub-GEV di Economia e di Statistica, l’aumento si verifica soprattutto a partire dalle generazioni di nati negli anni cinquanta; per il sub-GEV di Aziendale il miglioramento della qualità si manifesta circa dieci anni più tardi, a partire dai nati negli anni sessanta. Con l’eccezione del sub-GEV di statistica, i miglioramenti della qualità continuano anche per le generazioni più giovani (nati dopo il 1975), anche se con una dinamica più lenta che nei due decenni precedenti.”[1]
Nella documentazione prodotta a conclusione della VQR emerge anche il seguente commento da parte di ANVUR[2]: “Per quanto riguarda il sub-GEV di area aziendale, è molto evidente un risultato mediamente inferiore a quello generale di Area 13. Pur non essendo inatteso, il dato conferma che gli SSD dell’area aziendale non hanno raggiunto il livello di qualità e internazionalizzazione delle pubblicazioni dell’area economica e statistica; si evidenzia inoltre una quota molto elevata di lavori con valutazione “limitata”. Il dato potrebbe riflettere il fatto che i ricercatori di area aziendale sono più orientati, per tradizione, a scrivere monografie in lingua italiana che, al contrario delle riviste internazionali, non sono classificate automaticamente nelle fasce di merito più elevate. Tuttavia, la spiegazione non è convincente. Infatti, tutti i libri e le monografie in lingua italiana sono stati valutati in peer review, ed in grandissima parte da revisori italiani, che li hanno classificati prevalentemente nella fascia di giudizio “limitato”. Dunque, l’alta percentuale di lavori con valutazione “limitata” è il risultato di una valutazione della comunità scientifica italiana sulla comunità scientifica italiana, e non può essere ascritta alla tipologia di pubblicazione. Pur con differenze tra SSD, in particolare per le percentuali di lavori classificati “eccellenti” o “limitati”, la VQR ha messo in evidenza che vi sono margini di miglioramento notevoli e diffusi in tutti i SSD del sub-GEV di Economia Aziendale.”
2. Le nostre riflessioni sulle principali cause dei risultati della VQR
L’analisi dei risultati della VQR ci porta a fare alcune riflessioni, che hanno anzitutto come oggetto:
– L’attività di ricerca e gli output delle attività di ricerca degli aziendalisti;
– I criteri di valutazione adottati.
L’attività di ricerca e gli output delle attività di ricerca degli aziendalisti
I risultati della VQR fanno emergere come gli aziendalisti siano in ritardo, rispetto ai colleghi di altre discipline dell’area 13, nel processo di internazionalizzazione della ricerca e, in particolare, delle pubblicazioni. Tale ritardo emerge con evidenza anche in relazione agli aziendalisti di altri Paesi europei, da tempo orientati ad una ricerca di taglio internazionale e abituati a sistemi di valutazione esclusivamente o prevalentemente di tipo bibliometrico.
Questo fatto ha sicuramente penalizzato la valutazione degli aziendalisti in quanto i criteri di valutazione assegnavano grande rilevanza all’impatto internazionale delle pubblicazioni. Tutti i prodotti in lingua italiana sono stati quindi di fatto penalizzati, almeno per quanto riguarda tale dimensione, con un evidente effetto in termini di punteggio complessivo assegnato.
Il dato sul numero di prodotti mancanti evidenzia, inoltre, come vi sia una percentuale significativa di accademici aziendalisti (21%, come richiamato più sopra) che, nell’arco di 7 anni, non ha prodotto (o non ha ritenuto di presentare) alcun risultato di ricerca idoneo ai fini della valutazione da parte di ANVUR. Questo dato è molto preoccupante e si tradurrà, automaticamente, in una perdita netta di risorse significativa per gli Atenei cui i ricercatori in questione appartengono.
Va anche chiarito, nell’ambito della nostra comunità accademica, che i prodotti di taglio didattico e esclusivamente o prevalentemente divulgativo non devono essere considerati output di ricerca in senso stretto e comunque, pur potendo avere un valore pedagogico o un impatto nei confronti della comunità imprenditoriale, non possono essere considerati output di ricerca sino a che non danno luogo a prodotti considerati tali secondo i criteri comunemente accettati a livello internazionale.
Queste considerazioni devono essere oggetto di una attenta riflessione in vista della VQR 2011-2014 che avrà luogo nell’anno 2015.
In estrema sintesi, si può affermare che l’area aziendale presenta come forti limiti una scarsa produttività (20% di soggetti che non sono arrivati a tre prodotti), un valore delle pubblicazioni che si riduce se sale la fascia di docenza, un notevole peso delle monografie (che sono state fortemente penalizzate perché scritte e pubblicate in italiano e con case editrici italiane e forse anche per il taglio eminentemente didattico assunto da alcune di esse). Rispetto alle altre macro-aree il punteggio medio è stato della metà, soprattutto per la scarsa presenza di prodotti eccellenti.
I criteri di valutazione adottati
Le considerazioni sui criteri adottati da ANVUR partono dalla constatazione che tali criteri sono stati definiti e comunicati ex-post. I ricercatori, quindi, hanno sottoposto a valutazione prodotti che erano stati realizzati prima di avere conoscenza dei criteri di valutazione degli stessi. Analogamente, solo ex post è stato predisposto il ranking delle riviste sulle quali i lavori sono stati pubblicati.
Il GEV ha definito un proprio ranking delle riviste internazionali censite nelle banche dati internazionali (ISI, SCOPUS), classificando le stesse in quattro classi di merito (E, B, A, L) sulla base dei percentili (20/20/10/50) della distribuzione di IF5 e AIS. I criteri utilizzati per la classificazione hanno portato a considerare di fascia “L-limitata” quasi tutte le riviste italiane sulle quali tra il 2004 ed il 2010 ha pubblicato la parte prevalente della comunità scientifica italiana. Essendo, inoltre, la produzione delle discipline aziendali ancora molto legata al prodotto “libro”, la valutazione degli output di ricerca per i nostri settori è avvenuta facendo ricorso, in prevalenza, alla peer review (da un minimo del 52% per il P08 ad un massimo del 75% per il P07). Per una parte dei prodotti sottoposti a valutazione, invece, la valutazione è stata doppia (bibliometrica e tra pari), con l’obiettivo di vedere quale correlazione esistesse tra le valutazioni dello stesso prodotto secondo le due modalità.
Contrariamente alle aspettative, il GEV 13 sostiene che la valutazione secondo il criterio bibliometrico è risultata essere migliore di quella effettuata tra pari (il che è peraltro accaduto anche nelle valutazioni degli economisti). In ogni caso, anche quando la valutazione è stata fatta in peer review, per molti prodotti di ricerca la valutazione è stata “limitata”. In relazione a questo punto le considerazioni possono essere diverse e non vi è possibilità di distinguere quali tra queste sia prevalente rispetto alle altre:
– Potrebbero essere stati presentati prodotti di bassa qualità, ad esempio articoli, capitoli di libro e monografie di taglio prevalentemente divulgativo o didattico;
– I valutatori sono stati scelti tra coloro che hanno un forte orientamento ad una ricerca di stampo internazionale, quantitativa, e hanno valutato come molto modesti prodotti più vicini alla tradizione degli aziendalisti italiani. Visto poi che la valutazione è avvenuta essendo i valutatori a conoscenza non solo dell’identità degli autori ma anche delle riviste su cui i prodotti di ricerca erano stati pubblicati, ci si potrebbe chiedere fino a che punto essi siano stati influenzati dal posizionamento delle riviste stesse. Si potrebbe, cioè, ipotizzare che con la informed peer review si sia giunti a valutazioni simili a quelle basate sul solo criterio bibliometrico.
– La scheda di valutazione era fatta in modo che anche un prodotto di buona qualità, ma realizzato in lingua italiana e a circolazione nazionale, venisse automaticamente penalizzato.
Sicuramente nel fare considerazioni circa i criteri di valutazione va considerato che la tradizione degli aziendalisti, che si caratterizza per una ricerca qualitativa e in lingua italiana, è tutt’altro che in linea con i criteri che ANVUR ha deciso di utilizzare. Mentre oggi c’è una significativa tendenza degli aziendalisti italiani (soprattutto i più giovani) all’internazionalizzazione, alla realizzazione di ricerche secondo standard accettati internazionalmente, alla pubblicazione soprattutto di articoli su riviste riconosciute di buona qualità, le pubblicazioni del periodo 2004-2010 erano ancora, per buona parte degli accademici di area aziendale, fortemente condizionate dai criteri e dalle “regole del gioco” sino ad allora prevalenti. Tale circostanza era comunque nota già prima che fosse avviato l’intero processo di valutazione.
3. I dati non disponibili
La nostra valutazione della VQR è limitata dal fatto che non sono stati resi pubblicamente disponibili alcuni dati e informazioni che ci servirebbero per compiere un’analisi più completa. Più in particolare:
– la conoscenza dei criteri previsti per l’assegnazione del giudizio e, soprattutto, la relativa metrica sarebbe necessaria per meglio comprendere se i risultati emersi dalla VQR sono prevalentemente dovuti a carenze di rilevanza, di originalità dei lavori o di internazionalizzazione dei prodotti valutati.
– pensiamo dovrebbe essere pubblicato l’elenco dei reviewer utilizzati. Ciò ci consentirebbe di sapere quanto il sub-GEV di area aziendale abbia tenuto conto delle proposte di AIDEA e delle società scientifiche delle discipline aziendali(che su questo erano state sollecitate a dare alcune indicazioni) e, più in generale, di comparare le caratteristiche dei reviewer con quelle dell’universo dei soggetti valutati. Sappiamo soltanto, in base a quanto precisato dallo stesso GEV 13, che i revisori sono stati individuati considerando standard di qualità scientifica, impatto sulla comunità scientifica internazionale, esperienza nella valutazione, prevalente appartenenza ad istituzioni straniere e ad enti di ricerca non sottoposti alla valutazione.
– la conoscenza dei criteri usati dall’ANVUR per la composizione del sub-GEV sarebbe utile per valutarne la relazione con l’universo dei soggetti valutati.
Si ricorda che il sub-GEV “Economia aziendale e Finanza” risulta composto da:
- Gambardella P08 – Italia – Bocconi – Coordinatore
- Bergami P10 – Italia – Bologna
- Cichelli P13 – Italia – Chieti
- Cornelli Finance – UK – LSE
- Ellul Finance – USA – Indiana
- Frino Finance – AUS – Macquarie
- Guido P08 – Italia – Salento
- Dagnino P08 – Italia – Catania
- Guthrie P07 – Italia – Bologna
- Murgia P09 – Italia – Bolzano
- Mussari P07 – Italia – Siena
- Quattrone Accounting – UK – Edinburgh
- Terlizzese Finance – Italia – Istituto Einaudi
- Warglien P08 – Italia – Venezia
4. Le conseguenze delle valutazioni ricevute
La VQR sta producendo conseguenze piuttosto negative, le cui principali manifestazioni sono:
– Una minor capacità di attrazione di risorse, a causa delle scadenti valutazioni che i dipartimenti a forte connotazione aziendalistica hanno ricevuto rispetto ai dipartimenti costituiti da accademici di altre aree disciplinari;
– Una minor forza contrattuale degli aziendalisti rispetto ai colleghi di altre discipline nelle rispettive Università. Ciò a differenza di quanto avvenuto per altri settori, che sono stati valutati sulla base di criteri più in linea con la loro tradizione: infatti alcuni settori che hanno una lunga tradizione di ricerca valutata su base bibliometrica hanno trovato nella VQR una conferma delle logiche di valutazione loro consone, mentre altri (segnatamente, quelli dei giuristi), non avendo alcuna familiarità con tale tipo di valutazione, sono stati valutati secondo criteri esclusivamente qualitativi. Il fatto che gli aziendalisti si siano trovati in una situazione “a metà del guado” ha forse più facilmente portato all’uso di criteri non tradizionalmente utilizzati e anche per questo (anche se non solo) ad una più modesta valutazione dei risultati della ricerca svolta.
Questa situazione potrà cambiare man mano che i giovani impegnati nella ricerca diventeranno (come già sta accadendo in molte Università) sempre più internazionali e capaci di confrontarsi con i colleghi di altri Paesi anche per la capacità di pubblicare risultati di ricerca su riviste internazionali di alto livello. Non sembra, però, probabile che questo avvenga in tempi brevi. In ogni caso, l’auspicio è che sin da ora si possa conoscere con sicurezza sulla base di quali criteri i ricercatori saranno valutati per la successiva VQR, quella relativa al periodo 2011-2014.
Come è emerso anche nel corso del convegno annuale AIDEA, è convinzione diffusa che nel giro di due VQR si passerà ad una valutazione basata solo sul criterio bibliometrico, anche in considerazione degli elevati costi e tempi che la peer review comporta. Questo implicherà l’impossibilità o comunque la non convenienza a sottoporre a valutazione prodotti di ricerca che non rispondano ai criteri di qualità, internazionalità, impatto. Il passaggio ad un sistema bibliometrico porrebbe ancor più in evidenza, qualora non vi fosse una convergenza, lo scollamento tra il ranking delle riviste internazionali elaborato da AIDEA e quello delle riviste di fascia A elaborato da ANVUR (che ha scelto come unico riferimento l’ISI).
Più in generale, il tema della VQR apre anche spazi per alcune considerazioni circa la direzione di marcia da prendere, alla luce dei criteri recentemente adottati per le abilitazioni nazionali. In effetti, la VQR ha valutato avendo molto chiaramente come riferimento il ranking ISI delle riviste. Al contrario, nelle valutazioni ASN la scelta del Ministero di ritenere quale condizione per la proposizione della domanda a chi avesse superato anche solo una tra le tre mediane (riviste internazionali, monografie, altri lavori) è andata in tutt’altra direzione. Come conseguenza, molto probabilmente ci si troverà nella condizione di avere colleghi che, avendo ottenuto l’abilitazione sulla base dei criteri ASN, non otterranno l’upgrading nelle rispettive strutture o non saranno chiamati nella fascia superiore in quanto non idonei a contribuire ad ottenere risorse secondo i criteri VQR. Infatti, mentre per ottenere l’abilitazione il riferimento è costituito da mediane relative alla pubblicazione di monografie e capitoli di libri, oltre che di articoli, scritti anche in lingua italiana e/o pubblicati su riviste italiane prive di indicatori di impatto riconosciuti internazionalmente, quello stesso tipo di pubblicazioni in generale contribuisce in misura limitata all’ottenimento di una buona valutazione della qualità della ricerca.
5. Il rapporto AIDEA – ANVUR
Numerose sono state le occasioni d’incontro e di contatto, formali ed informali, nelle quali AIDEA ha rappresentato agli esponenti dell’ANVUR e del GEV 13 le tipicità della produzione scientifica degli aziendalisti italiani, manifestando la propria disponibilità ad una collaborazione, strada peraltro ampiamente diffusa in diversi altri GEV. L’ANVUR, però, non ha quasi mai recepito le indicazioni, i suggerimenti e le proposte che AIDEA ha formulato nel corso dei vari momenti che hanno caratterizzato il complesso processo di valutazione.
In tale ambito, si segnala, fra l’altro, che:
– il GEV 13 ha deciso di predisporre un proprio ranking delle riviste sostanzialmente diverso da quello costruito dall’Accademia, anche se AIDEA aveva già un proprio journal rating che avrebbe potuto essere preso a riferimento per la valutazione delle riviste.
– AIDEA, anche tramite le società scientifiche delle discipline aziendali, ha fornito un ampio elenco di professori – italiani e stranieri – di indiscusso valore scientifico, ma non si sa, ad oggi, se lo stesso sia stato il riferimento per le attività di peer review, dubbio questo che potrebbe essere fugato solo dalla pubblicazione da parte dell’ANVUR del database dei valutatori impiegati.
Pur nella condivisione del principio generale di una ovvia “distanza di sicurezza” tra valutatori e valutati, è difficile comprendere le ragioni della condizione di prevalente isolamento in cui ha deciso di operare il GEV 13 , specie per la componente relativa all’economia aziendale, si ripete contrariamente a quanto è avvenuto in altri GEV, con la conseguenza di effettuare le scelte più importanti indipendentemente dal pensiero della comunità scientifica di riferimento, pur avendo cercato AIDEA di dialogare costruttivamente e con flessibilità con gli organismi ministeriali preposti al processo valutativo.
6. Spunti per il futuro
Volendo individuare alcuni spunti per le attività che AIDEA potrà svolgere in relazione a quanto l’esperienza VQR ci ha insegnato, pensiamo che sia importante soprattutto:
– Sostenere in misura crescente il processo di internazionalizzazione dei ricercatori e di scelta dei media editoriali più adeguati, secondo una logica volta a combinare la ricerca di specializzazione con quella della interdisciplinarietà.
– Instaurare un più stretto rapporto con gli organi ministeriali.
– Contribuire a mantenere viva l’identità degli aziendalisti italiani, pur in presenza di spinte all’internazionalizzazione e al confronto con altre comunità scientifiche.
Sostenere in misura crescente il processo di internazionalizzazione dei ricercatori
Questo obiettivo potrà essere conseguito con un mix di diverse modalità:
– contribuendo alla crescita in chiave internazionale della propria rivista e di altre pubblicazioni AIDEA, ma anche a quella di altre riviste e collane italiane. Ciò potrà avvenire, ad esempio, accompagnandole nel processo di certificazione internazionale o mettendole in contatto con studiosi stranieri che possano svolgere funzione di reviewer;
– rendendo il convegno annuale AIDEA un evento capace di richiamare studiosi da tutto il mondo. Come è stato dimostrato dall’esperienza del convegno di Lecce 2013, è possibile avere una massiccia presenza di studiosi internazionali grazie alla collaborazione con riviste di alta qualità e con l’utilizzo della lingua inglese a fianco di quella italiana. Pensiamo che AIDEA debba proseguire su questo solco anche negli anni a venire;
– proseguendo nella ricerca di accordi e collaborazioni con associazioni e società scientifiche di altri Paesi, così come è stato già in parte fatto in questi anni, al fine di creare occasione di contatto e confronto tra studiosi delle nostre discipline provenienti da Paesi diversi.
Instaurare un più stretto rapporto con gli organi ministeriali
Come è stato evidenziato più sopra, il rapporto con ANVUR è stato nel periodo passato ricercato ed avviato da AIDEA, ma non si è tradotto in una collaborazione che avrebbe potuto aver luogo, pur restando ciascuno nel proprio ambito. Da questo punto di vista occorre che AIDEA continui, anche in coordinamento con le altre società scientifiche e sempre con maggior vigore, a rappresentare gli interessi ed i punti di vista della comunità scientifica degli aziendalisti italiani, forte della propria storia e della numerosità degli accademici rappresentati. Per AIDEA, infatti, è importante non solo potere far conoscere il punto di vista degli aziendalisti italiani agli organi ministeriali di riferimento, ma anche beneficiare di quei suggerimenti che questi potrebbero dare affinché si realizzi un miglioramento della qualità della ricerca in campo aziendale. Per questo pensiamo debbano essere colte tutte le opportunità di coinvolgimento degli stessi nelle attività che AIDEA intende promuovere per far crescere la comunità degli aziendalisti italiani e dar loro modo di confrontarsi con successo con i colleghi di altri Paesi, soprattutto europei.
Contribuire a mantenere viva l’identità degli aziendalisti italiani
Una delle sfide che gli aziendalisti italiani dovranno affrontare, e rispetto alla quale AIDEA può apportare un contributo assieme alle altre società scientifiche, è quella di riuscire a confrontarsi con altre comunità di studiosi, a livello nazionale ed internazionale, senza perdere la propria identità ed il proprio patrimonio culturale.
AIDEA potrà contribuire al conseguimento di questo ambizioso obiettivo continuando a sostenere, a fianco di iniziative orientate all’internazionalizzazione e all’innovazione sul fronte del metodo, anche iniziative capaci di valorizzare “i classici” dell’Economia aziendale e a rivisitarli in chiave moderna. In questo modo sarà possibile trasmettere anche ai colleghi più giovani i fondamenti delle nostre discipline, cercando di spingerli a realizzare una ricerca che, pur allineata a quanto richiesto dagli standard comunemente accettati a livello internazionale, sappia tener conto dell’approccio qualitativo e della visione d’insieme che ha caratterizzato la storia
