TuttoTrading.it

15/05/2006 Un giudizio sul Civr (Franco Peracchi, www.lavoce.info)

Ricerca personalizzata

Il primo esercizio italiano di valutazione della ricerca ha avuto lo scopo di valutare la performance scientifica delle strutture di ricerca (università, enti pubblici di ricerca, e progetti speciali finanziati dal Miur) nel triennio 2001-2003. ) È importante ricordare che la partecipazione è stata volontaria (ma tutte le università pubbliche hanno aderito) e che la selezione dei prodotti di ricerca è stata effettuata dalle strutture, mentre la loro valutazione si è svolta attraverso un sistema di peer-review.

L’esperienza del panel 13

Complessivamente, il panel 13 (Economia e Statistica) ha valutato 971 prodotti distinti attribuiti dalle strutture a quattro categorie della classificazione Isi: 574 (59 per cento) da IS0058 ("Economia"), 201 (21%) da IS0142 ("Matematica"), 183 (19 per cento ) da IS0132 ("Management"), e 13 (1 per cento ) da IS0328 ("Sociologia e Antropologia"). Per quanto riguarda la loro tipologia, 526 prodotti (54 per cento ) erano articoli in riviste con fattore di impatto (If), 187 (19 per cento) libri, 156 (16 per cento) articoli in riviste senza If, e 102 (11 per cento) capitoli di libro, mentre erano assenti prodotti di altra tipologia (brevetti, ecc.). Per quanto riguarda invece la lingua in cui erano scritti, 770 (79 per cento ) erano in inglese, 193 (20 per cento ) in italiano, 5 in francese, e 3 in altre lingue.
La tabella 1 presenta la distribuzione dei prodotti del panel 13 per categoria Isi e tipologia (percentuale di lavori in italiano in parentesi). (1) Per quanto riguarda gli articoli su rivista (che rappresentano il 70 per cento dei lavori presentati), si osserva una certa concentrazione in un numero limitato di riviste. (2)
L’esercizio di valutazione della ricerca è iniziato alla fine di gennaio 2005. Dopo l’elezione del presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il panel in tre sottogruppi: Economia (463 prodotti, 6 panelist), Business/Finanza (249 prodotti, 3 panelist) e Statistica/Econometria (259 prodotti, 3 panelist). L’assegnazione dei prodotti ai panelist è stata fatta dal presidente, tenuto conto dell’area di specializzazione e dei suggerimenti di ciascun panelist.
L’assegnazione di un prodotto a esperti esterni (almeno due) è stata fatta dal panelist incaricato. C’è stato disaccordo tra i panelist circa l’interpretazione e il peso da dare ai criteri Civr per la valutazione dei prodotti. Ogni panelist ha seguito criteri propri nell’assegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti. Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti. Per circa due terzi dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (tre mesi). Per il restante un terzo, il processo di valutazione esterna si è concluso solo alla fine di novembre (otto mesi).
La tabella 2 mostra l’affiliazione degli esperti esterni dell’Area 13. Rispetto agli altri panel Civr, il panel 13 ha fatto minore ricorso a esperti affiliati a istituzioni italiane (università ed enti di ricerca) e maggiore ricorso a esperti appartenenti a istituzioni straniere (spesso ricercatori italiani in università straniere).
Basandosi sui giudizi degli esperti esterni, i panelist incaricati hanno proposto un giudizio di sintesi agli altri componenti del sottogruppo. Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta d’accordo sul giudizio proposto. Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo uno o al massimo due iterazioni) per 967 dei 971 prodotti (99,6 per cento). Per 830 di questi prodotti (l’85,8 per cento), il consenso è stato unanime. Per il sottogruppo Business, il consenso non è stato unanime in sei casi, per il sottogruppo Economia in 123 casi (26,7 per cento dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in un caso. Per quattro prodotti (tre di Economia, uno di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza all’interno del panel.
La tabella 3 mostra la distribuzione dei giudizi finali per il panel 13 e per ciascuna delle quattro categoria Isi. Nel complesso, il panel 13 e il panel 14 (Scienze politiche e sociali) sono i soli panel Civr con quote di prodotti classificati come "Buono" o "Eccellente" inferiori al 60 per cento.

Due interpretazioni

Date le caratteristiche dei prodotti valutati, e l’ampio ricorso a esperti affiliati a istituzioni straniere, i risultati del panel 13 non sono sorprendenti. Per chiarire questo punto, la tabella 4 mostra le stime dei coefficienti di regressioni separatamente per categoria Isi, dove la variabile dipendente è il punteggio numerico assegnato dal panel 13 (= 1*E + .8*B + .6*A + .2*L), e i predittori sono indicatori della tipologia di prodotto e della lingua di pubblicazione (tutti i coefficienti sono statisticamente significativi al livello 5 per cento). L’intercetta è una stima del punteggio numerico atteso per un prodotto pubblicato in una rivista straniera con If.
In media, gli articoli in riviste con If ricevono valutazioni più elevate, mentre i capitoli di libro quelle più basse. Si può mostrare che, per gli articoli in riviste con If, la probabilità di ricevere un giudizio di "Buono" o "Eccellente" cresce con l’If della rivista. Si può inoltre mostrare che le differenze nella distribuzione dei giudizi tra i panelist del panel 13 si attenuano o scompaiono una volta che si tenga conto delle differenze nella tipologia e nella lingua dei prodotti assegnati.
Queste relazioni, tutte fortemente significative dal punto di vista statistico, si possono prestare a due diverse interpretazioni. La prima è che la reputazione della rivista dove è stato pubblicato contribuisce in modo cruciale a determinare il giudizio sul prodotto. La seconda è che il giudizio dato a un prodotto dipende solo dalla sua qualità intrinseca ma, in media, conferma la reputazione della rivista in cui è stato pubblicato. Sebbene si possano citare casi a favore della prima interpretazione, mi sembra che l’evidenza favorisca di gran lunga la seconda.
Per concludere, sono convinto che il Civr sia stato un grande successo, riuscendo a processare in breve tempo (circa dieci mesi) un gran numero di prodotti (quasi 18mila) e contribuendo a mettere in moto un processo salutare all’interno dell’università italiana. Il sistema informatico che ne rappresenta la spina dorsale ha funzionato in modo molto efficiente e senza intoppi. Con l’esperienza maturata e la tecnologia a disposizione, l’esercizio potrebbe essere addirittura svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale. In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal Vtr 2001-2003. Il vantaggio principale di questa maggiore frequenza è che le strutture potrebbero aggiustare le loro politiche e i loro incentivi con maggiore gradualità e osservare con maggiore rapidità l’esito del lavoro svolto.

 

(1) Il panel 13 (Economia e Statistica) era formato da dodici componenti, di cui otto da università italiane e quattro da istituzioni straniere: Pierre Dehez (Università Cattolica di Lovanio, Belgio), Jean-Paul Fitoussi (Ofce, Francia), Francesco Giavazzi (Università Bocconi), Daniel Gros (Ceps, Belgio), Marco Lippi (Università di Roma La Sapienza), Luigi Pasinetti (Università Cattolica), Daniel Peña (Università Carlos III, Spagna), Alessandro Penati (Università Cattolica di Milano), Franco Peracchi (Università di Roma Tor Vergata, presidente), Alessandro Petretto (Università di Firenze), Alessandro Riccaboni (Università di Siena), e Guido Tabellini (Università Bocconi).

(2) Per la categoria Isi "Economia", le nove riviste più frequenti (con 82 articoli su 415) sono: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), e Journal of Economic Theory (7). Per la categoria Isi "Management", le nove riviste più frequenti (con 20 articoli su 72) sono: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), e Revue Française du Marketing (2). Per la categoria Isi "Matematica", le nove riviste più frequenti (con 53 articoli su 188) sono: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), e Journal of Statistical Planning and Inference (4).

Tabella 1: Distribuzione dei prodotti del Panel 13 per tipologia (% di lavori in italiano in parentesi)

Categoria ISI

Rivista senza IF

Rivista

Con IF

Capitolo

di libro

Libro

TOTALE

Economia

92

(15.2)

323

(0.0)

70

(27.1)

89

(62.9)

574

(15.5)

Management

32

(34.4)

40

(0.0)

21

(38.1)

90

(87.8)

183

(53.6)

Matematica

31

(0.0)

157

(0.0)

10

(0.0)

3

(33.3)

201

(0.5)

Sociologia

1

(0.0)

6

(0.0)

1

(100.0)

5

(80.0)

13

(38.5)

TOTALE

156

(16.0)

526

(0.0)

102

(27.5)

187

(74.9)

971

(19.9)

Tabella 2: Affiliazione degli esperti esterni del Panel 13.

 

Categoria ISI

Italiana

Straniera

Totale

Economia

92

(55.8)

73

(44.2)

165

(100.0)

Management

30

(73.2)

11

(26.8)

41

(100.0)

Matematica

48

(64.9)

26

(35.1)

74

(100.0)

Sociologia

6

(85.7)

1

(14.3)

7

(100.0)

TOTALE

176

(61.3)

111

(38.7)

287

(100.0)

Tabella 3: Distribuzione dei giudizi finali del Panel 13.

 

Categoria ISI

Limitato

(L)

Accettabile

(A)

Buono

(B)

Eccellente

(E)

TOTALE

Economia

100

(17.4)

161

(28.0)

214

(37.3)

99

(17.3)

574

(100.0)

Management

60

(32.8)

48

(26.2)

62

(33.9)

13

(7.1)

183

(100.0)

Matematica

12

(6.0)

49

(24.4)

84

(41.8)

56

(27.9)

201

(100.0)

Sociologia

1

(7.7)

7

(53.8)

5

(38.5)

0

(0.0)

13

(100.0)

TOTALE

173

(17.8)

265

(27.3)

365

(37.6)

168

(17.3)

971

(100.0)

Tabella 4: Coefficienti stimati nella regressione del punteggio numerico assegnato dal Panel 13 (= 1*E + .8*B + .6*A + .2*L) sulle caratteristiche dei prodotti valutati.

 

Categoria ISI

Intercetta

Rivista straniera senza IF

Capitolo di libro (non in italiano)

Libro (non in italiano)

Rivista italiana senza IF

Capitolo di libro in italiano

Libro in italiano

Numero di prodotti

R-quadrato

Economia

.788

-.144

-.305

-.145

-.286

-.135

-.200

574

.337

Management

.800

-.095

-.169

-.036

-.359

-.206

-.348

183

.400

Matematica

.824

-.211

-.384

.176

-.800

201

.320

TOTALE

.798

-.153

-.296

-.109

-.294

-.124

-.261

971

.374

  • Archivio Innovazione
  • Ricerca personalizzata