Infondate preoccupazioni #10

 

Care Colleghe, Cari Colleghi,

Come anticipato nella e-mail, questo decimo numero della mia rubrica è dedicato a un’analisi della VQR 2020-2024, di cui ANVUR ha pubblicato un primo documento la scorsa settimana.

Come è noto, la VQR (Valutazione della Qualità della Ricerca) rappresenta uno dei principali fattori per la determinazione della quota premiale del FFO (circa il 30% del totale) ed è uno degli ambiti in cui il nostro Ateneo mostra, purtroppo, ampi margini di miglioramento.
A titolo di esempio (dati FFO 2025), mentre sulla quota base il nostro Ateneo pesa per il 2,80%, sulla quota premiale il peso scende al 2,60%. Ciò comporta che, rispetto a un Ateneo di dimensioni comparabili – come l’Università di Pisa – perdiamo ogni anno circa 10 milioni di euro.

Migliorare la nostra performance nella VQR è quindi un obiettivo strategico e, direi, vitale per l’Ateneo, soprattutto alla luce delle attuali condizioni di ristrettezza economica.

Prima di entrare nel merito dei dati, è utile richiamare brevemente la struttura della VQR 2020-2024.
Quest’anno la valutazione si articola in cinque ambiti principali:

·      Qualità dei prodotti di ricerca dei docenti in servizio (IRAS1, R1)

·      Qualità dei prodotti dei docenti reclutati o promossi nel periodo 2020-2024 – indicatore della qualità del reclutamento (IRAS2, R2)

·      Qualità complessiva dei prodotti dei due gruppi precedenti (IRAS1_2, R1_2)

·      Qualità della produzione scientifica dei dottori di ricerca formati dall’Ateneo (2017-2023), inclusi coloro che oggi operano fuori dalle istituzioni valutate – indicatore della qualità della formazione alla ricerca - dottorandi(IRAS3, R3)

·      Casi studio di valorizzazione delle conoscenze (terza missione) – indicatore di impatto-terza missione (IRAS4, R4)

·      Progetti competitivi internazionali (2020-2024) – indicatore della capacità competitiva internazionale (IRAS5, R5), introdotto per la prima volta in questa VQR

Per ciascun ambito sono previsti due tipi di indicatori:

Indicatori R (qualitativi)
Misurano la qualità dei risultati della ricerca rispetto alla media nazionale, tenendo conto della composizione disciplinare dell’Ateneo.

Indicatori IRAS (quali-quantitativi)
Tengono conto sia della qualità sia della dimensione dell’Ateneo (quota di prodotti attesi, Q).
Sono quelli utilizzati per il calcolo della quota premiale del FFO e sono definiti come:

IRAS = R x Q

Gli indicatori IRAS dipendono quindi sia dalla qualità (R) sia dalla dimensione dell’Ateneo. Per questo motivo non sono direttamente confrontabili tra Atenei di dimensioni diverse.

Per rendere il confronto significativo, nella Tabella 1 propongo un confronto tra Palermo e Pisa, che sono Atenei di dimensioni comparabili (circa 1700 docenti nel 2024 e circa 1500 nel 2021).

Da questo confronto emerge che:

·      Palermo recupera rispetto a Pisa sul reclutamento (IRAS2), ma peggiora sugli altri docenti (IRAS1), dove nella VQR precedente avevamo fatto meglio; il risultato complessivo (IRAS1_2) mostra un lieve recupero;

·      permane una forte distanza a nostro sfavore sui dottorandi (IRAS3);

·      si registra un peggioramento molto significativo sulla terza missione (IRAS4);

·      sui progetti internazionali (IRAS5) il divario è molto ampio.

Va tuttavia sottolineato che è difficile tradurre direttamente questi risultati in effetti sull’FFO, poiché gli IRAS dipendono anche dal peso relativo degli Atenei nel sistema nazionale.

Diversamente dagli IRAS, gli indicatori R sono confrontabili tra Atenei, perché normalizzati rispetto alla media nazionale.

La loro interpretazione è semplice:

·      R < 1 → qualità inferiore alla media nazionale

·      R > 1 → qualità superiore alla media nazionale

Tuttavia, anche gli indicatori R non sono direttamente confrontabili tra diverse VQR, a causa delle differenze metodologiche tra gli esercizi.

La Tabella 2 riporta le performance degli indicatori R per i mega-atenei italiani e per gli Atenei pubblici siciliani.

I risultati per il nostro Ateneo non sono positivi. In particolare:

·      tutti gli indicatori R del nostro Ateneo nella VQR 2020-2024 sono inferiori all’unità, alcuni di molto (R4 ed R5);

·      con l’eccezione dell’indicatore relativo ai docenti non di recente reclutamento (R1), Unipa presenta la peggiore performance tra i mega-atenei;

·      la distanza dalla media dei mega atenei peggiora, rispetto alla VQR 2015-2019, per l’indicatore complessivo (R1_2), soprattutto a causa del deterioramento della qualità del reclutamento (R2, da -4,3% a -7,8%);

·      la distanza sull’indicatore dei dottorandi (R3) resta sostanzialmente invariata;

·      si registra un forte peggioramento sulla terza missione (R4) (-29,3%);

·      sui progetti internazionali (R5) il ritardo è molto significativo (-18%);

·      l’Università di Catania mostra performance migliori in tre indicatori (R1, R4, R5 – su gli ultimi due molto significativo), equivalenti in due (R1_2, R3) e leggermente inferiori solo in R2.

Sulla base dei dati attualmente disponibili, è difficile non concludere che la VQR 2020-2024 non sia andata bene per il nostro Ateneo.

Si tratta, purtroppo, di un risultato che – almeno per quanto mi riguarda – non è del tutto inatteso. A mio avviso, infatti, negli ultimi anni è mancata totalmente una strategia chiara e sistematica per il miglioramento della qualità della ricerca e delle attività di terza missione, e purtroppo non ce lo possiamo più permettere.

Vi do appuntamento ad una analisi più approfondita e considerazioni più articolate quando saranno disponibili gli altri dati. Per ora Vi ringrazio per l’attenzione.

Un caro saluto a tutte e tutti

Giovanni

	VQR 2020-2024						VQR 2015-2019
	IRAS1	IRAS2	IRAS1_2	IRAS3	IRAS4	IRAS5	IRAS1	IRAS2	IRAS1_2	IRAS3	IRAS4
Palermo	2,629	2,704	2,677	2,417	2,064	0,928	2,5	2,44	2,47	1,84	2,61
Pisa	2,876	3,064	2,995	3,885	2,84	3,78	2,37	3,38	2,92	3,1	2,65
Differenza % (UniPI-UniPA)	9,4%	13,3%	11,9%	60,7%	37,6%	307,3%	-5,2%	38,5%	18,2%	68,5%	1,5%

Tabella 1. Confronto IRAS Università di Palermo e Pisa

	VQR 2020-2024						VQR 2015-2019
	R1	R2	R12	R3	R4	R5	R1	R2	R12	R3	R4
Bari	0,918	0,951	0,939	1,006	0,804	0,864	0,9	0,96	0,93	0,96	1,14
Bologna	1,048	1,029	1,036	1,007	1,1	1,211	1,06	1,04	1,04	1,04	1,24
Firenze	1,048	1,03	1,037	1,02	1,004	0,958	1,04	1,01	1,02	1	1,09
Milano	1,062	1,053	1,057	1,004	1,078	1,155	1,08	1,05	1,08	1,04	1,07
Napoli Federico II	1,042	1,001	1,015	1,001	1,132	0,944	1,04	1	1,02	0,99	1,12
Padova	1,061	1,066	1,065	1,027	1,134	1,013	1,07	1,06	1,07	1,04	1,19
Palermo	0,921	0,934	0,929	0,942	0,722	0,783	0,91	0,97	0,94	0,94	1,05
Pisa	1,046	1,017	1,027	1,002	0,994	0,955	1,03	1,02	1,03	1,01	0,97
Roma La Sapienza	1	1,009	1,005	1,029	1,156	0,913	0,97	0,99	0,98	0,97	1,06
Torino	1,055	1,037	1,044	1,025	1,089	0,848	1,06	1,04	1,05	1,06	1,17
Media Mega-Atenei	1,02	1,013	1,0154	1,0063	1,0213	0,9644	1,016	1,014	1,016	1,005	1,11
Ritardo % di Unipa dalla media	-9,7%	-7,8%	-8,5%	-6,4%	-29,3%	-18,8%	-10,4%	-4,3%	-7,5%	-6,5%	-5,4%
Catania	0,929	0,932	0,93	0,942	0,949	0,982	0,91	0,99	0,93	0,97	0,88
Messina	0,873	0,898	0,89	0,847	0,65	0,713	0,89	0,9	0,89	0,94	0,69

Tabella 2. Confronto tra gli indicatori R nelle VQR 2020-2024 e 2015-2019 (In verde il dato migliore per ciascun indicatore, in rosso il peggiore. Per quanto concerne il confronto con Catania e Messina in verde quando i due atenei hanno una performance migliore di Unipa, in giallo quando hanno la stessa performance, in rosso quando è peggiore)