Il tema della valutazione delle scuole, sollevato dalla cosiddetta direttiva "Invalsi" del ministro della Pubblica istruzione del 25 agosto, ha riproposto un problema endemico nel caso italiano, in particolare con riferimento alla pubblica amministrazione: la carenza di dati valutativi sull’attività svolta.

A livello internazionale esistono indagini campionarie che misurano il livello di apprendimento degli studenti, costruite con metodologie rigorose nella selezione dei campioni, nello svolgimento delle prove e nella costruzione degli indicatori relativi alla performance degli studenti. Basti citare i nomi delle indagini Pirls, Timms, Pisa. Tuttavia, queste indagini sono finalizzate al confronto internazionale, e non all’interno dei paesi stessi. La dimensione dei campioni è normalmente adeguata allo scopo, e non supera qualche migliaio di casi. Diversi paesi hanno poi le rilevazioni nazionali, spesso sull’intera popolazione scolastica, che permettono di estendere la valutazione a un livello più basso, arrivando in alcuni casi alla definizione di punteggi relativi alla performance della singola scuola.
Il caso italiano è invece atipico. Il nostro paese ha partecipato a molte indagini comparative nell’ultimo decennio, e nel contempo l’Invalsi ha tentato di costruire un complesso di prove valutative esteso all’intero sistema scolastico, inizialmente denominandoli "progetti pilota" e ora "valutazione del sistema scolastico nazionale". Esistono tuttavia forti motivi di insoddisfazione nei confronti della significatività di queste prove, come emerge per esempio dal confronto dei risultati dell’indagine Pisa (relativa agli studenti quindicenni) con la valutazione nazionale delle classi prima e terza delle scuole superiori.
L’indagine Pisa condotta in ambito Ocse con cadenza triennale (fino ad oggi nel 2000, nel 2003 e nel 2006) riguarda un campione rappresentativo della popolazione studentesca quindicenne. L’ultima per la quale sono disponibili i dati (liberamente scaricabili dal sito www.pisa.oecd.org) ha riguardato 11.639 studenti quindicenni, di cui 11 in seconda media, 63 in terza media (evidentemente pluribocciati), 1.775 in prima superiore (presumibilmente in massima parte ripetenti o "riorientati"), 9.562 in seconda superiore e 228 in terza superiore (i cosiddetti "anticipi").
Poiché è plausibile auspicare che la valutazione della qualità della formazione non sia influenzata dalle diverse politiche di selezione (anche perché non vorremmo indurre l’incentivo distorto di promuovere tutti), ci possiamo concentrare sugli studenti appartenenti alla classe modale, ovverosia ai 9.562 iscritti alla seconda classe di 381 scuole secondarie del secondo ciclo, distribuite su ottanta province italiane: una media di 4,7 istituti per provincia. Se si considera che per lo stesso anno scolastico 2002-03 gli istituti d’istruzione superiore statali erano 4.876 (a cui andrebbero aggiunti gli istituti privati) ci si accorge subito di come questa valutazione non possa che essere presa con molta cautela quando si scende al di sotto del livello nazionale.
Più ampio è invece il campione delle scuole partecipanti alla rilevazione promossa annualmente dall’Invalsi per la valutazione del sistema scolastico. (1)
Si tratta di una valutazione condotta nelle classi seconde e quarte nella scuola primaria, seconde nella scuola secondaria del primo ciclo e nelle classi prime e terze della scuola secondaria del secondo ciclo. Per quanto riguarda le scuole secondarie del secondo ciclo, risultano rilevati 1.728 istituti e circa 200mila studenti (222.498 nella rilevazione sul primo anno e 182.816 nella rilevazione sul terzo anno), con un campione nettamente più ampio. Tuttavia, a differenza dell’indagine Pisa in cui il campione è scelto rigorosamente in modo da essere rappresentativo della situazione nazionale, con precisi standard in termini di tassi di risposta minimi e di rimpiazzo in caso di assenza, il campione Invalsi è (almeno nel caso dell’istruzione secondaria di secondo ciclo) a partecipazione volontaria, con regole meno rigorose in merito alla presenza/assenza di studenti scadenti durante la somministrazione della prova.

L’insoddisfazione per l’assenza di dati affidabili sulla performance delle scuole superiori ha indotto alcune amministrazioni regionali (tra cui Piemonte, Lombardia, Veneto, Trentino, Toscana) a stipulare accordi specifici con Ocse rispetto all’indagine 2003 al fine di sovracampionare le proprie regioni per ottenere campioni rappresentativi su base regionale. La stessa procedura si è ripetuta e allargata con l’indagine Pisa relativa al 2006, dove ben undici regioni e due province autonome hanno scelto di cofinanziare l’indagine al fine di ottenere campioni rappresentativi su base regionale (Basilicata, Bolzano, Campania, Emilia Romagna, Friuli Venezia Giulia, Liguria, Lombardia, Piemonte, Puglia, Sardegna, Sicilia, Trento, Veneto).
Se questo può far piacere allo studioso, che potrà finalmente analizzare con maggior dettaglio le caratteristiche delle scuole meridionali caratterizzate da bassa performance, dal punto di vista istituzionale ci si trova nella imbarazzante situazione in cui l’organismo preposto alla valutazione del sistema scolastico produce statistiche su cui diverse parti sollevano perplessità relativamente ad attendibilità e rappresentatività, e nel contempo altri settori della pubblica amministrazione delegano a organismi esterni (quali l’Ocse-Pisa) la realizzazione di indagini analoghe, ma di maggior affidabilità scientifica. Ironicamente i dettagli di entrambe le valutazioni risiedono nello stesso website, visto che l’Invalsi è anche il referente nazionale dell’indagine Pisa internazionale. L’ovvio spreco di risorse è lasciato alla valutazione del lettore. Quello che a noi interessa è che in nessuno dei due casi si risolve il problema informativo che sta a cuore di molte famiglie: conoscere quale sia la "qualità" dei diversi istituti a cui devono scegliere se mandare i propri figli.

(1) I dati elementari non sono disponibili, mentre il rapporto finale per l’anno scolastico 2004-2005 è scaricabile al sito www.invalsi.it.