Il tecnocrate e il cittadino. Contro INVALSIINVALSI presenta ogni anno i suoi numeri come scienza. Non lo sono. Dietro la
patina di neutralità c’è un modello statistico che finge che classe, scuola e
territorio non contino nulla. Comodo, perché così colpe e meriti ricadono tutte
sui singoli studenti che non raggiungono “i traguardi” (quali??) e sugli
insegnanti che insegnano male. E poi c’è un potere che risponde solo al
Ministro, senza controlli parlamentari, non pubblica i dati grezzi (come fanno
Istat e Banca d’Italia), nasconde prove, metodi e rapporti. Non è un istituto
scientifico. È potere che si finge sapere.
--------------------------------------------------------------------------------
Nella tradizione della filosofia contemporanea, riconducibile tra gli altri a
Foucault, quello della
valutazione è in verità un potere che finge di essere un sapere. Questo punto di
vista è sostenuto
anche dal secondo Heidegger, per il quale l’atto di “porre valori” equivale a
instaurare un dominio.
Quindi sarebbe importante, in ogni esercizio di valutazione, precisare quali
sono gli outcome del
processo da valutare, e soprattutto perché si scelgono quegli outcome e non
altri. Ogni oggetto del
pensiero ha una sua genealogia.
Tecnicamente, sotto il profilo metodologico, i risultati elaborati e diffusi
dall’INVALSI sembrano essere affetti da numerose distorsioni. Come nell’indagine
dell’OCSE PISA, a cui l’INVALSI si ispira, viene utilizzato un modello a un
livello secondo l’Item
Response Theory. Tuttavia, successivamente alla stima delle abilità individuali
tramite modelli IRT, l’elaborazione dei punteggi dovrebbe sempre tener conto
della struttura gerarchica dei dati mediante modelli multilivello, ampiamente
noti ed utilizzati in tutti gli ambiti di indagine in cui le unità di base
possono essere aggregate secondo uno schema gerarchico. Per intenderci, lo
schema nel nostro caso sarebbe: studente, classe, plesso, istituzione
scolastica. Poi i punteggi dell’istituzione scolastica (ad esempio, il Liceo
Classico di Praia a Mare) possono essere ulteriormente aggregati per ambito
geografico o per tipologia di scuola. La letteratura dimostra che esistono
l’effetto classe, l’effetto plesso, l’effetto scuola e i derivanti effetti di
interazione (anche lo stesso INVALSI, nella sua collana di approfondimenti, lo
ammette).
L’effetto scuola a cui ci riferiamo è un oggetto concettuale diverso da quello
che l’INVALSI chiama “effetto scuola”. Per noi l’effetto scuola non si esaurisce
nell’incremento (auspicabile) delle competenze individuali, ma è qualcosa di più
ampio e più sfumato (per fare un esempio letterario, quello descritto da Edoardo
Albinati ne “La scuola cattolica”, Premio Strega 2016). In effetti è facile
comprendere che l’apprendimento disciplinare, la maturazione delle personalità
e, nei gradi più alti dell’istruzione
scolastica, quella dei cittadini, sono processi collettivi, non esclusivamente
individuali (alla faccia dell’individualismo metodologico, dell’utilitarismo e
di tutte le altre scuole di pensiero che Marx liquidò a suo tempo come
“materialismo volgare”). E non possono essere colti dall’aggregazione per somma
algebrica dei punteggi individuali.
D’altra parte, l’INVALSI non è un istituto scientifico vero e proprio, ma un
ente pubblico con funzioni scientifiche sottoposto al controllo del potere
esecutivo. Il Presidente e il Consiglio di Amministrazione sono nominati
direttamente dal Ministro, e non devono essere “approvati” dal Parlamento come
nel caso dell’Istat. Ciò può essere alla base di alcune distorsioni
nell’elaborazione dei dati, oltre che di scelte curiose nella costruzione del
sistema di valutazione.
Ad esempio, l’INVALSI misura i risultati in italiano, matematica e inglese, e
non quelli in materie come storia ed educazione civica. La scelta di concentrare
la valutazione standardizzata su alcune competenze e non su altre riflette
inevitabilmente una precisa concezione della scuola. Ora, ciò non stupisce,
essendo l’INVALSI stato istituito da Luigi Berlinguer e poi potenziato e reso
operativo dalla triade Berlusconi-Gelmini-Tremonti in concomitanza con la
riforma delle scuole del 2009.
Quanto maggiore è l’autonomia scientifica dell’ente produttore, tanto maggiore è
la credibilità che le sue scelte metodologiche siano motivate esclusivamente da
criteri metodologici, soprattutto quando gli indicatori prodotti orientano
direttamente le politiche pubbliche. Più in generale, il tecnocrate “attacca il
somaro dove vuole il padrone”, oppure è egli stesso il padrone (come fu per
Corrado Gini all’Istat, Pasquale Saraceno e Alberto Beneduce all’IRI, Enrico
Mattei all’ENI, etc.).
Sarebbe poi interessante che l’INVALSI mettesse a disposizione del pubblico i
dati di base, opportunamente anonimizzati. Già lo fa, ci si dirà, ma occorre
fare domanda ed ottenere l’autorizzazione dell’ente stesso. Poiché le prove
INVALSI incidono in misura crescente sul dibattito pubblico e sulle politiche
scolastiche, sarebbe auspicabile una politica di open science più avanzata. La
disponibilità di microdati completamente anonimizzati, liberamente scaricabili,
consentirebbe analisi indipendenti, repliche degli studi dell’istituto e un più
ampio scrutinio pubblico delle metodologie adottate. Addirittura la Banca
d’Italia mette a disposizione i dati riferiti alle singole unità statistiche
rilevate nell’Indagine sul risparmio, il patrimonio e il reddito delle famiglie
italiane, resi opportunamente anonimi, sul proprio portale, dal quale chiunque
li può scaricare liberamente, senza registrarsi e fornire motivazioni. Questa
politica ha favorito un enorme numero di lavori scientifici, anche
internazionali (ad esempio, questi microdati sono usati in moltissimiarticoli
scientifici sulla distribuzione del reddito italiano). Anche l’Istat è oggi più
aperto
dell’INVALSI, dato che prevede forme di diffusione diretta di microdati
anonimizzati. Questa della pubblicità dei microdati è, ad ogni modo, una
questione politica da approfondire.
Inoltre, il rapporto INVALSI indica che la rilevazione è totale, ma alcune
elaborazioni sono effettuate su un campione probabilistico a due stadi, con
stratificazione delle unità di primo stadio. Questo è positivo ma, trattandosi
di campioni, si dovrebbero anche mostrare gli intervalli di confidenza, che sono
un indicatore dell’incertezza della stima. Da quanto sommariamente scritto
nell’ultimo rapporto, e precisato nei parafernalia di corredo all’indagine, si
tratterebbe di cross-
section ripetute. È ben noto che la varianza della stima di una differenza
richiede una numerosità campionaria assai più elevata che nel caso della stima
di una media, quindi le variazioni anno su anno richiedono una numerosità
campionaria più ampia di quella che riguarda la stima di una media. Ogni
studente universitario che abbia seguito un corso di statistica avanzato sa che
inquesti casi sarebbe preferibile usare campioni longitudinali, meglio se
ruotati. Inoltre, poiché il campione è complesso, la media campionaria semplice
non coincide con la media della popolazione e occorre utilizzare stimatori
pesati che incorporino il disegno campionario per ottenere stime rappresentative
della popolazione.
Ma l’aspetto più importante riguarda il calcolo dei punteggi individuali degli
studenti. I Rapporti annuali sono sostanzialmente scevri di dettagli
metodologici. Sembrerebbe che questi siano esposti principalmente in un Rapporto
tecnico del 2018, oltre che dispersi tra i 71 working paper pubblicati sul sito
dell’istituto, non risultando quindi facilmente scovabili. Il cittadino standard
(ma anche quello colto, pure laureato in discipline scientifiche) deve investire
un bel po’ di tempo per capire bene. Quindi, in linea di principio, si fida,
oppure rigetta in toto i risultati. Occorre anche intendersi su cosa si indichi
con il termine metodologia. Sarebbe importante riuscire ad avere immediata
contezza dell’affidabilità delle stime ottenute, oltre che del metodo statistico
concretamente utilizzato. Tra i modelli IRT vi è un’ampia gamma di scelte
possibili. La nostra impressione è che l’INVALSI non utilizzi più di tanto il
principio di giustificazione sotto il profilo statistico metodologico; assai
ampia è invece la spiegazione/giustificazione degli aspetti legati alla
costruzione dei singoli item (e questo è assai commendevole, va da sé).
In sintesi, l’INVALSI rappresenta un esempio significativo di come una tecnica
di misurazione possa essere utilizzata come strumento di governo e di esercizio
del potere, analogamente a quanto avviene per molte scienze sociali nella loro
versione mainstream. Le valutazioni, come anche le statistiche economiche e
sociali, costituiscono inevitabilmente una rappresentazione
selettiva dei fenomeni osservati, in quanto ogni indicatore richiede scelte
precise sugli aspetti da misurare e si fonda su specifici riferimenti teorici.
Per questo motivo, è importante che tali presupposti siano dichiarati in modo
esplicito, così da rendere trasparenti i criteri che orientano la costruzione e
l’interpretazione degli indicatori. Un esempio è la stima del PIL, il cui
ancoraggio teorico principale è dato dalla teoria keynesiana, come illustrato
nell’opera pionieristica di Benedetto Barberi.
Nelle Nozze di Figaro il protagonista dice “l’arte schermendo/l’arte
adoprando/di qua schermendo/di là scherzando/tutte le macchine rovescerò”.
Mozart si riferisce alla forza del pensiero illuminista-borghese che travolge
l’ancien régime. Duecentocinquanta anni dopo dovremmo avere la forza per
rovesciare le macchine del dominio neocapitalista.
