Scuole superiori: ci si può fidare della classifica della Fondazione Agnelli?

Agli inizi di aprile 2012 la Fondazione Agnelli ha rilasciato una vera e propria classifica delle scuole superiori della Lombardia. Siccome i dati INVALSI del Ministero dell’Istruzione non sono pubblici, le scuole sono state valutate in base a due indicatori rappresentativi della performance universitaria degli studenti usciti da una data scuola: “il profitto (media dei voti agli esami) e la velocità (numero di crediti conseguiti rispetto a quelli dichiarati come impegno annuale)”. Questi due indicatori vengono poi normalizzati e mediati, e vanno a costituire il ranking secondo il quale sono ordinate le scuole della classifica.

Con metodi statistici (non chiarissimi) tale ranking “grezzo” viene “depurato” di vari fattori come la tipologia dello studente, il territorio, le differenze fisiologiche tra diversi indirizzi: si ottiene così il rank effetto scuola, che permetterebbe di valutare il “merito” di ogni singola scuola. Le scuole vengono comunque ordinate secondo il rank “grezzo”.

I dati si riferiscono all’anno accademico 2007/2008 e a quello successivo, quindi all’offerta formativa scolastica del 2006 (6 anni fa).

Possiamo fidarci di questa classifica?

Purtroppo sul sito della Fondazione Agnelli la ricerca non è ancora stata pubblicata e non è possibile capire nel dettaglio quali metodi statistici siano stati usati. Però uno studio simile (con relativa classifica) è stato fatto per le scuole superiori del Piemonte, nel 2009 e nel 2010. La fondazione Agnelli ha inoltre rilasciato un documento tecnico sullo studio del 2009, che non riporta comunque le formule usate per ottenere la classifica finale.

Abbiamo confrontato le classifiche delle scuole piemontesi del 2009 e del 2010 per capire se la valutazioni dell’effetto scuola (che sarebbe l’indice decisivo per stabilire “premi” e “punizioni”) fossero coerenti da un anno all’altro. Infatti, se lo studio è affidabile, è impossibile che in un solo anno una scuola “salti” troppe posizioni in classifica. Abbiamo considerato soltanto le scuole che appaiono in entrambe le classifiche e abbiamo successivamente “compattato” i ranking (eliminando i “buchi”).

Si giunge così al seguente grafico: ogni scuola è un punto, la cui ascissa è il rank dell’effetto scuola 2010 e la cui ordinata è il rank dell’effetto scuola 2009. Se lo studio della Fondazione Agnelli fosse affidabile, allora i punti dovrebbero accumularsi sulla diagonale, cioè avere il rank 2010 (coordinata X) non troppo diverso dal rank 2009 (coordinata Y).

Come potete vedere, non è vero che tutti i punti stanno vicino alla diagonale, ma alcuni sono anche molto distanti. Le scuole che sono migliorate stanno sopra la diagonale (Y > X), quelle che sono peggiorate stanno sotto (X > Y). Trattandosi di una classifica, infatti, un rank maggiore indica un risultato peggiore (bisogna rifletterci un attimo). Abbiamo chiamato best performers (punti blu) le 10 scuole che hanno guadagnato più posizioni in classifica dal 2009 al 2010; worst performers (punti rossi) le 10 scuole che ne hanno perse di più. Tutte le restanti sono mid performers (verdi).

Vediamo in dettaglio le scuole “virtuose” (best) e quelle “canaglia” (worst). Per ognuna di esse abbiamo calcolato le posizioni perse o guadagnate dal 2009 al 2010.

Nota: come già detto, le classifiche sono state compattate considerando solo le scuole valutate sia nel 2009 sia nel 2010, quindi le posizioni in classifica non sono uguali a quelle della statistica ufficiale.

Cosa sarà successo al povero preside dell’istituto Porro di Pinerolo? Nel 2009 avrà informato orgogliosamente le famiglie degli studenti che l’istituto era entrato nella top 20 del Piemonte. Alla pubblicazione delle classifiche del 2010 gli sarà venuto un malore nell’apprendere di aver perso 97 posizioni in classifica… Invece l’Amaldi di Novi Ligure deve essersi avvalso di una task force di docenti preparatissimi e super-motivati per scalare ben 68 posizioni.

Ma quale sarà il motivo di tutta questa instabilità? Andiamo a leggere la relazione tecnica della Fondazione Agnelli con tutti i dettagli della ricerca del 2009. Parlando dell’effetto scuola, a pag. 22 gli autori ammettono che:

Le scuole che si discostano significativamente dalla media in senso migliorativo o peggiorativo sono poche […]

Andiamo a vedere il grafico di uno dei due indicatori di performance: il profitto negli studi. Alla figura tratta dal documento della Fondazione Agnelli sono stati aggiunti i colori.

Sull’asse X ci sono le diverse scuole, ordinate per performance crescente; sull’asse Y ci sono le stime della performance; le barrette rappresentano gli intervalli di confidenza della stima (un intervallo di valori plausibili). Ora, il documento (pag. 21) dice che:

È bene fare attenzione al fatto che sebbene si possa avere una performance a livello di scuola superiore o inferiore alla media regionale (puntino rosso), solo gli effetti scuola i cui intervalli di confidenza giacciono totalmente sopra o sotto la linea orizzontale possono essere considerati significativamente differenti in senso statistico dal livello medio regionale.

Ma quanti sono gli effetti scuola significativamente differenti dalla media? Contandoli, nella parte sinistra del grafico abbiamo 7 istituti “canaglia” e, nella parte destra, 16 istituti “virtuosi”, su un totale di 184 istituti rilevati. Quindi nell’87,5% dei casi non si nota una differenza significativa dell’effetto scuola rispetto alla media regionale. Non bisogna pertanto meravigliarsi che la classifica risulti molto instabile da un anno all’altro.

Che senso ha fidarsi di classifiche di questo genere? Che senso ha discuterne e commentarle?

Ringrazio mio padre Giuseppe De Nicolao per gli utili suggerimenti e la consulenza statistica.

Allego il file Excel con la tabella dei dati comprensiva delle mie elaborazioni e del grafico.

L’articolo è stato ripreso da ROARS!

Annunci

Autore: pietrodn

Sono nato nel 1993 e studio Ingegneria Informatica al Politecnico di Milano. Amo leggere, programmare, costruire cose. Nella mia vita sono stato un Wikipediano e ho fatto parte del Consiglio di Istituto della mia scuola che è il Liceo Scientifico "Albert Einstein" di Milano. I miei interessi spaziano dall'informatica nelle sue diverse espressioni fino alla politica universitaria e a tutte le cose che possono definirsi geek.

7 thoughts on “Scuole superiori: ci si può fidare della classifica della Fondazione Agnelli?”

  1. beh incoraggiante….visto che la scuola che frequenterà mio figlio è scesa di posizione, però in compenso noto che una di quelle in salita vorticosa è una scuola privata, dove per sua ammissione una prof a detto ad uno studente che voleva iscriversi ” io ci mando mio figlio per comprargli un diploma”

  2. Queste fondazioni lasciano il tempo che trovano. Redarre delle classifiche poi è talmente arbitrario che alla fine valgono come il due di picche.
    Tutti vogliono parlare di scuola ma pochi ne sanno, fondazioni in testa!!!

  3. Non è vero, la classifica funziona eccome.
    le scuole che erano migliori “per sentito dire” ai miei tempi, sono ancora le migliori, quindi ,….. tutti i commenti soprascritti lasciano il tempo che trovano

    1. Scusa, ma… se le scuole migliori rimangono le migliori (secondo te), com’è possibile che alcuni istituti saltino di decine posizioni di anno in anno?

Commenta

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...