Se si prendono come riferimento i criteri di qualità forniti dall’American
Association for Public Opinion Research, quelli adottati dall’associazione
delle imprese italiane di categoria appaiono più laschi per un elemento chiave:
non viene richiesta l’adozione come standard di un campionamento
probabilistico, che garantisce la base scientifica dei risultati secondo la
teoria della statistica.
Le imprese committenti di ricerche di mercato possono essere disposte ad
accettare metodi non fondati su base probabilistica, ad esempio per ridurre i
costi di indagine. L’uso politico dei sondaggi di opinione impone, invece, il
rispetto di criteri di qualità maggiormente fondati dal punto di vista
scientifico, assimilabili a quelli che devono essere rispettati dalle
statistiche ufficiali. Sarebbe fondamentale poi consentire l’accesso ai dati
individuali delle interviste, resi opportunamente anonimi: una condizione,
considerata imprescindibile dall’associazione americana perché si possa
verificare la qualità delle analisi, ma non prevista nel nostro paese.
I criteri dell’associazione Usa
Quali criteri assicurano un’elevata qualità dei sondaggi? L’associazione
americana , che gode di un elevato livello di credibilità scientifica, stila
dodici linee guida per le indagini di opinione. Alcune ci interessano in modo
particolare.
· Il campione deve rappresentare bene la popolazione oggetto di indagine.
Secondo questo approccio: "virtualmente tutte le indagine considerate seriamente
dagli scienziati sociali, dai politici e dai mezzi di informazione utilizzano
una forma di campionamento casuale o probabilistico, i cui metodi sono
ben radicati nella teoria della statistica e nel calcolo delle probabilità.
Stime affidabili ed efficienti possono essere ottenute indagando un campione
della popolazione che sia costruito con cura, purché una grande proporzione
degli intervistati fornisca le informazioni richieste. In particolare, ciò
richiede attente ed esplicite stime della distorsione causata dalle mancate
risposte e della rappresentatività del campione".
· Occorre fare molta attenzione nella formulazione delle domande ai concetti
che si vogliono misurare e alla popolazione oggetto di indagine. I risultati
di un sondaggio sono influenzati oltre che dalla formulazione delle domande,
anche dal modo in cui sono poste e dalle categorie di risposta fornite a priori.
· Usare tecniche di analisi statistica e di descrizione dei risultati
adeguate. Ad esempio, "risultati e interpretazioni dovrebbero essere
presentate in modo onesto e oggettivo, riportando con completezza tutti i
risultati rilevanti, inclusi quelli che possano sembrare contraddittori e
favorevoli. Gli errori (…) devono essere esplicitamente considerati nell’analisi
dei dati e nell’interpretazione dei risultati (…). Le conclusioni devono
essere chiaramente distinte dai risultati fattuali, e occorre porre una
grande attenzione al fine di assicurare coerenza tra le conclusioni e i
risultati presentati".
· Rivelare la metodologia alla base dell’indagine allo scopo di permetterne
valutazione e replicabilità. Due aspetti sono fondamentali. La metodologia
deve essere descritta in modo sufficientemente dettagliato, tale da poter
permettere una possibile ripetizione dell’indagine da parte di altri
ricercatori. Inoltre, "tutti i dati (a condizione di rispettare la privacy e la
confidenzialità) dovrebbero essere pienamente documentati e resi disponibili per
un esame indipendente".
L’Aapor condanna invece esplicitamente alcune scelte, tra cui una in
particolare.
· Rappresentare i risultati di un’indagine fatta attraverso un numero "verde"
o simili metodi come esito di ricerca "legittima". Le informazioni fornite
da chi decide di telefonare o rispondere ad appelli specifici non rappresentano
l’opinione pubblica generale. Secondo l’associazione "ogni pubblicità o
promozione per queste attività non solo danneggia le ricerche di mercato o di
opinione legittime, ma può essere particolarmente fuorviante quando viene usata
per influenzare le politiche pubbliche o semplicemente per disseminare
informazioni sull’opinione pubblica".
E in Italia?
Per i sondaggi di opinione esiste anche in Italia un’apposita
regolamentazione, emanata dall’Autorità per le garanzie nelle comunicazioni.
L’obiettivo è rendere i sondaggi "trasparenti, con committenti chiaramente
identificati e metodologie di raccolta di tipo rigorosamente statistico". La
regolamentazione definisce in particolare cosa debba intendersi per sondaggio,
quali sono le caratteristiche che deve avere, indica le modalità di
pubblicazione e diffusione dei risultati, vigila sul rispetto delle disposizioni
previste dal regolamento.
Punti di particolare interesse sono la definizione di sondaggio, ovvero
l’indicazione "rigorosa" delle rilevazioni che possano essere considerate
rappresentative della popolazione, e il contenuto della "nota informativa"
tecnica, che deve sempre accompagnare la pubblicazione dei risultati.
Pur costituendo una fondamentale difesa contro il rischio di anarchia nella
produzione di dati che pretendono di fornire ritratti autentici della realtà
italiana, la regolamentazione presenta limiti rilevanti. La maggiore
perplessità riguarda l’inclusione tra i sondaggi "rappresentativi" anche di
rilevazioni effettuate con criteri "non probabilistici". I campioni "non
probabilistici" non consentono di valutare adeguatamente l’errore che si
commette generalizzando i risultati dal campione alla popolazione. Eppure, nel
regolamento dell’Autorità tra le informazioni che devono essere contenute nel
documento "metodologico" (articolo 3) vi è "la ‘rappresentatività’ dei
risultati, in termini di ‘margine di errore’, al livello fiduciario del 95 per
cento, delle stime ottenute". (1)
In altre parole, da un lato si consente di utilizzare un campione non
probabilistico, ma dall’altro si impone che nella documentazione venga riportato
il margine di errore, che un campione "non probabilistico" non può produrre. La
regolamentazione dei sondaggi politico-elettorali (si
veda l’articolo precedente) è ancora più limitata.
Anche l’Associazione tra istituti di ricerche di mercato, sondaggi di opinione e
ricerche sociali (Assirm) ha, oltre a un codice di autodisciplina, standard di
qualità. Alcuni di essi sono assimilabili a quelli dettati dall’Aapor. Altri
sono sorprendentemente più laschi.
· Fondamento "scientifico" del campione. Nella parte dedicata alla
"Raccolta dei dati" ad esempio, l’Assirm richiede, correttamente, che vengano
dichiarate e documentate le scelte tecniche. Tra i criteri di campionamento,
però, viene incluso esplicitamente il "campione non probabilistico". Ci possiamo
dunque legittimamente chiedere quanti sondaggi in Italia seguano effettivamente
criteri di campionamento probabilistici, e quindi scientificamente fondati.
Perché criteri non considerati come "seri" sono pienamente legittimi?
· Accessibilità ai dati. L’Assirm, nel codice di autodisciplina (articolo
42) prevede la diffusione delle informazioni metodologiche per le indagini cui
viene data una diffusione presso il grande pubblico. Non viene però menzionata
la possibilità che i dati individuali opportunamente anonomizzati siano messi a
disposizioni per analisi indipendenti.
Per saperne di più
American Association for Public Opinion Research (Aapor):
http://www.aapor.org/
Associazione tra istituti di ricerche di mercato, sondaggi di opinione, ricerca
sociale (Assirm): http://www.assirm.it/
Autorità per le garanzie nelle comunicazioni:
http://www.agcom.it/
(1) Delibera n. 153/02CSP modificata dalla delibera n.237/03/CSP,
www.agcom.it/sondaggi/sondaggi.htm.
Archivio Sondaggi
|