DEBATT Berättelser om misslyckade opinionsundersökningar är välkända. Trump, Brexit, parlamentsval i Storbritannien och Sverigedemokraterna underskattas. Jag får därför ofta frågan om ”vi kan lita på opinionsundersökningar”. Mitt svar är nej. För att illustrera det kommer jag gå igenom några vanliga problem med opinionsundersökningar och hur de tolkas.

Det första exemplet är parlamentsvalet 2015 i Storbritannien, som otippat vanns av Tories. En forskargrupp fick all data från opinionsinstituten och kunde dra en överraskande enkel slutsats: misslyckandet berodde på att instituten drar dåliga urval (”ej representativa” urval).

Samtliga andra förklaringar som många hade trott på visade sig inte hålla. Till exempel kunde hypotesen om att de som tänkte rösta på tories inte ville tala om det avfärdas.

Viktigt att poängtera är att man ofta med avsikt drar urval som är icke-representativa, därför att det är effektivt. Sedan används så kallad vägning, vilket innebär att olika grupper som kvinnor, män, unga eller gamla viktas upp eller ner, för att få bra uppskattningar. Forskargruppen undersökte därför urvalen och vägningen tillsammans och fann att de vägningsmetoder som användes inte räckte till.

Det andra exemplet är när Donald Trump valdes till USAs president hösten 2016. En amerikansk forskargrupp kom fram till att de nationella undersökningarna inte var mer osäkra än vanligt. Men undersökningar som endast utfördes i delstater redovisade i genomsnitt en övervikt för Hillary Clinton, även i stater som hon senare förlorade.

Utvärderingen visade att utbildning spelade en mer renodlad roll än tidigare. Ju högre utbildning, desto större benägenhet att rösta på Clinton, och även större benägenhet att svara på undersökningar. Utvärderingen fann också att i de delstater där Trump vann med liten marginal, röstade de som bestämde sig sent i stor utsträckning för Trump. Däremot fann utvärderingen inget stöd för ”shy Trump”, att Trump-sympatisörer inte ville säga det till opinionsundersökarna.

Vi vill helst veta vem som vinner, inte att ”det blir väldigt jämnt”. Men det är omöjligt att göra en undersökning som kan fånga de väldigt små marginaler som Trump vann med i en del nyckelstater, i synnerhet när många människor inte själva vet vem de tänker rösta på.

Få opinionsundersökningar utropar en vinnare före valet. Det är en tolkning som görs i massmedia. När Metro 2015 skrev att enligt en undersökning var SD det största partiet, då drog de på för mycket. I samma artikel stod nämligen att den statistiska felmarginalen var 2,5 procent, och så mycket mer än S och M hade inte SD. Metro borde ha skrivit att undersökningen inte visade någon skillnad mellan S, M och SD.

Istället för att avstå från att skriva om undersökningar, borde journalister hjälpa läsarna att tolka dem rätt. Det kräver kunskaper i statistik, men det finns kunniga personer att fråga. Ett vanligt fel är att artiklarna inte nämner att en förändring från förra mätningen eller skillnaden mellan två partier är så liten att den kan ha uppstått i undersökningen av ren slump. Istället rapporteras det som fakta.

Om opinionsundersökningarna säger att det blir jämnt, då får vi helt enkelt vänta till dess att valet är klart innan vi vet något mer. Opinionsundersökarna är även dåliga på att på sin webbplats redovisa hur de gör. Jag får ordentliga svar om jag ringer, men jag måste ringa.

För att kunna bedöma om en undersökning är tillförlitlig måste jag känna till vilka metoder de använder. Utan att veta allt detta, kan jag inte lita på opinionsundersökningarna.