Gästblogg: Dan Hedlin, professor i statistik Berättelser om misslyckade opinionsundersökningar är välkända. Trump, Brexit, parlamentsval i Storbritannien, Sverigedemokraterna underskattas… Jag får därför ofta frågan om ”vi kan lita på opinionsundersökningar”. Mitt svar är nej.
För att illustrera det kommer jag gå igenom några exempel och vanliga problem med opinionsundersökningar och hur de tolkas.
Det första exemplet är parlamentsvalet 2015 i Storbritannien, som otippat vanns av Tories. Opinionsinstituten tog själva initiativ till en genomgång av undersökningarna. En forskargrupp under professor Patrick Sturgis ledning fick alla data och kunde dra en överraskande enkel slutsats: misslyckandet berodde på att instituten drar dåliga urval (”ej representativa” urval). Samtliga andra förklaringar som många hade trott på visade sig inte hålla. Till exempel kunde ”shy tories”-hypotesen avfärdas, att de som tänkte rösta på tories inte ville tala om det.
Viktigt att poängtera är att man ofta med avsikt drar urval som är icke-representativa, därför att det är effektivt. Sedan används så kallad vägning, vilket innebär att olika grupper som kvinnor, män, unga eller gamla viktas upp eller ner, för att få bra uppskattningar från undersökningen. Forskargruppen undersökte därför urvalen och vägningen tillsammans och fann att de vägningsmetoder som användes inte räckte till.
Det andra exemplet jag vill ta upp är när Donald Trump valdes till USA:s president hösten 2016. Hela dagen efter presidentvalet ringde det i min mobiltelefon, och jag sa i alla intervjuer att opinionsundersökningarna inte hade så mycket fel. De flesta av dem förutspådde ett jämnt val, och det blev det också, sa jag.
American association for public opinion research gjorde en liknande utvärdering av valet i USA som Sturgis grupp gjort i Storbritannien. De kom fram till att de nationella undersökningarna inte var mer osäkra än vanligt. Men undersökningar som endast utfördes i delstater redovisade i genomsnitt en övervikt för Hillary Clinton, även i stater som hon senare förlorade. Utvärderingen visade att utbildning spelade en mer renodlad roll än i tidigare presidentval. Ju högre utbildning, desto större benägenhet att rösta på Clinton, och även större benägenhet att svara på undersökningar. Alltså blev det för många bland de som svarade som sa att de skulle rösta på Clinton. Det är inte nödvändigtvis något problem. Men många undersökningar vägde inte för utbildning, och i tidigare val behövdes det inte heller eftersom olika bortfallsfel som hörde ihop med utbildning tog ut varandra. Utvärderingen fann också att i de delstater där Trump vann med liten marginal, röstade de som bestämde sig sent i stor utsträckning för Trump. Däremot fann utvärderingen inget stöd för ’shy Trump’, att Trump-sympatisörer inte ville säga det till opinionsundersökarna.
Vi vill helst veta vem som vinner, inte att ”det blir väldigt jämnt”. Men det är omöjligt att göra en undersökning som kan fånga de väldigt små marginaler som Trump vann med i en del nyckelstater som Pennsylvania, i synnerhet när många människor inte själva vet vem de tänker rösta på.
Få opinionsundersökningar utropar en vinnare före valet. Det är en tolkning som görs i massmedia. När Metro skrev 2015 att enligt en undersökning var SD det största partiet, då drog de på för mycket. I samma artikel stod nämligen att den statistiska felmarginalen var 2,5%, och så mycket mer än S och M hade inte SD. Metro borde ha skrivit att undersökningen inte visade någon skillnad mellan S, M och SD. Leila Zoubir och jag skrev en debattartikel i SvD om det (”Slutsatsen att SD är största parti är felaktig”, 21 aug 2015).
Istället för att avstå från att skriva om undersökningar, borde journalister hjälpa läsarna att tolka dem rätt. Det kräver kunskaper i statistik, men det finns kunniga personer att fråga.
Jesper Strömbäck och Per Oleskog Tryggvason skrev i Qvintensen 2017/2 om de brister de fann när de granskade 142 artiklar i Dagen Nyheter, Svenska Dagbladet och Expressen som redovisade opinionsundersökningar. Ett vanligt fel är att artiklarna inte nämner att en förändring från förra mätningen eller skillnaden mellan två partier är så liten att den kan ha uppstått i undersökningen av ren slump. Istället rapporteras det som fakta. Men Strömbäck och Tryggvason hävdar att det strider mot journalistikens grundregler: ”Då handlar det inte om att rapportera om fakta. Då handlar det om att rapportera om något som mycket väl kan vara fiktion.”
Om opinionsundersökningarna säger att det blir jämnt, då får vi helt enkelt vänta till att valet är klart innan vi vet något mer.
Opinionsundersökarna är dåliga på att på sin webbplats redovisa hur de gör. Jag får ordentliga svar om jag ringer, men jag måste ringa. För att kunna bedöma om en undersökning är tillförlitlig måste jag känna till vilka metoder de använder. Jag tog reda på allt jag behövde i ett fall. Den handlade om attityder i vissa frågor. Jag fick tillmötesgående svar, trots att jag störde med många mejl och telefonsamtal. Undersökningen visade sig ha brister. Utan att veta allt detta, kan jag inte lita på opinionsundersökningarna.
Socio(b)log 