Dagens gästskribent är Torbjörn Sjöström, vd för undersökningsföretaget Novus och flitig debattör i frågor om undersökningars tillförlitlighet. Tveklöst är Torbjörn själv en aktör på den marknad som opinionsundersökningar blivit – men han har också intressanta tankar tyckte vi. (Och den som tycker han är helt ute och cyklar på någon punkt är varmt välkommen att säga emot i kommentarerna – eller rentav höra av sig med en idé om en svarspost!)
Undersökningar är ett bra sätt att skapa intresse och en spännande undersökning är en väldigt bra grund för att skapa en artikel. Men vilka mätningar kan man lita på?
Undersökningar och statistik kan låta krångligt, det används ord som kan upplevas som avskräckande och få det att verka som någon mystik, men i regel är det inte så svårt som det kan verka, det finns väldigt få hemliga formler som utnyttjas, grunden är relativt enkel och är faktiskt baserad på två saker:
Sunt förnuft och slumpen.
Grundregeln är att lita på magkänslan, var kritisk, verkar en siffra för bra för att vara sann, så är den tyvärr ofta det. Det betyder så klart inte att man skall avfärda spännande upptäkter, men man bör granska det noggrannare.
Några tumregler:
- Är resultatet överraskande, kontrollera extra noga.
- Urvalet måste vara slumpmässigt oavsett metod. Kan respondenter själva aktivt söka sig till en undersökning så kommer det ge snedvridningar på något sätt.
- Telefon och webb går bra förutsatt slumpmässigt urval.
- Bortfallet ännu så länge inget problem i telefonintervjuer.
- Akta er för ledande frågor eller obalanserade svarsalternativ. En undersökning är inte en intervju, man strävar här alltid efter att ha en neutral fråga och balanserade svarsalternativ.
- Det går bra med färre än 1 000 intervjuer.
- Kontakta undersökningsföretaget vid tveksamheter, de är ansvariga för första publicering, och skall kunna ge tillfredställande svar. Dock kan de bara kommentera de data som är publicerat.
Det fina med undersökningar är att man genom ett fåtal intervjuer faktiskt kan dra slutsatser om en mycket större grupp, t ex hela svenska folket. Om man utgår från detta perspektiv, genom att t ex genomföra 1 000 intervjuer kan man dra slutsatser om 7 miljoner röstberättigade svenskar. Det är 0,14 promille av befolkningen. Hur kan det räcka?
Svaret är slumpen. Genom att alla röstberättigade svenskar har en känd sannolikhet att väljas ut för intervjun så kan man genom slumpens fantastiska egenskaper få ett urval som är representativt på ålder, kön, inkomst och framförallt åsikter.
Det är ju åsikterna man vill mäta, inte hur många män/kvinnor det bor i sverige. Den lilla grupp man väljer ut skall ha åsikter som stämmer överens med hela populationen som man vill mäta.
Slumpen fixar detta.
I regel används primärt idag två metoder för att genomföra kvantitativa undersökningar (för att kunna dra slutsatser kring en större grupp än den tillfrågade) i Sverige. Genom telefonintervjuer och webintervjuer (postala undersökningar förekommer också, men i mindre omfattning).
Båda metoder har olika styrkor och svagheter.
Om vi börjar med telefon, så är registret lätt att få tag på, alla har ett (eller flera) telefonnummer och näsan alla har nuförtiden registrerade nummer (det var värre för några år sedan då fler hade oregistrerade kontantkort), m a o urvalet kan anses vara slumpmässigt på befolkningen. Samtidigt kan det vara svårt att ställa känsliga frågor, finns risk för s k intervjuareffekt, respondenten kan ledas att svara utifrån påverkan av den som intervjuar. Det är också så att andelen som inte svarar har stadigt ökat (bortfallet).
Intervjuareffekten och bortfallet har visat sig ha mycket liten faktiskt påverkan på resultatet, t ex bortfallet verkar fortfarande vara slumpmässigt och de flesta intervjuare är professionella.
Undersökningar baserade på telefonintervjuer kan anses vara väldigt trovärdiga. Men det största problemet är kostnaden, det är få som är intresserade av att betala det pris som det kostar att genomföra denna. Det är också praktiskt svårt att genomföra vissa typer av undersökningar, t ex om man vill visa bilder eller film.
Webundersökningar är som insamlingsmetod bättre, man kan visa bilder och film. Intervjuareffekten är obefintlig och respondenten har i regel lättare att svara på känsliga frågor. Däremot är urvalet en mycket större utmaning.
Det finns inga nationella epost register. Hur kan man dra ett slumpmässigt urval på tex alla röstberättigade?
Undersökningsföretagen löser detta genom att bygga upp minisverige (paneler). Två huvudteorier används. Slumpmässig rekrytering och självrekrytering.
Slumpmässig rekrytering utgår från nationella register där man väljer ut respondenterna slumpmässigt och sedan bjuder in dem att delta i panelen. För att få vara med måste man bli både utvald och tillfrågad.
Självrekrytering går ut på att man låter alla som vill vara med, t ex genom annonser och sponsrade länkar. Ofta lockar man med någon form av belöning, som lotterier och avancerade shoppar där man kan växla in sina poäng mot fina saker.
Novus har genomfört Sveriges största studie, finns att ladda ned här.
Syftet var att avgöra om det fanns någon skillnad mellan självrekryterade paneler och slumpmässigt rekryterade. Det korta svaret är ja, ett antal negativa effekter finns i självrekryterade paneler som gör att deras tillförlitlighet minskar kraftigt. Läs mer i Novus rapport.
1 000 intervjuer är inget bra nyckeltal.
Det händer inget magiskt med tillförlitligheten när man uppnår 1 000 intervjuer. Varför just detta intervjuantal har blivit någon form av sanning är snarare en förenkling. Denna förenkling möjliggör att man även kan säga något om undergrupper, tex unga män och ändå ha tillräckligt många intervjuer för att felmarginalen inte skall sticka iväg. Om en undersökning är genomförd på ett slumpmässigt urval så kan man dra bra slutsatser på t o m 100 intervjuer. Men under hundra så brukar felmarginalen bli större än skillnaden mellan de olika svarsalternativen.
Självklart är detta en grov förenkling av hur undersökningsbranschen ser ut, men detta räcker för att kunna hantera de enklaste fallen.
Ekot gjorde sina riktlinjer publika under 2013, där förordar Ekot nästan enbart telefonintervjuer. Detta är på många sätt en för hård tolkning, där de satt ribban väldigt högt för att inte råka ta med någon felaktig undersökning. Det hade varit bättre om de snarare fokuserade kring om urvalet var slumpmässigt eller inte, dock vill Ekot samtidigt begränsa antalet undersökningar kraftigt, och med det i åtanke så kan man förstå deras inställning.
Lite mer information om undersökningar finns att läsa här:
Telefon eller webb, urvalet är centralt: https://www.novus.se/vaara-tjaenster/telefon-eller-webb,-urvalet-aer-centralt.aspx
Vad är representativitet: https://www.novus.se/vaara-tjaenster/vad-aer-representativitet.aspx
Hur kan väljarbarometrar skilja sig åt så: https://politikerbloggen.tv4.se/2012/12/12/hur-kan-valjarbarometrar-skilja-sig-sa-mycket-at/
Dåliga undersökningar ger uppseendeväckande resultat: https://www.dn.se/debatt/daliga-undersokningar-ger-uppseendevackande-resultat
Undersökningsbranschen måste ta ansvar för sina mätningar: https://www.medievarlden.se/diskussion/2013/05/varning-for-sjalvrekryterade-paneler
Skandalen har stärkt SD-anhängarna: https://www.svd.se/opinion/brannpunkt/skandalen-har-starkt-sd-anhangarna_7709264.svd
Om Mediernas granskning av undersökningar: https://www.expressen.se/debatt/visa-felmarginalen-i-valjarbarometrarna/
Torbjörn Sjöström