Kategori: Researchen

Dagens journalisttips börjar med ett radiotips.

Om ni inte redan hört det, så lyssna på senaste avsnittet av Sveriges radios Medierna från i lördags.

Programmet tog upp frågan om journalister och statistik, och ett av exemplen var Expressens undersökning av förtroendet för Annie Lööf, som vi skrev om härom veckan.

Lyssna på programmet! Och läs också Expressens chefredaktör Thomas Mattssons blogg, där han slår tillbaks mot programmet.

Mattsson försvarar Lööf-publiceringen med ett slags ”tidsargument”, som handlar om att flera icke säkerställda förändringar över tid kan landa i en säker förändring. Om en partiledare tappar en osäker procentenhet månad efter månad, så har man till slut tappat så många att den ”stora” minskningen är säkerställd.

Tidsargumentet användes också av reportern Karl-Johan Karlsson, som skrev i sitt Twitterflöde efter att rapporteringen ifrågasatts:

Förtroendet är de facto lägst någonsin, stat. säkerst. eller ej. Det är inte förändringen vi kallar lägst någonsin.

Och ”fritt fall” på ettan syftar på kurvan, som visar fallet i flera mätningar i rad, vilket ÄR stat. säkerst.

Expressen har också fått stöd utifrån. I en diskussion i Facebookgruppen Journalistbubblan tog statsvetarprofessorn Ulf Bjereld bland annat upp just tidsargumentet och det faktum att felmarginalen inte är någon objektiv sanning utan en av människor vald säkerhetsnivå. Resonemangen har Bjereld nu också utvecklat på sin blogg.

Frågan är om artikeln uppfattas som en beskrivning av en långsiktig tendens. Rubriken lyder ”Sämsta siffran någonsin för Lööf” (webbartikeln) och artikelns brödtext börjar så här:

Kritiken mot förslaget på nytt idéprogram har inte gått väljarna obemärkt förbi.

Krisen i Centerpartiet har nu smittat av sig och blivit en förtroendekris för Annie Lööf – även utanför partiet.

I en ny förtroendemätning från Demoskop får C-ledaren det lägsta resultatet någonsin i företagets mätningar.

Expressens fokus på senaste siffran plockas också upp från annat håll. Frilansjournalisten Ola Wong, som skrev kritiskt i vår förra bloggpost, har haft en mejldiskussion med sin bror André Wong, som arbetar som försäkringsmatematiker. André Wong kommenterar diskussionen om Expressens artikel så här:

Om förändringen i Demoskopundersökningen inte är statistiskt signifikant så kan man inte säga (med tillräcklig stor säkerhet) att förtroendet har försämrats jämfört med senaste mätningen. Det kan vara en slumpmässig variation som gör att siffran är lägre i januari jämfört med föregående mätning.

Jag hittade några tidigare undersökningar och såg att i augusti så uppmättes förtroendet till 2.17 jämfört med 2.21 i oktober och 2.01 i januari. Sett över lång tid kan det finnas en historisk trend som pekar tydligt nedåt utan att förändringen mellan två närliggande mätperioder är statistisk signifikanta, men detta tycker jag inte är relevant för innehållet i Expressenartikeln. När läsaren ser rubriken ”Sämsta siffran någonsin för Lööf” och sedan läser första raden ”Krisen i centerpartiet har fått väljarna att tappa förtroendet för Annie Lööf.”, med efterföljande hänvisning till Demoskops/Expressens senaste förtroendemätning, så tror man ju att siffrorna från undersökningen i januari bevisar att krisen har lett till att förtroendet för Annie Lööf har gått ned sedan senaste mätningen. Men detta kan man ju inte säkert uttala sig om eftersom förändringen inte är signifikant.

Att säga att det är sämsta siffran någonsin är väl egentligen inte heller så intressant eftersom det man isåfall undrar är om förtroendet är det sämsta någonsin (alltså inte siffran i sig som alltså är behäftat med ett slumpfel och urvalsfel). Och om försämringen mot föregående mätning inte ör signifikant så kan man ju inte med tillräcklig stor säkerhet säga att förtroendet har försämrats pga krisen.

”Fritt fall” är väl också tveksamt att ha som löpsedel: som man läser artikeln tolkar jag det som att det är fritt fall pga den senaste krisen men i journalistens kommentar så säger han att det är sett utifrån många mätperioder. Men hur ska läsaren förstå det? (Jag har visserligen bara läst webversionen så jag såg ingen kurva heller). Dessutom, om förtroendet stärktes något i oktober jämfört med augusti (som det står i Demoskops pressmeddelande från i oktober), så är det ju inte helt fritt fall ur ett längre perspektiv heller. 

Angående konfidensintervallet så är det ju den som gör undersökningen som har bestämt signifikantnivån. Om förändringen inte är signifikant med 95% sannolikhet så är den ju inte heller signifikant på ett 99% konfidensintervall. Naturligtvis så kan man ju alltid påstå att  försämringen stämmer med någon % sannolikhet men detta konfidensintervall har ju inte journalisten möjlighet att efter eget tycke bestämma. Journalisten kan bara referera till den signifikansnivå som undersökningen har gjort om han/hon vill använda dessa siffror för att stödja ett påstående (ett lägre konfidensintervall än praxis är förövrigt också oförsiktigt). Annars är det bättre att skriva ” Jag NN tror att förtroendet är det lägsta någonsin”.

Journalister borde inte använda statistiska resultat som fakta för att stödja påståenden om dessa inte är relevanta eller statistiskt signifikanta. I det här fallet hade en mer lämplig rubrik kanske varit ”Fortsatt lågt förtroende för Annie Lööf” men det låter ju inte riktigt lika klatchigt.

Om man ska landa allt detta i någon typ av journalisttips, så skulle det väl vara Var tydlig med vad som är grejen – senaste siffran eller långsiktiga tendensen?

Alla verkar faktiskt överens om att enstaka förändringar inom felmarginalen inte ska göras till nyheter. Alla förefaller också ense om att långsiktiga förändringar (trender/tendenser) kan vara av intresse. Problem kan uppstå om det ena beskrivs som det andra.

Uppdaterat 130129: Stormen fortsatte, och förstärktes under den gångna veckan av en ironisk insändare i Journalisten, en ny bloggpost från Thomas Mattsson, en annan från Medierna – samt så till slut ett riktigt antiklimax: opinionsinstitutet Demoskop, som gjort den ursprungliga mätningen, gick ut med ett pressmeddelande och förklarade att Lööfs fall visst var statistiskt säkerställt. Det var bara Expressen som skrivit fel i sin faktaruta. Något som även refererats på Mediernas hemsida.