Extra: Statistik-strid om Expressens Lööf-fall

I dag publicerar Expressen en opinionsundersökning som enligt tidningen visar att Annie Lööf får ”sämsta siffran någonsin”. Löpsedeln lyder ”Fritt fall” och i texten preciseras att ”I en ny förtroendemätning från Demoskop får C-ledaren det lägsta resultatet någonsin i företagets mätningar.”

Artikeln har under dagen fått kritik från flera håll, eftersom varken Lööfs förändring – eller någon annan i undersökningen – är statistiskt säkerställd, vilket framgår av tidningens faktaruta.

Bland de som reagerat finns TT:s politiske reporter Owe Nilsson som twittrar kritiskt:

Den kritiska hanteringen av opinionsundersökningar fortgår: ”Fritt fall för Lööf” (”Ingen av förändringarna är statiskt signifikanta”)

En annan som reagerat är frilansjournalisten Ola Wong som skickat följande till Journalisttips:

Statistiskkunskap:

Idag har Expressen en nyhet att INGENTING mätbart har hänt i förtroendet för Annie Lööf. De sätter till det rubriken: ”Sämsta siffran någonsin för Lööf”. Det är en direkt lögn. Om förändringen inte är statistiskt signifikant så är det ingen förändring.

Ola Wong

Jag frågar på Twttter Expressens chefredaktör Thomas Mattsson om tidningen har någon policy för när man använder opinionsförändringar som inte är statistiskt säkerställda (signifikanta). Han svarar, med en bild av faktarutan:

När @expressen redovisar undersökningar anges ex institut, metod,frågeperiod, fråga, ev säkerställt

@mickep2: Ser du något problem i att dra på en förändring som inte är statistiskt säkerställd i detta fall?

@thomasmattsson: Generellt sett får man förhålla sig till en helhetsbild & redovisa återkommande mätningar, tror jag. Viktigt ange parametrarna.

@mickep2: Skulle du säga att ”lägsta resultatet någonsin” är en korrekt formulering om förändringen inte är säkerställd?

@thomasmattsson: Om det är lägsta/högsta uppmätta siffran någonsin så bör ju det anges, förstås, det är säkert relevant för den som är intresserad.

Mediers hantering av statistiskt osäkra undersökningar är ett gammalt diskussionsämne. På mitt eget företag, svt, har vi en policy om opinionsundersökningar som bland annat anger följande:

Kom ihåg att förändringar inom felmarginalen i regel är ointressanta! Tänk på att SVT förlorar i trovärdighet om du redovisar förändringar inom felmarginalen som om de betydde något!
 

Jag tänker dock inte ta gift på att svt – eller jag själv – inte någon gång brutit mot denna återhållsamma policy. Det finns ju också fall där – såvitt jag förstår – ett antal icke-signifikanta förändringar kan bli signifikanta över tid (januari-februari är inte en säker nedgång, men däremot oktober-februari).

Hur resonerar ni på din redaktion kring det statistiskt säkra respektive osäkra? Fyll gärna på i kommentarerna!

Uppdaterat: Expressens reporter Karl-Johan Karlsson har nu kommenterat kritiken mot dagens publicering i sitt Twitterflöde:

Förtroendet är de facto lägst någonsin, stat. säkerst. eller ej. Det är inte förändringen vi kallar lägst någonsin.

Och ”fritt fall” på ettan syftar på kurvan, som visar fallet i flera mätningar i rad, vilket ÄR stat. säkerst.

Kurvan går från 2,77 till 2,01, vilket ju är stat. säkerställt med marginal. Så visst är det fritt fall.

Det är ”fritt fall” och det är lägsta noteringen någonsin. Vi har täckning för dessa påståenden.

Låt inte bli att berätta det bästa

Vissa regler kan synas så självklara att de gränsar till truismer.

Låt inte bli att berätta det bästa kan nog räknas dit.

Men jag har varit med om så många brott mot den att jag nog ändå vill framhålla den som en viktig punkt att ta med på checklistan vid utgörningen av vilken story som helst.

Viktigast förstås: den egna storyn. När man jobbar med egna nyheter och granskningar löper man störst risk att släppa det bästa – eftersom ingen annan har koll på det.

Möjligen frågar chefen dan därpå lite försynt: Var tog den där grejen vägen som du berättade om på lunchen?

(I bästa fall frågar chefen försynt och vänligt, i sämsta fall blir det en del av en hård utvärdering på temat Varför fick vi inte det du lovade?)

Lunchen är ett bra lackmustest. Det du berättar för kollegorna på lunchen ska finnas med i reportaget.

– När vi kom dit fick vi vänta en halvtimme eftersom hon skulle prata färdigt med en kvinna som hört av sig från Singapore…

– Han hade fyra olika cowboyhattar som han växlade efter ett schema i kalendern…

– Dom skulle haft möte om hälsoläget men fick ställa in för det var så många sjuka…

Detaljer som vi i efterhand vet gjorde storyn, men som många av oss valt bort av platsbrist, glömska, osäkerhet inför formuleringarna eller något annat skäl som är begripligt men samtidigt gör storyn sämre.

Lägg således alltid märke till vad du själv väljer att berätta när kollegan på lunchen frågar vad det är för jobb du håller på med. Lägg märke till – och kom ihåg!

Och om det är kollegan som berättar en rolig, hemsk eller bara väldigt anmärkningsvärd detalj: gör kollegan en stor tjänst och svara inte bara Jisses!

Svara i stället: Jisses, det där tar du med i repet va?

Det är en god gärning för både kompisen och storyn. Båda slipper en jobbig fråga från chefen dagen därpå – ställd i snällt eller jobbigt tonfall.