I dag publicerar Expressen en opinionsundersökning som enligt tidningen visar att Annie Lööf får ”sämsta siffran någonsin”. Löpsedeln lyder ”Fritt fall” och i texten preciseras att ”I en ny förtroendemätning från Demoskop får C-ledaren det lägsta resultatet någonsin i företagets mätningar.”
Artikeln har under dagen fått kritik från flera håll, eftersom varken Lööfs förändring – eller någon annan i undersökningen – är statistiskt säkerställd, vilket framgår av tidningens faktaruta.
Bland de som reagerat finns TT:s politiske reporter Owe Nilsson som twittrar kritiskt:
Den kritiska hanteringen av opinionsundersökningar fortgår: ”Fritt fall för Lööf” (”Ingen av förändringarna är statiskt signifikanta”)
En annan som reagerat är frilansjournalisten Ola Wong som skickat följande till Journalisttips:
Statistiskkunskap:
Idag har Expressen en nyhet att INGENTING mätbart har hänt i förtroendet för Annie Lööf. De sätter till det rubriken: ”Sämsta siffran någonsin för Lööf”. Det är en direkt lögn. Om förändringen inte är statistiskt signifikant så är det ingen förändring.
Ola Wong
Jag frågar på Twttter Expressens chefredaktör Thomas Mattsson om tidningen har någon policy för när man använder opinionsförändringar som inte är statistiskt säkerställda (signifikanta). Han svarar, med en bild av faktarutan:
När @expressen redovisar undersökningar anges ex institut, metod,frågeperiod, fråga, ev säkerställt
@mickep2: Ser du något problem i att dra på en förändring som inte är statistiskt säkerställd i detta fall?
@thomasmattsson: Generellt sett får man förhålla sig till en helhetsbild & redovisa återkommande mätningar, tror jag. Viktigt ange parametrarna.
@mickep2: Skulle du säga att ”lägsta resultatet någonsin” är en korrekt formulering om förändringen inte är säkerställd?
@thomasmattsson: Om det är lägsta/högsta uppmätta siffran någonsin så bör ju det anges, förstås, det är säkert relevant för den som är intresserad.
Mediers hantering av statistiskt osäkra undersökningar är ett gammalt diskussionsämne. På mitt eget företag, svt, har vi en policy om opinionsundersökningar som bland annat anger följande:
Kom ihåg att förändringar inom felmarginalen i regel är ointressanta! Tänk på att SVT förlorar i trovärdighet om du redovisar förändringar inom felmarginalen som om de betydde något!
Jag tänker dock inte ta gift på att svt – eller jag själv – inte någon gång brutit mot denna återhållsamma policy. Det finns ju också fall där – såvitt jag förstår – ett antal icke-signifikanta förändringar kan bli signifikanta över tid (januari-februari är inte en säker nedgång, men däremot oktober-februari).
Hur resonerar ni på din redaktion kring det statistiskt säkra respektive osäkra? Fyll gärna på i kommentarerna!
Uppdaterat: Expressens reporter Karl-Johan Karlsson har nu kommenterat kritiken mot dagens publicering i sitt Twitterflöde:
Förtroendet är de facto lägst någonsin, stat. säkerst. eller ej. Det är inte förändringen vi kallar lägst någonsin.
Och ”fritt fall” på ettan syftar på kurvan, som visar fallet i flera mätningar i rad, vilket ÄR stat. säkerst.
Kurvan går från 2,77 till 2,01, vilket ju är stat. säkerställt med marginal. Så visst är det fritt fall.
Det är ”fritt fall” och det är lägsta noteringen någonsin. Vi har täckning för dessa påståenden.