Hur stor är sajten? Så här gör du (inte) för att kolla

Uppdatering: Medierådets forskningsansvariga Ulf Dalquist har hört av sig för att tala om att de uppskattade ”dagliga besökare” / ”unika besökare / dag” som nämns på ett tiotal ställen i rapporten är en felskrivning. Det ska vara besök (vilket det faktiskt står på två ställen), eller kanske sidvisningar (vilket jag tror).

Statens medieråd fick förra veckan en hel del kritik för en rapport om våldsbejakande extremism, beställd av Justitiedepartementet. Rapporten gör ett nummer av att ha tagit reda på hur många besökare olika sajter har, och jämför hur stora de högerextrema, vänsterextrema och jihadistiska sajterna är på nätet. Problemet är att siffrorna man bollar med är rena låtsassiffror.

Emellanåt blir jag ombedd att ta reda på hur stor en viss sajt, eller grupp sajter är, och ofta går det att komma med en kvalificerad gissning. Jag ska strax gå igenom hur man gör, men låt oss först se hur Statens medieråd gjorde.

Jämförelserna mellan de olika extremistiska miljöerna i Medierådets rapport fick kritik av flera olika skäl: För urvalet av sajter som granskades, för att ha jämfört sinsemellan väldigt olika nätmiljöer (sajter med organisationer bakom jämförs med privatpersoners egna alster), för att ha använt etablerade politiska partiers sajter som jämförelse (Moderaterna använder ju inte i första hand sin egen hemsida när de vill nå ut med ett budskap), för att ha använt tvivelaktiga källor för att bedöma storleken på sajterna, och för att ha summerat siffror som inte borde ha summerats. Vi ska titta på de två sista punkterna; Hur man tagit fram och hanterat besöksstatistik.

I rapporten används måttet ”dagliga unika besökare” eller ”dagliga besökare”.¹ Unika besökare per dag, vecka, eller (allt mer sällan) månad är ett vanligt mått, där en unik besökare i regel betyder en webbläsare, från en ip-adress. Det motsvarar inte nödvändigtvis en fysisk person (det behöver vi telefonintervjuer eller liknande för att komma åt). Just nu ökar² ju t.ex. antalet enheter den genomsnittliga svensken surfar på (paddor, telefoner, hemdatorer, jobbdatorer, tv, etc), så det är långt ifrån säkert att den som 2013 ser en ökning av antalet unika besökare på sin sajt, faktiskt når fler människor. Men som jämförelsetal kan det ju fungera, särskilt som vi bara rör oss i Sverige.

Unika besökare är är bra mått, ända tills man behöver addera trafik från olika tidsperioder eller sajter. Då fungerar det inte längre. Om min sajt har 100 unika besökare per dag, betyder det inte att jag har 700 unika besökare per vecka. Det kan ju vara samma 100 personer som är inne varje dag. Allt jag vet är att jag har mellan 100 och 700 unika besökare per vecka – inte jätteexakt. På samma sätt går det inte att summera unika besökare från flera sajter.

När det gäller sajterna som granskas i Medierådets rapport verkar det ganska sannolikt att samma personer skulle besöka flera sajter. Ändå slår rapporten ihop siffrorna över unika besökare från alla de granskade sajterna i respektive kategori, och får därmed fram siffror som antyder att de här sajterna skulle ha ett häpnadsväckande stort genomslag. Det är tyvärr direkt vilseledande.

Och själva grundsiffrorna då? Först och främst: Ingen, förutom den som själv driver en sajt, vet säkert hur välbesökt den är. Det finns en del verktyg på nätet som försöker gissa. Medierådets rapport använder en måttligt seriös sajt som heter Freewebsitereport.org.

På freewebsitereport.org saknas helt information om vem som står bakom tjänsten (domänen är registrerad via en anonymiseringstjänst), eller hur den gör sina uppskattningar, men det verkar vara ett enmansprojekt från en webbutveckare vid namn Venkatesan Sundramurthy. Jag har mejlat honom för att fråga om detaljer utan att få svar, men en snabb jämförelse med några sajter jag känner till trafiken på visar att gissningarna pendlar mellan halvdana och helt uppåt väggarna. Vilket gör Freewebsitereport till vare sig särskilt mycket bättre eller sämre än någon annan liknande tjänst. Det är helt enkelt väldigt svårt att gissa.

Om Realisten.se skriver Mediarådet att de har 48 814 unika dagliga besökare, enligt Freewebsitereport.org. Det är en siffra som alltså helt saknar värde, så vitt vi vet. Kan den stämma då? Troligen inte – det låter osannolikt mycket. Realisten har själva vid ett tillfälle uppgett att de hoppas komma upp i 200 000 unika besökare per månad. Om de har hela 50 000 besökare om dagen, men mindre än 200 000 i månaden, så skulle det innebära en väldigt hög andel dagligen återkommande besökare, även om allt mellan 50 000 och 1,5 miljoner (50 000 · 30) förstås vore teoretiskt möjligt.

Så vad kan man då påstå om trafiken på olika sajter? Vill du verkligen veta hur många människor som använder en viss sajt, och behöver tillförlitliga siffror, så ring ditt favoritopinionsföretag och beställ en telefonundersökning. Det gäller oavsett vilken sajt det handlar om (t.o.m. din egen!). Nu är det kanske inte alltid där man vill lägga ribban. Lyckligvis finns det ytterligare några alternativ.

De mest tillförlitliga jämförelserna mellan olika sajter görs av annonsbranschen. Helt naturligt – för dem betyder det ju pengar att siffrorna stämmer. I Sverige driver Sveriges Annonsörer KIA-index, där snart sagt alla stora svenska sajter ingår. KIA-index registrerar antal unika webbläsare, besök och sidvisningar per vecka för alla sina medlemmar. Eftersom man ställer krav på exakt hur mätningarna ska göras, så är siffrorna också jämförbara med varandra. Nu är KIA-index en betaltjänst, så sajter som inte har några betydande reklamintäkter ligger sällan där. Då finns istället SIS-index, som är gratis, och som bygger på att man delar sin Google Analytics-data. Är man som sajtägare i Sverige intresserad av att visa upp sina besökssiffror är det hit man vänder sig. Om en sajt påstår sig ha en viss trafik, men inte är ansluten till SIS eller KIA, så bör man fråga varför.

Av sajterna som granskats av Medierådet är en enda ansluten till SIS-index: Realisten.se. Siffrorna som rapporteras in där ligger långt under dem som kommer från Freewebsitereport. Under den period Medierådet genomförde sin studie ligger Realisten på omkring 30 000 unika webbläsare per vecka. Det är något helt annat än 50 000 unika per dag.

De andra sajterna då? De saknas i SIS-index, så nu tvingas vi ge oss i händerna på någon av de tjänster som uppskattar sajters webbtrafik. I internationella sammanhang har Amazon-ägda Alexa blivit en de facto-standard för att jämföra sajters storlek. Alexa bygger på en webbpanel; Det är webbanvändare som har installerat ett tillägg i sin webbläsare som förser tjänsten med data om hur stora sajter är. Andra, hyfsat stora, panelbaserade tjänster är SimilarWeb och Compete.com. Det är en god idé att alltid kolla både Alexa och någon av de andra, som vi ska se lite längre ner.

De panelbaserade sajtstatistikverktygen ger alla en uppskattning av hur stor del av webbtrafiken (ibland uppdelat efter geografiskt område eller genre) som går till en viss sajt, och de presenterar också något slags rankingtal. I brist på bättre metoder brukar man anse att de här rankingarna ger en hyfsad bild av hur stora sajter är i förhållande till varandra – åtminstone när det gäller mellanstora eller stora sajter. Tittar vi på de granskade extremistsajterna så anger t.ex. Alexa att Revolutionära fronten (www.revfront.nu) har en räckvid på 0,00015 % över tre månader, och en internationell ranking på 867 337 (den 24 juli 2013). Vad kan det motsvara i besökare?

Nu får vi försöka extrapolera. Om en sajt är hyfsat stor, brukar man kunna få en uppskattning av hur många besökare den har genom att hitta sajt med ungefär samma målgrupp (för att inte drabbas av eventuella demografiska skevheter i Alexapanelen), som har ungefär samma tal i Alexarapporten, och där vi har siffror att tillgå via KIA (helst) eller SIS. Så här långt ner på rankingen är det svårt att hitta en bra match, men efter några minuters sökning fastnar jag för annonssäljarsajten www.turistmal.se (det finns nog bättre, kolla gärna själv!), med åtminstone snarlika siffror. De har i SIS 17 000 unika besökare per vecka, vilket alltså skulle kunna ge en hint om ungefär i vilken division revfront.org spelar. Om du ofta gör den här typen av kollar kan det vara bra att kontrollbedöma sajter som du egentligen känner till besöksstatistiken för, för att få en uppfattning om hur nära du kan komma. Man brukar åtminstone hamna på rätt tiopotens, och för lite större sajter hamnar man faktiskt ofta rätt nära. Det är sannolikt att Revolutionära fronten har i storleksordningen något 10 000-tal besökare per vecka. I sådana fall skulle Freewebsitereports siffra på 3 400 unika dagliga besökare kunna vara rimlig (fast vi får förstås använda den mindre exakt – ”några tusen besökare om dagen”).

Låt oss göra samma experiment med Realisten: Här har vi räckvidden 0,0035 % på 1 månad (för Revfront.org fanns inte data nog för det korta spannet), och man rankar 168 i Sverige. Det lägger dem på samma nivå som Ratsit, med knappt 350 000 unika besökare per vecka. Det är tio gånger mer än Realisten själva rapporterar till SIS, och betydligt högre siffror än de de själva skrutit med på sin sajt. Hur kan det komma sig? Till att börja med kan vår metod förstås slå helt fel. Sedan finns det ett problem med själva panelmätningarna: De är extremt lättmanipulerade. Nätet kryllar av guider till att manipulera Alexaresultat, genom att ladda ner deras webbläsarplugin och köra något skript som besöker sajten man vill boosta om och om igen. Om Freewebsitereport tar fram sina trafikuppskattningar genom att extrapolera från Alexaresultat (vilket jag tror, eftersom andra siffror i tjänsten kommer direkt från Alexa), så kommer den alltså också att vara öppet mål för den som vill ge skjuts åt sina siffror. Det är skälet till att du alltid ska kolla flera panelstatistikstjänster, när du gör den här typen av bedömningar. Det är värt den extra tid det tar. Om de kraftigt avvikande resultaten för realisten.se är resultat av mätfel eller manipulation ska jag låta vara osagt. Just nu räcker det att veta att vi inte kan använda dem. Och om riktigt små sajter (merparten av sajterna som nämns i rapporten) kan man egentligen bara säga att de är riktigt små.

Till sist: Fundera alltid på om en siffra känns rimlig. Och när det finns diskrepanser likt dem för Realisten.se, så fråga dig själv varför. Och fråga för all del sajtägaren också.

PS. Nu, i juni, rapporterar sajten Freewebsitereport överhuvudtaget inte antal unika besökare per dag, utan bara antal sidvisningar per dag, vilket är något helt annat. Samma person kan ju besöka 20 sidor. Kanske såg tjänsten annorlunda när Medierådet gjorde sin koll i februari och mars. Eller så har man missförstått vad det är man har läst. Jag försöker som bäst få tag i forskningsansvariga Ulf Dalquist, för att höra vilket.

PPS. De kvalitativa anlyserna av extremistiska sajter i Medierådets rapport är säkert utmärkta. Det har jag ingen synpunkt på här.

¹ På något ställe i rapporten står det ”dagliga besök”, vilket är något helt annat, jag utgår nu från att det är en felskrivning.
² Se t.ex. Svenskarna och internet 2012