Det blir inte mer rätt med 1527 panelister...

Hej Statistikvänner

den 20 augusti presenterade Metro en undersökning gjord av YouGov som visade att Sverigedemokraterna nu är Sveriges största parti [1]. Undersökningen baseras på 1527 intervjuer, vilket är en ganska stor undersökning och det förefaller därför som resultaten är relevanta och korrekta. 

Problemet med YouGov (och några av deras konkurrenter) är att de baserar undersökningen på s.k. självrekryterande paneler. En panel är en grupp med respondenter som under en begränsad tidsperiod för vara med i flera undersökningar. Självrekryterande innebär att vem som helst kan ansöka om att få vara med – men initiativet kommer från respondenten.

Genom att bygga undersökningen kring människor som valt att delta kommer alla normala möjligheter till statistisk slutledning att sättas ur spel. Vilka lockas att delta i panelen? Ett slumpmässigt urval bygger på att alla personer har en känd (oftast lika) sannolikhet att bli utvalda. På så sätt skapar man ett representativt urval där resultaten kan tolkas för hela populationen. Den som analyserar resultaten vet vad en respondent är värd och vad denne representerar. Väljer jag ett tillräckligt stort urval kommer jag även att få med alla sorter av folk, rika/fattiga, män/kvinnor, invandrare/infödda, sverigedemokrater/sossar, frimärkssamlare/joggare, lärare/byggjobbare/arbetslösa o.s.v.

De som ingår i den självrekryterade panelen kan vara precis vad som helst. En del är med av ett genuint intresse för att föra fram sin åsikt, men även detta är en egenskap som inte är jämnt fördelad. Jag tror att tyckmyckna människor kommer att vara överrepresenterade i panelerna. Det kommer även att finnas ett överskott av personer med mer tid och personer som är lätta att locka med belöningar. Eller personer som helt enkelt är professionella tyckare och som deltar bara för belöningens skull… Problemet är att vi inte vet hur det förhåller sig, men det är ganska enkelt att inse att panelen inte är representativ.

YouGov:s metod bygger på att man väljer personer på ”rätt” sätt ur sin panel (som alltså inte är representativ) och att de som svarar får olika vikt för att resultaten totalt sett ska bli rätt. Om det är få gymnasielärare i panelen kommer de som är med att väljas oftare. Om det är få gymnasielärare som svarar så får de högre vikt för att representationen ska bli rätt. Detta betyder samtidigt att grupper som är svåra att rekrytera kommer att få märkliga egenskaper eftersom det är ett litet antal personer i dessa grupper som får väldigt många och starka röster. Ingår du däremot i en smal men lättrekryterad grupp så blir det mindre viktning. Ingen utanför YouGov vet hur denna viktning går till eftersom det är en affärshemlighet. Därför kan vi inte granska det rimliga eller orimliga i de egenskaper som den har.

YouGov påstår [2] att metoden är tillförlitlig, men det är ganska talande att det är ”VD” och ”Sales manager” som uttalar sig och inte deras statistiker (om de har någon anställd framgår inte). YouGov hävdar följande argument för att deras metod är tillförlitlig:

·         Det är svårare att få folk att svara i traditionella undersökningar…

·         … speciellt om man inte får belöningar

·         Kvoturval är en modern metod

·         Det är lättare att svara tack vare modern teknik

·         Urvalet justeras efter svarsbenägenhet

·         Resultatet justeras efter vilka som faktiskt svarat

·         Justeringen sker mot fler variabler än kön, ålder och ort

Att metoden är ”modern” och att det är lättare att delta i undersökningen tack vare modern teknik är nonsensargument i detta sammanhang.

Metoden med självrekryterande paneler påstås lösa bortfallsproblemet, men det är inte sant. I urvalet bör det ingå en representativ sammansättning av populationen, men YouGov har en icke-representativ grupp på 60000 personer i panelen. Redan här uppstår ett ”bortfall” av alla de personer som inte ens gitter ansöka om medlemskap. Av de som sedan ingår i en specifik undersökning är det inte heller 100% svarsfrekvens. I den aktuella undersökningen svarade 1527 personer, men det framgår inte hur många som tillfrågades – i värsta fall är det alla 60000. Bortfallsproblemet är således inte löst - det är bara maskerat!

Självrekryteringen innebär även att det finns en risk att personer som inte ska ingå i populationen deltar. Vi vet inte om YouGov har rensat bort minderåriga och utländska medborgare från panelen. Vi vet inte heller hur många som dubbel-, trippel eller multipelregistrerat sig för att casha hem lite fler belöningar. Tyvärr får man inte bättre resultat för att samma personer deltar fler gånger.

Förhållandet mellan belöningar och svarsfrekvens har studerats i vissa fall. De belöningar som delas ut i normalfallet är ganska modesta och inte något som man blir direkt rik på men de snedvrider ändå resultaten - även de som svarar seriöst kommer att snedvridas. Det är enkelt att föreställa sig skillnaden mellan de människor som gärna deltar i paneler (för att de har tid och faller för belöningen) mot de som trots belöningarna inte ser det mödan värt. Marika Wenemark på Linköpings universitet [3] har i sin forskning konstaterat att förtroendet för undersökningen – och därmed motivationen att svara –kan sjunka om man delar ut belöningar. Så belöningen i sig förbättrar inte kvaliteten.

Även om traditionella OSU har svåra problem med bortfall så hjälper det inte att ersätta dem med en sämre metod. Det blir inte mer rätt för att man frågar 1527 skevt utvalda personer.

/Magnus 

[1] http://www.metro.se/nyheter/yougov-nu-ar-sd-sveriges-storsta-parti/EVHohs!MfmMZjCjQQzJs/

[2] https://yougov.se/news/2015/08/21/om-onlinepaneler-och-tillforlitligheten/

[3] https://www.imh.liu.se/samhallsmedicin/medarbetare/marika-wenemark?l=sv

Höga eller låga odds

Hej Statistikvänner,

Dagens Nyheter har en rubrik med texten nedan. Denna orsakade en del diskussioner på Facebookgruppen "Anonyma språkpoliser". Frågan är om pappan har höga eller låga odds att vinna en vårdnadstvist?

Vad betyder egentligen "odds" och hur används detta?

Om vi utgår från artikelns utsaga: Pappor har lägre sannolikhet att vinna, för enkelhets skull antar vi att i vårdnadstvister vinner pappan 25% av gångerna och mamman 75% (detta är helt taget ur luften, men är inte heller det som min text handlar om).

Formeln för detta är P(pappa) = 0,25 och P(mamma) = 0,75.

Det är ganska vanligt att uttrycka detta i termen "1 på", d.v.s. pappan vinner 1:4 medan mamman vinner 1:1,33. Notera att om man dividerar så blir inte förhållandet detsamma längre.

Enligt gängse statistisk teori är "odds" definierat som p/(1-p), vilket betyder att pappans odds är Odds(pappa) = 0,25/0,75 = 0,33 medan mammans är Odds(mamma) = 3. Enligt den statistiska definitionen är pappans odds alltså lägre än mammans. Man kan även beräkna det relativa förhållandet med den s.k. oddskvoten, OR = 0,11 eller 9 beroende på vem man utgår från.

Ett vanligt uttryckssätt som kopplar till "1 på..." sättet att skriva sannolikheter är att bara titta på nämnaren. Att få fyrtal i poker har en sannolikhet på 1:4165, vilket är lägre sannolikhet än 1 par som har sannolikheten 1:2,4. Om man för enkelhetens skull betraktar nämnarna, alltså 4165 respektive 2,4, så kan man ganska enkelt se att det högre talet svarar mot mer osannolikhet. Men detta är alltså inte ett odds.

I andra spelformer använder man en annan definition av odds. Oddset att Hammarby ska slå Örebro i dagens match i damallsvenskan är 6,2, oavgjort 5,1 och att Örebro vinner är 1,35. Dessa siffror har inte med sannolikheten att göra, även om de har baserats på sannolikheter. Vinst för Hammarby är en "högoddsare" som ger mer pengar, men sannolikheten är i detta fall lägre. Med detta sätt att uttrycka sig skulle alltså pappan ha högre odds än mamman.

Den statistiska definitionen har alltså en annan betydelse än den vanligare språkliga. Den statistiska är kopplad till sannolikhet, låg sannolikhet - lågt odds, medan den populära baseras på oddset vid vadslagning som är omvänt: Högt odds - låg sannolikhet.

En kommentar till i sammanhanget och det är ordet "Risk". I statistiken betyder "Risk" sannolikhet multiplicerat med kostnad. Risken för en bilolycka är alltså inte sannolikheten utan värdet som jag sätter i risk. Om en bilolycka inträffar 1 gång var 50 år (för en och samma förare) och denna kostar, säg 500000 kr, så är risken 10000 kr. En rimlig försäkringspremie skulle i så fall bli 10000 kr/år eftersom det är risken med att försäkra dig och din bil.

Magnus

Is there a collaps of the finnish Kokoomus party?

Dear statistic-friends (Rakas tilastoystävät),

I am sending a blogpost from Helsinki in Finland where I have been working all week.

One of the students showed me an interesting clip from the finnish TV channel YLE. Later this year there will be a parliamentary election in Finland and the comments on the polls become more and more frequent. The president and the prime ministers are both representing the Conservative parti Kokoomus (Kok).

According to a recent survey presented in YLE Kok is now just third biggest party. Following the Centre party (Kesk) and Socialdemocrats (SDP) but before the True finns (PS) and the Green party (Vihr). The result was presented as a “collaps” of the government party [1]. They are now only third, and their main competitor, SDP, is bigger!

But this is not all true. As we can see from the table and the figure, Kok is 3^rd, but the difference between them and SDP and PS is small.

Infact, if we test all pairs of proportions we find an interesting pattern: There are clear and distinctive groups, or clusters, of parties in this poll. Centre party (kesk) form one group. Socialdemocrats (SDP), Consevative (Kok) and True finns (PS) are basically equivalent. And there is no significant differences in the third group, not even between the biggest and smallest party (Green (vihr) versus Other parties).

However, the Conservative is significantly smaller than the Centre party. On the other hand, so is the Socialdemocrats.

In order to get a significant difference between SDP and Kok we would need a poll with almost 200000 respondents!

Alexander Stubb, Leader of conservative party and Prime Minister of Finland. 

The lesson to be learned from this story is that ranking data can cause misinterpretation. In sports it is important to be the best. There is only one winner, one silver and one bronze medal and there is always a separation between. The differences between SDP, Kok and PS are exaggerated when they are replaced by ranks, while the difference between PS and Vihr is actually looking smaller.

And always be careful when reading statistics processed by politicians and journalists. 

/Magnus

I thank Oskari Tinkanen for showing me the data!

[1] http://yle.fi/uutiset/kokoomus_romahti_kolmoseksi/7767805

Manspreading

Statistikvänner!

Dagens blogg kommer att handla om ”man-spreading”, d.v.s. beteendet att män sitter bredbent i offentliga miljöer. Eftersom jag hade en stund i väntan på ett tåg kl 0605 på morgonen passade jag på att samla in data på Göteborg C.

Kön                     Ihop                    Isär                      Summa

Män                    17                        20                        37

Kvinnor             10                        5                           15

Som synes verkar männen oftare sitta med benen isär, medan kvinnorna oftare sitter med benen ihop. Man kan räkna på detta och konstatera att skillnaden inte är signifikant, utan har uppkommit av en slump med sannolikheten 22,7%. Min första slutsats från denna snabba undersökning blir alltså att det inte finns skillnader mellan män och kvinnor.

Men, innan vi avfärdar fenomenet statistiskt, måste vi göra ett par betraktelser till. Denna enkla undersökning innehåller nämligen flera ganska enkla fallgropar som man inte kan bortse ifrån.

Jag gick ett varv runt på centralen och räknade på sammanlagt sex olika platser. I undersökningen räknade jag inte in gäster på ett morgonöppet café (borden var i vägen för observation). Jag har heller inte skiljt på om man suttit i en av de stora hallarna eller i gångarna, mot gångområdena eller mot en bänk mittemot eller om man haft stående eller sittande sällskap. Men jag noterade att sitt-stil kan variera beroende på platsen som man valde att sitta på. Dessa faktorer kan påverka resultaten, men kan inte skattas i detta lilla material.

Risken att en person räknats flera gånger genom att hen flyttat sig bedömer jag som liten.

Är dessa 52 personer som deltog i undersökningen representativa för Göteborgs befolkning. Vilka är det som befinner sig på Göteborg C? Tidigt på morgonen? Sittandes? Som exempel kan jag ta att jag såg två barn totalt på hela tiden jag gick runt och kanske runt en handfull personer i pensionsålder. Utan att räkna kunde jag även konstatera att det var ganska många kvinnor som stod upp. 

Inom statistiken talar man om ”målpopulation”, som är den grupp man vill dra slutsatser om. Så frågan är om min undersökning handlar om alla Göteborgares beteenden, eller om alla Göteborgare som åker tåg? Och kan man generalisera detta till hela Sverige? Eller hela världen? I undersökningen ingick mer än dubbelt så många män som kvinnor, trots att det är känt från tidigare undersökningar att kvinnor reser mer kollektivt än män, men mindre totalt sett.

Det var även svårt att definiera om man satt ihop eller isär med benen. Jag definierade att om ena benet korsade det andra så satt man ”ihop” och i annat fall satt man ”isär”, men denna definition kan man ifrågasätta. Man kan fundera över om man ska beräkna hur stor yta passagerarna tar upp eller vilket beteende de visar mot sin omgivning – Är undersökningen en fråga om logistik eller sociala normer? Jag bestämde det senare och då fick ”korsläggning” fälla avgörandet. Detta ledde till att några fall (samtliga var kvinnor) med smalbenen/fotlederna korsade fick betraktas som ”ihop”. Medan ett antal personer med knäna i kontakt med varandra betraktades som ”isär”. En (man) med vristen på knäet tog upp två platser, men blev "ihop" med denna definition. 

Jag strök även en kvinna som satt med fötterna på bänken under sig och en man som låg på en bänk med korslagda ben.

Men den viktigaste invändningen mot slutsatsen handlar om stickprovsstorlek. Utgångspunkten i en vetenskaplig undersökning är att det inte finns skillnader till dess att motsatsen bevisats, d.v.s. män och kvinnor har samma beteende till dess att tillräckligt med data finns att analysera. I detta fall är det 54% av männen och 33% av kvinnorna som sitter med benen isär, men det räcker inte. Trots att männen är dubbelt så benägna till ”spreading” så behöver man ungefär 2,5 gånger så många observationer. Faran med att publicera denna snabba slutsats är alltså att vi inte har letat tillräckligt mycket. Den statistiska termen är att vi gör ett fel av typ 2 eller att vår undersökning har för låg styrka (28% för att vara exakt).

Det är en felaktig slutsats att ”Män och kvinnor sitter lika ofta med benen ihop”. Den korrekta slutsatsen är ”Det finns inte tillräckliga bevis för att män och kvinnor sitter olika ofta med benen ihop”. Jämför detta med slutsatser om t.ex. risken för cancer från mobiltelefoner: ”Det är bevisat att mobiltelefoner INTE orsaker cancer” eller ”Det finns inte tillräckliga bevis för att mobiltelefoner orsakar cancer - än”.

Innan man samlar in mer data måste man också komma på sätt att undvika s.k. ”selection bias”. Detta innebär att jag får det resultat jag vill därför att jag väljer att bara se (eller minnas) det jag vill se. Om jag t.ex. står på stationen och irriterar mig över några ”spreaders” så kommer jag ihåg just dem, men inte alla som sitter ”ihop”. För att undvika detta måste jag välja observationstidpunkt före undersökningen och inte observera då det passar mig och mina syften.

Selection bias finns det gott om exempel på. T.ex. de enstaka fall där personer ”botats” av homeopatiska läkemedel, vilket är önsketänkande i förening med placeboeffekt. Eller när invandrare får skulden för brottslighet, vilket beror på att man kommer ihåg att en person inte är etnisk svensk men glömmer att räkna alla andra. 

Så nästa gång ni läser ett "vetenskapligt" påstående: Granska detta kritiskt!

/Magnus 

Räknefel då man stickar

Välkomna till Statistikbloggen! 

Jag läste en fråga på Facebookgruppen ”Stickcafé” som handlade om hur många gånger man ska kontrollräkna maskorna på sin stickning. Så – i ett försök att bredda läsekretsen – tänkte jag försöka ge lite synpunkter på detta. 

Om man stickar måste man (om man är lika amatörmässig som jag i alla fall) kontrollräkna antalet maskor med jämna mellanrum. Om antalet är för litet har man sannolikt tappat en maska som man i så fall måste leta upp och sticka in, men man kan även råkat lägga till en. Ska man sticka en resår vållar detta stora problem eftersom man ska sticka varannan avig, varannan rät och om man har ett fel så blir det både snett och vint.

Så därför måste man ibland kontrollera antalet. 

Antag att vi stickar en vante (eller socka) med 40 maskor per varv, fördelade på 4 stickor med 10 vardera. För enkelhets skull antar vi att det är fråga om slätstickning så det är bara räta maskor hela varvet runt. Nu ska vi kontrollräkna antalet… 

För varje maska kan vi göra två fel: Missa att räkna (antalet minskar med ett), räkna dubbelt (antalet ökar med ett) eller räkna rätt. Vi betecknar dessa med (-1, +1 respektive 0). Gör vi alla rätt kommer vi att få rätt svar. Men hur kan vi veta att vi faktiskt har rätt bara för att vi får rätt summa? Vi kan ju ha räknat fel två gånger! 

Inom informationsteori talar man om felupptäckande och felrättande koder. En upptäckande kod innehåller en kontrollmöjlighet som gör att vi kan upptäcka vissa fel, men vi kan inte rätta dem. Exempel på detta är kontrollsiffran i personnumren och OCR-numren. Man kan se att det är fel på ett personnummer om kontrollsiffran är fel, men man kan inte se vad det rätta numret är. En rättande kod så kan man även korrigera felet så att det blir rätt. Men om två siffror ändras samtidigt så kan kontrollsiffran bli rätt i alla fall och felet går obemärkt förbi… 

Ett exempel på en felupptäckande kod inom stickning är att om man stickar resår (varannan rät och varannan avig). Om sista maskan blir rät vet man att det är fel någonstans, men inte var eller hur detta ska korrigeras. Men även här kommer två fel att ta ut varandra. 

Låt oss anta att du oftast räknar rätt. Säg att felräkningar inträffar 1 gång på 1000 (var 1000:e maska missas ELLER dubbleras, medan 999 räknas rätt). Det betyder att en kontrollräkning av vanten ovan kommer att ha noll fel med en sannolikhet på 96,1%. Sannolikheten för EXAKT ett fel är 3,8% och sannolikheten för MINST 2 fel är 0,076%. Se tabellen nedan. 

Men även om man gör minst 2 fel så kan det fortfarande vara så att felräkningarna syns. Ett udda antal fel kommer t.ex. alltid att synas. Likaså om samma fel görs fler gånger (man missar t.ex. att räkna 2 maskor). Gör man däremot fel så kommer det att vara ETT fel eller ett antal fel som syns i alla fall med mycket hög sannolikhet (över 99%). Så om man bara gör fel 1 gång på 1000 så kommer man med största sannolikhet att få rätt resultat, d.v.s. upptäcka ett fel som finns eller godkänna ett korrekt arbete. Ett räknefel kommer alltså inte att gå att missa. 

Om du är slarvigare och gör fel på var hundrade maska så blir kontrollräkningarna trots det rätt med en sannolikhet på 67%. Även i detta fall kommer det att vara mycket sannolikt att OM man gör ett fel så är det bara ett fel (81,7%). 

Men slarvar man ännu mer och gör fel på var 10:e maska så blir det problem. Då kan man troligen inte lita på sin kontrollräkning alls utan måste kontrollräkna flera gånger oavsett resultat.  
Jag tror att de flesta med lite noggrannhet kommer att räkna rätt så ofta att om man gjort fel så upptäcks detta. Kontrollera gärna själv genom att räkna samma stycke flera gånger. Därför drar jag slutsatsen att om man stickar vantar eller raggsockor så ska EN genomräkning räcka. Skulle det bli ett felaktigt antal så måste man gå igenom arbetet en gång för att finna felet, som sannolikt kommer att finnas. 

 Hälsningar Magnus 

 Tack till Monica Larsson som gav mig inspiration till denna bloggpost!

Nicholas Cage och drunkningsdöden

Hej Statistikvänner!

Jag fick ett kul länktips av min kompis Torsten Beckman (http://www.tylervigen.com/).

Siten presenterar 20 stycken korta tidsserier där det finns en tydlig korrelation mellan några – väldigt märkliga. Bland annat är det så att fler drunknar i swimmingpoolar de år då det kommer ut fler filmer med Nicholas Cage. Man kan fundera länge över hur detta kommer sig, men svaret är lika enkelt som tråkigt.

Nicholas Cage -
The man, the myth, the statistic

Bara för att det finns en korrelation i data så har man inte automatiskt ett orsakssamband. Det är alltså inte så att Nicholas Cages agent arbetar mer aktivt om folk drunknar. Lika lite tror jag att hans filmer får folk att drunkna – varken avsiktligt eller oavsiktligt.

Ibland finns det en effekt som kallas ”skensamband”. Bakom två variabler ligger en tredje som man inte tittar på. Det finns ett logiskt samband mellan denna och bägge de andra, men inte mellan de man betraktar… Om du inte hängde med: Det finns bevis för att kaffedrickare oftare får lungcancer. Orsaken till detta är att rökare BÅDE dricker mer kaffe och får lungcancer, inget annat. Jag gillar inte att vara kategorisk, men jag tror inte att det finns någon tredje faktor som ger Nicholas Cage filmkontrakt och får folk att drunkna.

Svaret ligger i att dataserien är kort (11 år) och att de är många.

Jag roade mig med att göra en simulering på helt oberoende data upprepat 20 gånger. Den bästa av körningarna hade en korrelationskoefficient på 0,54 se figuren. Faktum är att om man gör om samma sak med bara 5 serier som testas i alla par som är möjliga (20 st) så blir det 65% i det bästa fallet.

Simulerade data för 1999 till 2009. Helt oberoende... Trots det blev det en fin korrelation.

De har presenterat 20 resultat, sammanlagt 40 variabler. Antalet möjliga par är 780 stycken. Det är inte konstigt att det finns de med hög korrelation.

Man bör vara försiktig med att tolka denna ”information” eftersom det kan leda till felaktiga slutsatser. Dessa slutsatser kan i sin tur orsaka stora skador. Man skulle behöva en varningstext som de som sitter på cigarettpaketen. ”Varning – Dålig statistik kan skada dig allvarligt!”.

Magnus

Facebook dör ut mellan 2015-17

Hej,

Facebook på väg att dö ut som en smittsam sjukdom! Få saker väcker ett intresse som en bra rubrik.

Inom statistiken använder man modeller, d.v.s. en förenklad bild av hur verkligheten fungerar. I modellen finns slumpmässiga förlopp, påverkan m.m. inlagda och sedan skattar man hur stora dessa är.

Inom epidemiologi – läran om smittsamma sjukdomars spridning – finns en enkel modell som delar in alla människor i tre faser: Mottaglig, Smittad, Resistent. Först kan man bli smittad av sjukdomen, sedan är man smittad och sprider smittan vidare till andra mottagliga och sedan blir man Resistent mot smitta. Till detta finns mängder av variationer. T.ex. kan resistent betyda att man avlidit.

På engelska kallas detta ”SIR”-modellen (Susceptible, Infected, Resistent).

Beroende på hur lätt det är att smitta andra och hur ofta detta sker och hur lång tid smittade har på sig att sprida sjukdomen vidare blir det olika förlopp. Rabies och hiv sprids ganska sakta eftersom smittotillfällena är få. Å andra sidan influensa sprids snabbt och kan explodera i pandemier för att sedan dö ut då stora delar av befolkningen utsatts för smittan och antingen blivit immuna eller dött.

Forskare vid Princeton University [1] har tillämpat samma modell på Facebook. Man kan betrakta en person utan Facebook-konto som ”Mottaglig för smitta”, en som anslutits som ”smittad”. Om man tillämpar denna modell kan man se hur snabbt farsoten sprider sig innan en pandemi mer eller mindre brutit ut. Men de har även beräknat att trenden vänder och denna vändning finns med i modellen.

Likt spanska sjukan och böldpesten kommer smittan att avklinga. Enligt forskarna har detta redan skett med MySpace som följde samma mönster för några år sedan. Facebook nådde sin topp 2012 och kommer att tappa 80% av sina användare mellan 2015 och 2017.

/Magnus

[1] J Cannarella and J A Specler (2014). Epidemiological modeling of online social network dynamics. http://arxiv.org/pdf/1401.4208v1.pdf

Är tåget i tid?

Hej Statistikvänner,

För ett par år sedan tänkte jag skriva lite om tågförseningar. Nu har Riksrevisionen precis släppt en rapport över detta ämne och konstaterar den rapportering och styrning som förekommer. Ett av kapitlen i rapporten har den talande rubriken "Är punktlighetsstatistiken tillförlitlig och medborgarnära?". I sammanfattningen kan man läsa följande sågning:

"Svagheter i Trafikverkets statistikarbete gör dock att myndighetens uttalanden om punktlighetens förbättringar under senare år är osäkra. En anledning är att ... punktligheten inte har vägt in förekomsten av ... inställda tåg,... hur olika omständigheter... påverkar punktligheten. Det innebär enligt Riksrevisionen att det är svårt att från Trafikverkets redovisning av punktlighetsstatistik dra en slutsats om det har skett någon egentlig förbättring ..." [1]

Trafikverket räknar ett tåg som antingen "punktligt" eller försenat. Om tåget är mindre än en viss tid sent så räknas det som "i tid" och därefter "försent". Inga gradskillnader förekommer. Tidigare var ett tåg försenat efter 5 minuter, men denna gräns har ändrats till 15. Det betyder alltså att tidigare var ett tåg som var 4 minuter och 59 sekunder sent "i tid". Medan ett tåg som var 5 minuter och 0 sekunder sent var "försent". Samtidigt var ett tåg som var 2 timmar sent lika sent som ett på 5 minuter.

Detta kallas "dikotomisering". En kontinuerlig variabel ersätts med en som bara har två värden, "i tid" och "försent". Varje tågresenär vet att det inte är något magiskt som inträffar då sekundvisaren flyttar från 4.59 till 5.00. Graden av skada ökar med ökande försening, med vissa hopp inlagda då anslutningar, tandläkartider etc passeras. Det betyder att man tar bra information och gör om den till irrelevant information.

Men det är inte det enda felet...

Betraktar ett pendeltåg som startar i Alingsås och som efter 10 stopp slutar på Göteborg C. Med detta tåg finns 66 olika resandekombinationer. Men om tåget är försenat så räknas det som en försening (slutstationen). Man kan se det som att man drar ett streck på tavlan för ett sent tåg, men man glömmer 11 eller 65 beroende på hur man ska räkna.

Dessutom är det - sett ur resenärens perspektiv - intressant hur många som sitter på tåget. Ett i stort sett tomt tåg påverkar få människor, medan ett fullsatt tåg kanske gör 500-600 personer försenade till jobbet, dagis, tandläkaren eller vart man nu ska. Om ett fullsatt pendeltåg försenas 14 minuter (vilket inte är sent enligt definitionen) så skapar det en total försening på 150 timmar - Varje minut kostar 2 timmars tidsförlust.

Till detta kommer att inställda tåg räknas för sig. Men sätt ur passagerarnas perspektiv är en inställd avgång samma sak som en försening. Hur lång den är beror på frekvensen av avgångar. Under dagtid avgår ett kommande pendeltåg om 30 minuter, vilket betyder att ett inställt tåg är samma sak som en försening på 30 minuter gånger antalet passagerare.

Problemet med felaktiga mätetal är att de leder till felaktiga beslut.

• Eftersom man inte värdesätter förseningar efter deras storlek finns ingen grund för att minimera den. Ett sent tåg är redan bortom räddning.
• Eftersom man räknar tåg och inte passagerare spelar det ingen roll om tåget är fullsatt eller inte. Resenärernas perspektiv svarar inte mot Trafikverket. Punktligheten är sannolikt mycket lägre beräknat per passagerare.
• Eftersom ett inställt tåg räknas för sig är det smartare att ställa in och sätta passagerare på nästa tåg som förhoppningsvis är i tid. Då är ingen mätbar skada skedd.

Här har vi en del av förklaringen till varför tågen är mer sena än vad de styrande tror...

Magnus

1.  Tågförseningar – orsaker, ansvar och åtgärder. Rir 2013:18.

http://www.riksrevisionen.se/PageFiles/18567/RiR_2013_18_JARNVAG_anpassad.pdf

Kejsarens nya kläder

Hej Statistikvänner,

Behovet av undersökningar som ger snabba resultat på aktuella frågor bara växer och växer. Traditionellt har dessa genomförts via post, sedan telefon och numera internet. En populär variant som ökar i omfattning är de s.k. webb-panelerna.

En panel består av ett antal personer som deltar i flera undersökningar i t.ex. sex månader. Eftersom de är kända och visat intresse för att delta är det lätt att snabbt få svar. Om man dessutom genomför undersökningen via e-post eller webb så blir det dessutom enkelt och billigt.

Tyvärr blir det lätt fel…

Första problemet ligger i hur urvalet av de s.k. panelisterna - I den bästa av världar är dessa ett slumpmässigt urval. För att rekrytera ett sådant måste man i så fall göra ett slumpmässigt urval av befolkningen, kontakta dem på ett sätt som gör att svarsbortfallet blir acceptabelt lågt och rekrytera med en någotlunda jämn fördelning mellan alla grupper. Att detta är svårt inses lätt då man ser vilka som kan tänka sig att ingå i en panel och bli uppringde upprepade gånger för att svara på frågor.

Tyvärr rekryteras stora delar av panelerna av frivilliga, alltså personer som sökt sig till panelen för att få delta. Är dessa ett slumpmässigt urval av befolkningen – Absolut inte. De som lockas är antingen personer med överskott på tid, underskott på pengar eller extremt tyckmyckna personer.

Men kan man inte justera för detta? Om panelen består av ett överskott med sverigedemokrater, kvinnor i småstäder, äldre än 55 utan högskoleutbildning så kanske man kan lösa detta. Men då ska man komma ihåg att allt bygger på modellantaganden.

Om kvinnor är underrepresenterade (t.ex. 1 kvinna per 2 män) så skulle man enkelt kunna justera alla kvinnor med en faktor 2. Men vad säger att det inte orsakar nya problem, t.ex. som följd av att kvinnor har lägre inkomster i genomsnitt? Dessutom orsakar de uppjusterade kvinnorna en högre variation - Eftersom vi frågar färre, men multiplicerar upp dem, så kan enstaka lite mer ”extrema” svar få en hävstångseffekt. Sist men inte minst så kan denna justering bara ske mot hårda data, som kan sökas – exakt – i målpopulationen, t.ex. ålder, kön och bostadsort. Minsta lilla ”mjuka” data så är det kört. Inkomst går inte, partitillhörighet går inte, socialgrupp går inte.

Faktum är att jag tror att vissa grupper är helt orepresenterade och därför ”återskapas”.

Men framför allt är panelisternas åsikter ungefär lika representativa som rösterna på Idol 2013 eller som insändarsidan i en genomsnittlig lokaltidning. Trots detta så blåser man gärna upp resultaten som ”fakta”. Vad värre är: Denna falska information används som underlag för att styra samhällets utveckling och påverkar debatten kring hur vi ska leva och organisera vår gemensamma värld.

Som Fröding sa: Strunt är strunt och snus är snus, om ock i gyllne dosor.

Florence Nightingale (apropå kvinnodagen)

Ett par dagar försent... Men här är i alla fall ett inlägg om internationella kvinnodagen.

Jag fick ett mail från kampanjgruppen för Year of Statistics 2013 där man uppmanade till att uppmärksamma alla kvinnliga statistisker på kvinnodagen. En av de mer kända (men kanske inte som statistiker) är Florence Nightingale (1820-1910).

Bland de viktigaste upptäckter som Nigtingale presenterade handlar om förhållandet mellan hygien och sjuklighet. Vi vet idag att bakterier, virus och andra smittämnen sprids och hur detta går till, men i slutet av 1800-talet var detta helt okänt.

En tydlig illustration på detta är pajdiagrammet nedan. Pajdiagram var nyligen uppfunna, men Nightingale tog dem till en ännu högre nivå. Diagrammet sammanfattar med en obehaglig tydlighet krigets fasor. Även om man rekryterade soldater för det "ädla" målet att stupa på slagfältet så var det inte där de dog - De dog i sjuksängarna. Av infektioner. Av undernäring och av brist på hygien.

Förutom de fakta som diagrammet ovan visar är det ett vackert och funktionellt diagram. Idag kan man svänga ihop ett sådant på ett par minuter med lämplig programvara, men hur lång tid det tog att fixa detta på 1850-talet vågar jag inte gissa.

Nightingale presenterade flera resultat som på ett tydligt och klart sätt visade vikten av hygienska reformer inom sjukvården. Alltid med samma klara precision.

Hon var även den första kvinnan som valdes in i Royal Statistical Society, så nog förtjänar hon uppmärksamhet på internationella kvinnodagen under interntaionella statistikåret.

Hälsningar

Magnus

Littlewoods lag

Hej Statistikvänner,

Wow! Jag fick en hand i poker med Spader Ess, Ruter 9, Spader 7, Klöver 5 och Hjärter 2!!!! Helt otroligt!

Så skulle du knappast säga om du får denna hand. Jag vågar till och med gissa att du är ganska säker på att du har fått denna eller en liknande hand om du spelat poker. Men tänk efter: Denna hand är LIKA sannolik (eller osannolik) som Royal Imperial Straight Flush (10 till Ess i Hjärter). Eftersom denna hand är unik – det finns bara 1.

Det finns exakt 2 598 960 möjliga pokerhänder så det är ganska otroligt att du hunnit spela alla. Saken är den att ALLA pokerhänder är lika sannolika, men de är olika värda. Handen på bilden är skräp, men lika sannolik som Royal Imperial Straight Flush. Det finns 4 Royal Straight Flush (en i varje färg), 40 Straight Flush. O.s.v. så det krävs ganska många givar innan dessa dyker upp.

Hur många par finns det? (Se längst ner för svar).

Det är samma sak med en lotto-rad som innehåller 3, 9, 17, 18, 26, 30, 32. Inget speciellt med den, till skillnad från raden 1, 2, 3, 4, 5, 6, 7, men även dessa rader är lika sannolika (1 på 6 724 520).

Det intressanta med denna lilla övning är att man bör fundera över annat som sker i tillvaron och som ser helt otroligt osannolika ut. Med tanke på alla små händelser som sker så är det ganska få saker som är unika. Den brittiske matematikern John Littlewood (1885-1977) satte siffror på detta och formulerade Littlewoods lag. Enligt denna kan en händelse betraktas som ett mirakel om det har en sannolikhet mindre än 1 på miljonen. Antag att vi är vakna och fult alerta 8 timmar per dag och att vi upplever en händelse per sekund. I så fall kommer vi att uppleva ett mirakel i månaden.

Om vi betänker alla små händelser som bara flimrar förbi som fullt normala så blir det ganska många som vi inte ser. Vi tänker inte på att det kör förbi en röd bil, eller att den kördes av en man i mustasch, samtidigt såg vi en kvinna med en hund (schäfer) o.s.v. Varje sådan händelse är lika unik som alla de märkliga – men vi lägger dem inte på minnet.

Värt att tänka på då vi sitter vid pokerbordet.

Jag återkommer med mer märkliga fakta om detta i nästa inlägg… Missa det inte…

Hälsningar

Magnus

=== 

PS. Antalet möjliga par i poker är 1 098 240, vilket ger en sannolikhet på 42% DS

Big mac index

Hej Statistikvänner,

Hemma igen från vårt västra broderland Norge. Det finns mycket statistiskt att undersöka vad gäller Norge så jag hoppas återkomma till det fler gånger.

En sak som svenskar noterar i Norge är att det är ”så dyrt” där. För oss svenskar handlar det om att våra pengar inte räcker så långt som vi är vana vid. Vi reser hellre till andra länder, t.ex. Thailand där plånboken känns tjockare.

 Dyrhet kan analyseras från två aspekter: Dels relativt olika länder dels relativt det arbete som krävs för att kunna köpa varor och tjänster. Många nationalekonomer har lagt pannor i djupa veck för att reda ut vilka länder som är dyra respektive billigast, det handlar om ”Purchasing Power Parity” (PPP). Olika avancerade mätningar används, men ibland är det enklare än man tror…

The Economist brukar presentera en jämförelse på vad en Big Mac kostar i olika länder, omräknat till USD. En Big Mac består av en blandning av livsmedel, men även andra varor och tjänster som alla kostar pengar. Detta brukar i ekonomiska sammanhang kallas för en ”korg” av varor och tjänster. Om bröd är dyrt blir en Big Mac dyr. Om arbetskraft är billig så blir en Big Mac billigare.

I januari 2012 kostade en Big Mac 41 SEK i Sverige, vilket motsvarar USD 5,91. Detta placerar oss på fjärde plats efter Venezuela (USD 15,12), Schweiz (USD 6,81) och Norge (USD 6,79). Billigast är Ukraina, där en Big Mac kostar USD 2,11. Med detta som grund kan vi se att priser – generellt – i Norge är 15% högre. En reskassa på 100 SEK ”smälter” alltså ner till ett värde motsvarande 86,95 efter växling.

 Detta är naturligtvis en kraftig förenkling, men lustigt nog visar det sig dessa mått fungerar riktigt bra jämfört med mer avancerade. Ett av skälen till att det fungerar så bra är bl.a. att Big Mac är så standardiserad internationellt sett och består av en blandning av viktiga varor och tjänster som påverkar mycket av våra omkostnader.

Liknande jämförelser brukar blanda in stora och komplicerade beräkningar, undersökningar och framför allt val av vad som ska ingå i en varukorg. Flera gånger har sådana korgar haft stora brister. En sådan korg jämförde konsumentpriser mellan EU:s medlemsländer och kom fram till att Sverige var oerhört dyrt (bl.a. jämfört med Frankrike). Vid en analys av korgen visade det sig snabbt varför: I varukorgen ingick vatten köpt i en affär. Så gör man i många sydeuropeiska länder, där en dunk på 10 liter kan kosta runt 0,1 EUR per liter. Flaskvatten i Sverige kostar kanske 4 EUR för en liter, men å andra sidan kostar kranvatten runt 0,02 EUR per liter. Så det handlar om hur vi handlar.

 Det blir helt enkelt äpplen och päron.

Är bollen rund?

Hej Statistikvänner,

Så var årets allsvenska ut och vi säger STORT GRATTIS till Elfsborg!

Bollen är rund brukar det heta… Men hur rund är den egentligen? Alltså, hur mycket av resultaten i en fotbollsmatch kan förutsägas och hur mycket beror på slumpen? Klart är att det finns olika inslag av tur (eller flyt) i olika sporter. Vi vill gärna att det ska vara så att ett lag som är bättre också vinner oftare. Rent allmänt så är det så, men risken finns alltid för skrällar.

Kan detta analyseras statistiskt? Man kan i alla fall försöka… För att ta reda på lite mer om detta har jag analyserat herrallsvenskan 2012, efter omgång 29 och före omgång 30.

(Nu blir det lite teoretiskt: Vi antar att ett lag gör mål i en jämn och slumpmässig ström. De statistiker som läser detta förstår att jag menar en poissonprocess. Dessa används för köer, haverier, trasiga glödlampor m.m. som brukar inträffa i en slumpmässig följd av oberoende händelser. Just oberoendet är att lite svagt antagande i sammanhanget då man kan anta att det aktuella resultatet och tiden kvar att spela påverkar spelet, men vi utgår från detta denna gång.

Jag testade följande modell:

Antal mål = Snitt + Lagfaktor + Motståndarfaktor + Borta/Hemma + slump

Vi kan konstatera flera intressanta saker. Först ser man att Motståndaren inte har signifikant effekt. Om GAIS förväntas göra ett visst antal mål i en match så spelar det inte så stor roll vilka de möter. Detta skulle kunna tolkas på flera sätt, men en möjlighet är att träning och taktik fokuserar på anfall i första hand.

Däremot spelar det roll om man spelar hemma eller borta. Bortalaget förlorar 0,29 mål per match mot om de spelar hemma. Totalt sett görs 1,56 mål per hemma match mot 1 per bortamatch. Detta kan man naturligtvis spekulera i orsakerna till. Om man bara analyserar derbyn (AIK, Djurgården, GAIS, Häcken och IFK Göteborg) så är skillnaden den omvända, 0,875 till hemmalaget mot 1,0 till bortalaget. Skillnaden är dock för liten för att dra några slutsatser.

Målfarliga lag tenderar, som väntat, att hamna högt i Allsvenskan. Målfarligast är Häcken följt av Helsingborg (2 och 6 i Allsvenskan). Elfsborg hamnade på 6:e plats och gjorde alltså mål i ”rätt” matcher…

Om man förenklar analysen lite kan man även räknar ut förklaringsgraden, d.v.s. hur mycket som förklaras av slumpen respektive modellen. Det visar sig att mellan 20 och 25% av resultatet kan förklaras av denna enkla modell, men det är alltså nästan 80% av resultatet som beror på slumpen. Genom att använda modellen kunde jag tippa rätt 6 gången av 8.

Charmen med sport är såklart att resultatet inte ska vara helt klart på förhand. Det blir liksom inte roligare då man räknar sönder det hela. Eftersom så stor del av resultatet beror på annat än min modell bör man vara försiktig om man försöker bli rik… Jag satsade 1-0 eller 2-0 i matchen Örebro-GAIS, vilket var en rimlig gissning, men det gick som det gick. Matchen slutade med vinst till Örebro, men med 4-0.

Så: Bollen är rund - till 80%.

/Magnus

Statistik om fattigdom

Hej Statistikvänner!

Hur många barn i Sverige riskerar att leva i fattigdom? Och hur fördelas detta per kommun? Jag fick ett tips om en artikel i Sveriges Radio - Dagens eko där frågan diskuteras. Tyvärr är inte detta inslag så vederhäftigt som man skulle önska.

Jag vill inte ge mig in i en debatt om skillnaden mellan "Absolut" och "Relativ" fattigdom. Artikeln refererar till "Relativ fattigdom" enligt definitionen:

Risk för fattigdom är att familjen har en inkomst, inklusive kapitalinkomster och bidrag som är lägre än 60% av medianinkomsten i Sverige räknat per konsumtionsenhet (En vuxen i varje familj tilldelas en konsumtionsenhet, varje övrig vuxen 0,5 konsumtionsenheter och varje barn under 14 år räknas som 0,3 konsumtionsenheter)

Man kan notera att landets mest "blåa" kommuner (alltså de med stadig majoritet för Alliansens partier) ligger i topp. Dandery, Täby och min egen hemkommun Lerum ligger på 10 i topp! Malmö å andra sidan är fattigast i landet. Här får man passa sig för att blanda ihop orsak och verkan... Man kan möjligen se det som ett mått på segregering, att i vissa kommuner bor höginomsttagare, vilka röstar blått.

I artikeln konstaterar man att man inte har data för inkomster från utlandet. Detta leder till att familjer bosatt i kommuner med stor utpendling till grannländer kommer att se fattiga ut. Detta förklarar varför just Pajala, Torsby m.fl. kommuner är lika fattiga som Burlöv. Burlöv är en relativt välmående Malmöförort med stor risk för barnfattigdom... Bara denna faktor stör siffrorna ganska mycket.

Nämnaren i uträkningen är också intressant. I en kommun med många stora familjer kommer att ha relativt hög fattigdom. Visserligen är det så att större familj kostar mer, men om förhållandet 1, 0,5, 0,3 verkligen stämmer kan man ifrågsätta.

En vuxen till i hushållet kan nästan fördubbla inkomsten. Men ökar bara konsumtionsenheten med 38% eller mindre. Det leder till att fler barnfamiljer med singelföräldrar kommer att se fattigare ut. Men om vi betraktar större familjer (t.ex. 3 barn) så är skillnaden i konsumtionsenheter 26% Fattigdomen för frånskilda blir alltså överskattad för små familjer!

En kärnfamilj med 3 små barn har t.ex. 2,4 konsumtionsenheter medan en frånskild med tre tonåringar ligger på 2,5. Gott om småbarnsfamiljer ger färre konsumtionsenheter vilket får t.ex. Lerum att se mindre fattigt ut.

Sedan kan jag inte låta bli att kommentera det relativa måttet. Medianen påverkas inte på samma sätt som medelvärdet. Betrakta två hushåll som ligger precis över fattigdomsgränsen. Antag att deras inkomst höjs kraftigt, så att de går över medianen. Medianen kommer i så fall att höjas. Då kommer tröskelvärdet att höjas och det andra hushållet som har samma inkomst som förut kommer nu att "bli" fattiga. Fattigdomen ökade fast det som faktiskt hände var att den minskade.

Hälsningar

Magnus

Rättvisa jämförelser

Hej Statistikvänner,

Hur ska man göra rättvisa jämförelser mellan skolor? Det är rätt enkelt att bara räkna samman betyg eller resultat, och då borde väl en ”dålig” skola få dåliga resultat, eller?

Detta är inte alltid helt rätt. Lärare i min bekantskapskrets har påpekat att det handlar minst lika mycket om hurdana elever man har att utgå från. Så att jämföra betygen rakt av ger inte alltid rätt bild utan man måste standardisera data utifrån en normalpopulation. I de flesta fall saknas information om elevernas bakgrund, men man kan komma en bit på väg om man betraktar de olika gymnasieprogrammen.

Här kommer ett exempel: Stockholms tekniska gymnasium (STG) fick relativt dåliga resultat i jämförelse med nationen som helhet. Meritvärdet (som är ett sammanlagt mått på betyg i alla ämnen) låg på 14,8 för STG jämfört med 14,9 i riket som helhet. Det ser alltså ut som att STG ligger något under medel. Är detta en rättvis jämförelse?

En faktor som finns är att STG har ett ganska litet antal elever på endast tre program: EC, NV och TE. Speciellt EC är kraftigt överrepresenterat på STG. EC är dessutom ett program med generellt låga resultat. NV däremot har generellt goda resultat, men är underrepresenterat på STG.

Så här ser data ut:

Notera att STG har högre betyg på samtliga program jämfört med riket, men att de har större andel av EC-programmet, som har låga betyg även nationellt. Det rättvisa är att räkna ut ett s.k. standardiserat medelvärde. Detta är rätt enkelt: Istället för att använda STG:s fördelning mellan programmen, så utgår vi från samma fördelning som riket i stort. Vi räknar alltså om STG:s meritpoäng som om STG hade haft samma andel för programmen som riket totalt.

Om du gillar formler så kommer en här:

Sätter man in data får man STG:s standardiserade meritvärde blir 15,3, alltså högre än motsvarande nationella siffra. Slutsatsen som man måste dra ifrån detta är att STG:s elever är jämförelsevis bättre än motsvarande blandning av elever i Sverige totalt.

Hälsningar

Magnus

Tack till Åke Dahllöf på STG för data. Jämförande data har hämtats från Skolverkets hemsida.

Missa inte Hans Rosling

SVT sänder en dokumentär ikväll/eftermiddag från BBC som heter Hans Roslings statistik.

Hans Rosling har arbetat med att visualisera data om vär värld, utbildning, överlevnad, hälsa, fattigdom, ekonomi och en massa annat. Prestationen ligger i dels att han lyckats samla in dessa data - över en lång tidsrymd dessutom, dels att han skapat ett verktyg som gör det lätt att se och förstå för vem som helst.

Dokumentären lär säkert ligga på SVT Play också, men om du redan nu vill se exempel på hur man kan göra siffror både medryckande och fascinerande kan du kolla nedanstående länkar:

Rosling: Let my dataset change your mindset

/Magnus

Förvillande diagram

På besök i Stockholm kom jag över denna artikel i DN: http://www.dn.se/sthlm/vi-blir-tjockare--men-vi-lever-langre. Artikeln handlar om att Stockholmarnas BMI ökat under flera års tid, men även att skillnaderna inom Stockholms län är stor.

Artikeln illutreras med ett antal diagram och bilder. Notera speciellt de två nedan: Detta är exempel på dels s.k. piktogram och ett s.k. kartogram. Dessa ger både viktigt information på ett grafiskt spännande och smakfullt sätt, men kan också ge en del desinformation. Därför ska man vara försiktig då man ser sådana i tidningen.

Piktogrammet visar en stor mage samt ringar som illustrerar andelen överviktiga i olika områden. Om man tittar på siffrorna så ser man t.ex. att 20% av kvinnorna på Östermalm är överviktiga, jämfört med 43% av männen. Bägge dessa data illustreras med cirklar, och om man mäter dessa noga kommer man att se att männens cirkel är lite drygt dubbelt så stor som kvinnornas - Logiskt, men inte rätt!  

Problemet är att det är cirklarnas radier som är dubbelt så stora, elementär geometri ger att cirkelns yta därmed är 4 gånger så stor. Bilden föreställer inte en radie utan en cirkel. Men det är inte det enda problemet: Bakom cirklarna tronar en mage som i detta fall utgör en ”dekoration” utan något som helst informationsvärde. Men magen är en tredimensionell sak, så fullkomligt logiskt uppfattar många denna som en volym (även om den är tvådimensionell i tryck. Detta leder till att våra hjärnor automatiskt och ovetande omvandlar cirklarna till sfärer. Om radien är dubbelt så stor för en sfär så följer att volymen är 8 gånger så stor.

Bilden föreställer alltså en cirkel som leds till att uppfattas som en sfär, vilket får en dubbelt så stor radie att växa till 8 gångers skillnad.

Kartogram blir mer och mer populära att använda för statistiska ändamål. Varför ska man inte utnyttja ny teknik till att färglägga länder och kommuner? Det finns ett problem och det är att ytan inte säkert står i proportion till det man vill mäta. I figuren nedan illustreras hur fetmaproblemet är spritt över Stockholms läns kommuner.

Resultatet i DN:s artikel blir förödande då man tittar på kartan ovan. Kommuner med stor andel överviktiga har markerats med mörka färger, svart är värst följt av lila. Med denna karta framför ögonen ser det bokstavligt talat mörkt ut för Stockholms län!

Problemet är att ytan och befolkningsmängden inte står i proportion till varandra. Flera av de svarta kommunerna är också de glesast befolkade. De svartmarkerade kommunerna utgör 19% av befolkningen men hela 67% av ytan. Om 47% av Norrtäljes kommuninvåndare är överviktiga så motsvarar det 26000 individer, vilket är färre än de överviktiga i Huddinge, där andelen är c:a 45% och befolkningen är nästan dubbelt så stor.

Bilden föreställer alltså data som skenbart är proportionellt mot ytan, trots att den inte är det.

Ska man använda kartogram så bör man först se till att ytan svarar mot något som är relevant i texten. Man skulle t.ex. kunna justera Sveriges karta så att kommunernas ytor står i direkt proportion till befolkningen. Kartan blir väldigt konstig (se bild), men om man färglägger den så blir det i alla fall inte missvisande.

Den som vill läsa mer rekommenderas att leta rätt på klassikerna "How to lie with statistics" av Huff eller "Statistikens bilder" av Wallgren m.fl. 

Hälsningar

Magnus

Källor: Figurerna kommer från DN och Wikipedia.

Bagarmossen vs Stureplan

Hej igen,

Ibland bara måste man vara en trist glädjedödare... Jag fick följande länktips av en släkting.
http://www.bagisbloggen.se/2011/12/04/bagarmossen-mer-an-40-ganger-tryggare-an-stureplan/

Enligt denna statistik är det 40 gånger högre risk att befinna sig på Stureplan än i Bagarmossen. Eller rättare sagt: Det anmäls mer än 40 gånger fler brott på Stureplan än i Bagarmossen. Detta är ett paradexempel på problemet när man inte vet vad man jämför med. Frågan man måste ställa sig är hur många möjligheter till brott finns det på respektive plats. Eftersom det vistas fler människor på Stureplan, dessa är troligen oftare alkoholpåverkade och unga. Dessutom är det fler alkoholpåverkade och unga vid samma tidpunkt, vilket inte heller gör saken bättre...

Enligt samma typ av statistik som ovan så är det väldigt dumt att åka till sjukhus om man är sjuk. Det är nämligen väldigt vanligt att folk dör på sjukhus. I synnerhet på intensiven, thorax och akuten så vad du gör: Åk inte dit!

Det finns en liknande up-haussning av siffror som gäller trafiksäkerhet. Flygolyckor och även tåg/spårvagnsolyckor brukar leda till rubriker i tidningen. Det handlar om stora spektakulära händelser, där många skadas eller dödas under dramatiska former. Men antalet döda i biltrafiken är fortfarande större. Räknat per mil, per passagerare eller i absoluta tal. Faktum är att man utsätter sig för större risk i bilen TILL flygplatsen än på flygplanet, men trots detta är inte människor bilrädda.

Förmodligen upplevs kriminaliteten i Bagarmossen som obehagligare och "närmare" då den inträffar nära människors hem. De som åker in till Stureplan en fredag kväll är så att säga beredda på att det kan gå hett till och accepterar (eller kanske t.o.m. söker detta). Sedan när de promenerar hem i Bagarmossen, då vill man känna sig trygg.

Kriminalitet är inte enkelt att mäta. Jag ska återkomma till detta.

Hälsningar

Magnus

Vad kostade det förr i världen

Hej igen,

Jag råkade snubbla över en väldigt rolig site på internet (Alltså rolig för oss som gillar statistik): http://www.historia.se/ Här finns bl.a. en spännande tidsserie där man kan räkna om priser och belopp i "dagens penningvärde". De äldsta är "Mark", "Penningar" och "Örtug" från 1290.

Det är inte helt enkelt att räkna om priser till dagens penningvärde, så siten redovisar lite olika alternativ. Dels baserat på hur mycket silver eller guld man kunde köpa. Dels på ett ungefärligt konsumentprisindex (KPI) samt på hur mycket arbetskraft pengarna kunde räcka till. Beroende på hur man räknar får man lite olika resultat så man får ta det hela med ett par nypor salt.

Ett par intressanta exempel:

I Östgötalagen (1290) föreskrivs bl.a. följande:

Nu slår någon en annan med horn eller hjalt, med stång eller stör, brister hud och hull, det är fullt öppet sår. Det är sex marker; Tager fyra marker den såret fick, en mark konungen, en mark häradet.

Med andra ord så kostar misshandel 6 marker, 2 marker i böter och 4 i skadestånd. 1 mark svarar i 2009 års penningvärde mot 195 och 17010 kronor beroende på hur man räknar. Pengarna räckte till att köpa silver som idag kostat 195 kr eller guld för 968 kr. Men man kunde även leja arbetskraft för motsvarande 17010 kr idag. Oavsett hur man räknar hade den skadelidande inte fått mer än motsvarande 68000 kr i skadestånd.

Ett exempel till: Rösträtten i Sverige var tidigare kopplad till inkomst eller innehav av fastigheter. För att vara valbar till första kammaren 1866 fordrades en årsinkomst på 4000 riksdaler eller en fastighet med taxeringsvärde 80000 riksdaler.

Här blir skillnaderna lite större beroende på hur man räknar. Med Konsumentprisindex (KPI) motsvarar det en årsinkomst på 228 756 kr. Till detta ska läggas att skatterna var lägre, vilket gör att motsvarande bruttoinkomst var betydligt högre. Omräknat i "hantverkararvode" så blir det 5 370 000 kr, alltså motsvarande 8-10 man på heltid i ett år!

Om man inte har så hög lön (många levde fortfarande med naturahushållning )kanske man äger en fastighet i stället? 80000 rdr motsvarar mellan 4,5 och 10 miljoner i dagens penningvärde, så det handlar om en rätt rejäl fastighet i så fall!

Inkomstregeln avskaffas 1933, då det krävdes 3000 kr i inkomst eller en fastighet taxerad till 50000 kr. Detta motsvarar ungefär 87052 kr i inkomst respektive 1 450 866 kr i taxeringsvärde.

Effekten av detta var självklar. Vid 1908 saknade c:a 700000 män rösträtt, 100000 var "diskvalificerade" pga obetalda skatter o dyl, medan ungefär 500000 hade rösträtt. Regeln hindrade alltså 61% av männen att rösta.

1908 saknade dessutom kvinnor rösträtt, vilket innebär att c:a 80% av befolkningen saknade rösträtt. Kvinnlig rösträtt på lika villkor som män införs 1921, men troligen saknade de flesta kvinnor inkomst och fastigheter som gjorde dem valbara till Första Kammaren.

Jag avslutar med en kul bild på ämnet. Bilden visar hur viktigt det är med visualisering. Vi ser Elin Wägner (1882-1949) med en stapel som innehåller de 351 454 namnunderskrifterna för kvinnlig rösträtt som lämnades in 1914. Tydligare kan det inte sägas!

Ha det bra!

Magnus

Skillnaden mellan trafikinspektörer

I dagens metro kan man läsa att det är stor skillnad var en körkortsaspirant kör upp (Fler godkänns av "snäll" inspektör., Metro 16/11 2011). Rätt inspektör ökar chansen att få körkort.

Förutom detta visar det sig att det är stora skillnader mellan olika teststationer. I artikeln har man tagit med 7 teststationer och där undersökt de inspektörer som testat minst 300 aspiranter. Totalt godkändes 54,4%

De resultat som jämförs handlar om skillnaden mellan den "snällaste" och den "strängaste" samt stationens totala andel godkända. Den bästa stationen i undersökningen var Göteborg, Mölndal med 61,2% godkända. Medan den andra ytterligheten var Stockholm, Jakobsberg med 39,0%. Skillnaderna mellan de olika teststationerna är ganska stora, men kan förklaras av att de som kör upp helt enkelt är olika skickliga i olika områden.

Men, rimligen, borde de som kör upp på en och samma station vara jämnt fördelade mellan inspektörerna. Utan att ha tillgång till det exakta antalet testade per inspektör eller antalet inspektörer på respektive station kan man i alla fall genomföra ett enkelt test. Är skillnaden mellan den strängaste och snällaste inspektören signifikant?

Resultaten framgår av tabellen nedan. För er som inte är vana vid p-värden kan jag förklara det på följande sätt (betrakta Göteborg, Mölndal): Sannolikheten att det skulle vara en så stor skillnad mellan snällaste och strängaste som 9,3 procentenheter (66% respektive 56%) bara av en slump är 0,97%. Det är alltså en chans på 100 att denna skillnad uppkommit av en slump. Denna nivå brukar betraktas som signifikant.

Distrikt	Strängaste	Snällaste	Snitt	p
Malmö	33,1%	52,1%	41%	0,000001
Göteborg, Mölndal	56,3%	65,6%	61%	0,009709
Göteborg, Hisingen	36,0%	47,8%	40%	0,001614
Stockholm, Södertälje	29,8%	47,6%	40%	0,000004
Stockholm, Sollentuna	43,7%	52,3%	48%	0,017519
Stockholm, Jakobsberg	34,2%	44,4%	39%	0,005215
Stockholm, Farsta	34,9%	44,7%	41%	0,007242

Vi kan konstatera att skillnaderna mellan strängaste och snällaste är signifikant för samtliga distrikt.

• Nu kommer en liten reservation (för den mer statistiskt intresserade). Det kan vara så att det är väldigt många inspektörer på en ort. Detta gör skillnaden mindre signifikant. Å andra sidan har jag räknat som om alla testat 300 personer var, men de flesta har sannolikt testat fler, vilket gör skillnaderna mer signifikanta. 

Jag har kontaktat tidningen för att se om de har tillgång till kompletta data så att vi skulle kunna undersöka variationen noggrannt. Med lite tur kan jag återkomma om detta.

Hälsningar

Magnus