onsdag 22 januari 2014

Facebook dör ut mellan 2015-17

Hej,

Facebook på väg att dö ut som en smittsam sjukdom! Få saker väcker ett intresse som en bra rubrik.

Inom statistiken använder man modeller, d.v.s. en förenklad bild av hur verkligheten fungerar. I modellen finns slumpmässiga förlopp, påverkan m.m. inlagda och sedan skattar man hur stora dessa är.

Inom epidemiologi – läran om smittsamma sjukdomars spridning – finns en enkel modell som delar in alla människor i tre faser: Mottaglig, Smittad, Resistent. Först kan man bli smittad av sjukdomen, sedan är man smittad och sprider smittan vidare till andra mottagliga och sedan blir man Resistent mot smitta. Till detta finns mängder av variationer. T.ex. kan resistent betyda att man avlidit.

På engelska kallas detta ”SIR”-modellen (Susceptible, Infected, Resistent).

Beroende på hur lätt det är att smitta andra och hur ofta detta sker och hur lång tid smittade har på sig att sprida sjukdomen vidare blir det olika förlopp. Rabies och hiv sprids ganska sakta eftersom smittotillfällena är få. Å andra sidan influensa sprids snabbt och kan explodera i pandemier för att sedan dö ut då stora delar av befolkningen utsatts för smittan och antingen blivit immuna eller dött.

Forskare vid Princeton University [1] har tillämpat samma modell på Facebook. Man kan betrakta en person utan Facebook-konto som ”Mottaglig för smitta”, en som anslutits som ”smittad”. Om man tillämpar denna modell kan man se hur snabbt farsoten sprider sig innan en pandemi mer eller mindre brutit ut. Men de har även beräknat att trenden vänder och denna vändning finns med i modellen.

Likt spanska sjukan och böldpesten kommer smittan att avklinga. Enligt forskarna har detta redan skett med MySpace som följde samma mönster för några år sedan. Facebook nådde sin topp 2012 och kommer att tappa 80% av sina användare mellan 2015 och 2017.

/Magnus

[1] J Cannarella and J A Specler (2014). Epidemiological modeling of online social network dynamics. http://arxiv.org/pdf/1401.4208v1.pdf

måndag 16 december 2013

Är tåget i tid?

Hej Statistikvänner,

För ett par år sedan tänkte jag skriva lite om tågförseningar. Nu har Riksrevisionen precis släppt en rapport över detta ämne och konstaterar den rapportering och styrning som förekommer. Ett av kapitlen i rapporten har den talande rubriken "Är punktlighetsstatistiken tillförlitlig och medborgarnära?". I sammanfattningen kan man läsa följande sågning:

"Svagheter i Trafikverkets statistikarbete gör dock att myndighetens uttalanden om punktlighetens förbättringar under senare år är osäkra. En anledning är att ... punktligheten inte har vägt in förekomsten av ... inställda tåg,... hur olika omständigheter... påverkar punktligheten. Det innebär enligt Riksrevisionen att det är svårt att från Trafikverkets redovisning av punktlighetsstatistik dra en slutsats om det har skett någon egentlig förbättring ..." [1]

Trafikverket räknar ett tåg som antingen "punktligt" eller försenat. Om tåget är mindre än en viss tid sent så räknas det som "i tid" och därefter "försent". Inga gradskillnader förekommer. Tidigare var ett tåg försenat efter 5 minuter, men denna gräns har ändrats till 15. Det betyder alltså att tidigare var ett tåg som var 4 minuter och 59 sekunder sent "i tid". Medan ett tåg som var 5 minuter och 0 sekunder sent var "försent". Samtidigt var ett tåg som var 2 timmar sent lika sent som ett på 5 minuter.

Detta kallas "dikotomisering". En kontinuerlig variabel ersätts med en som bara har två värden, "i tid" och "försent". Varje tågresenär vet att det inte är något magiskt som inträffar då sekundvisaren flyttar från 4.59 till 5.00. Graden av skada ökar med ökande försening, med vissa hopp inlagda då anslutningar, tandläkartider etc passeras. Det betyder att man tar bra information och gör om den till irrelevant information.

Men det är inte det enda felet...

Betraktar ett pendeltåg som startar i Alingsås och som efter 10 stopp slutar på Göteborg C. Med detta tåg finns 66 olika resandekombinationer. Men om tåget är försenat så räknas det som en försening (slutstationen). Man kan se det som att man drar ett streck på tavlan för ett sent tåg, men man glömmer 11 eller 65 beroende på hur man ska räkna.

Dessutom är det - sett ur resenärens perspektiv - intressant hur många som sitter på tåget. Ett i stort sett tomt tåg påverkar få människor, medan ett fullsatt tåg kanske gör 500-600 personer försenade till jobbet, dagis, tandläkaren eller vart man nu ska. Om ett fullsatt pendeltåg försenas 14 minuter (vilket inte är sent enligt definitionen) så skapar det en total försening på 150 timmar - Varje minut kostar 2 timmars tidsförlust.

Till detta kommer att inställda tåg räknas för sig. Men sätt ur passagerarnas perspektiv är en inställd avgång samma sak som en försening. Hur lång den är beror på frekvensen av avgångar. Under dagtid avgår ett kommande pendeltåg om 30 minuter, vilket betyder att ett inställt tåg är samma sak som en försening på 30 minuter gånger antalet passagerare.

Problemet med felaktiga mätetal är att de leder till felaktiga beslut.
  • Eftersom man inte värdesätter förseningar efter deras storlek finns ingen grund för att minimera den. Ett sent tåg är redan bortom räddning.
  • Eftersom man räknar tåg och inte passagerare spelar det ingen roll om tåget är fullsatt eller inte. Resenärernas perspektiv svarar inte mot Trafikverket. Punktligheten är sannolikt mycket lägre beräknat per passagerare.
  • Eftersom ett inställt tåg räknas för sig är det smartare att ställa in och sätta passagerare på nästa tåg som förhoppningsvis är i tid. Då är ingen mätbar skada skedd.
Här har vi en del av förklaringen till varför tågen är mer sena än vad de styrande tror...

Magnus

1.  Tågförseningar – orsaker, ansvar och åtgärder. Rir 2013:18.

tisdag 19 november 2013

Kejsarens nya kläder

Hej Statistikvänner,

Behovet av undersökningar som ger snabba resultat på aktuella frågor bara växer och växer. Traditionellt har dessa genomförts via post, sedan telefon och numera internet. En populär variant som ökar i omfattning är de s.k. webb-panelerna.

En panel består av ett antal personer som deltar i flera undersökningar i t.ex. sex månader. Eftersom de är kända och visat intresse för att delta är det lätt att snabbt få svar. Om man dessutom genomför undersökningen via e-post eller webb så blir det dessutom enkelt och billigt.

Tyvärr blir det lätt fel…

Första problemet ligger i hur urvalet av de s.k. panelisterna - I den bästa av världar är dessa ett slumpmässigt urval. För att rekrytera ett sådant måste man i så fall göra ett slumpmässigt urval av befolkningen, kontakta dem på ett sätt som gör att svarsbortfallet blir acceptabelt lågt och rekrytera med en någotlunda jämn fördelning mellan alla grupper. Att detta är svårt inses lätt då man ser vilka som kan tänka sig att ingå i en panel och bli uppringde upprepade gånger för att svara på frågor.

Tyvärr rekryteras stora delar av panelerna av frivilliga, alltså personer som sökt sig till panelen för att få delta. Är dessa ett slumpmässigt urval av befolkningen – Absolut inte. De som lockas är antingen personer med överskott på tid, underskott på pengar eller extremt tyckmyckna personer.

Men kan man inte justera för detta? Om panelen består av ett överskott med sverigedemokrater, kvinnor i småstäder, äldre än 55 utan högskoleutbildning så kanske man kan lösa detta. Men då ska man komma ihåg att allt bygger på modellantaganden.

Om kvinnor är underrepresenterade (t.ex. 1 kvinna per 2 män) så skulle man enkelt kunna justera alla kvinnor med en faktor 2. Men vad säger att det inte orsakar nya problem, t.ex. som följd av att kvinnor har lägre inkomster i genomsnitt? Dessutom orsakar de uppjusterade kvinnorna en högre variation - Eftersom vi frågar färre, men multiplicerar upp dem, så kan enstaka lite mer ”extrema” svar få en hävstångseffekt. Sist men inte minst så kan denna justering bara ske mot hårda data, som kan sökas – exakt – i målpopulationen, t.ex. ålder, kön och bostadsort. Minsta lilla ”mjuka” data så är det kört. Inkomst går inte, partitillhörighet går inte, socialgrupp går inte.

Faktum är att jag tror att vissa grupper är helt orepresenterade och därför ”återskapas”.

Men framför allt är panelisternas åsikter ungefär lika representativa som rösterna på Idol 2013 eller som insändarsidan i en genomsnittlig lokaltidning. Trots detta så blåser man gärna upp resultaten som ”fakta”. Vad värre är: Denna falska information används som underlag för att styra samhällets utveckling och påverkar debatten kring hur vi ska leva och organisera vår gemensamma värld.


Som Fröding sa: Strunt är strunt och snus är snus, om ock i gyllne dosor.

tisdag 12 mars 2013

Florence Nightingale (apropå kvinnodagen)

Ett par dagar försent... Men här är i alla fall ett inlägg om internationella kvinnodagen.

Jag fick ett mail från kampanjgruppen för Year of Statistics 2013 där man uppmanade till att uppmärksamma alla kvinnliga statistisker på kvinnodagen. En av de mer kända (men kanske inte som statistiker) är Florence Nightingale (1820-1910).

Bland de viktigaste upptäckter som Nigtingale presenterade handlar om förhållandet mellan hygien och sjuklighet. Vi vet idag att bakterier, virus och andra smittämnen sprids och hur detta går till, men i slutet av 1800-talet var detta helt okänt.

En tydlig illustration på detta är pajdiagrammet nedan. Pajdiagram var nyligen uppfunna, men Nightingale tog dem till en ännu högre nivå. Diagrammet sammanfattar med en obehaglig tydlighet krigets fasor. Även om man rekryterade soldater för det "ädla" målet att stupa på slagfältet så var det inte där de dog - De dog i sjuksängarna. Av infektioner. Av undernäring och av brist på hygien.


Förutom de fakta som diagrammet ovan visar är det ett vackert och funktionellt diagram. Idag kan man svänga ihop ett sådant på ett par minuter med lämplig programvara, men hur lång tid det tog att fixa detta på 1850-talet vågar jag inte gissa.

Nightingale presenterade flera resultat som på ett tydligt och klart sätt visade vikten av hygienska reformer inom sjukvården. Alltid med samma klara precision.

Hon var även den första kvinnan som valdes in i Royal Statistical Society, så nog förtjänar hon uppmärksamhet på internationella kvinnodagen under interntaionella statistikåret.

Hälsningar

Magnus

torsdag 10 januari 2013

Littlewoods lag


Hej Statistikvänner,

Wow! Jag fick en hand i poker med Spader Ess, Ruter 9, Spader 7, Klöver 5 och Hjärter 2!!!! Helt otroligt!

Så skulle du knappast säga om du får denna hand. Jag vågar till och med gissa att du är ganska säker på att du har fått denna eller en liknande hand om du spelat poker. Men tänk efter: Denna hand är LIKA sannolik (eller osannolik) som Royal Imperial Straight Flush (10 till Ess i Hjärter). Eftersom denna hand är unik – det finns bara 1.

Det finns exakt 2 598 960 möjliga pokerhänder så det är ganska otroligt att du hunnit spela alla. Saken är den att ALLA pokerhänder är lika sannolika, men de är olika värda. Handen på bilden är skräp, men lika sannolik som Royal Imperial Straight Flush. Det finns 4 Royal Straight Flush (en i varje färg), 40 Straight Flush. O.s.v. så det krävs ganska många givar innan dessa dyker upp.

Hur många par finns det? (Se längst ner för svar).

Det är samma sak med en lotto-rad som innehåller 3, 9, 17, 18, 26, 30, 32. Inget speciellt med den, till skillnad från raden 1, 2, 3, 4, 5, 6, 7, men även dessa rader är lika sannolika (1 på 6 724 520).

Det intressanta med denna lilla övning är att man bör fundera över annat som sker i tillvaron och som ser helt otroligt osannolika ut. Med tanke på alla små händelser som sker så är det ganska få saker som är unika. Den brittiske matematikern John Littlewood (1885-1977) satte siffror på detta och formulerade Littlewoods lag. Enligt denna kan en händelse betraktas som ett mirakel om det har en sannolikhet mindre än 1 på miljonen. Antag att vi är vakna och fult alerta 8 timmar per dag och att vi upplever en händelse per sekund. I så fall kommer vi att uppleva ett mirakel i månaden.

Om vi betänker alla små händelser som bara flimrar förbi som fullt normala så blir det ganska många som vi inte ser. Vi tänker inte på att det kör förbi en röd bil, eller att den kördes av en man i mustasch, samtidigt såg vi en kvinna med en hund (schäfer) o.s.v. Varje sådan händelse är lika unik som alla de märkliga – men vi lägger dem inte på minnet.

Värt att tänka på då vi sitter vid pokerbordet.

Jag återkommer med mer märkliga fakta om detta i nästa inlägg… Missa det inte…

Hälsningar

Magnus


=== 
PS. Antalet möjliga par i poker är 1 098 240, vilket ger en sannolikhet på 42% DS

fredag 23 november 2012

Big mac index

Hej Statistikvänner,

Hemma igen från vårt västra broderland Norge. Det finns mycket statistiskt att undersöka vad gäller Norge så jag hoppas återkomma till det fler gånger.

En sak som svenskar noterar i Norge är att det är ”så dyrt” där. För oss svenskar handlar det om att våra pengar inte räcker så långt som vi är vana vid. Vi reser hellre till andra länder, t.ex. Thailand där plånboken känns tjockare.

 Dyrhet kan analyseras från två aspekter: Dels relativt olika länder dels relativt det arbete som krävs för att kunna köpa varor och tjänster. Många nationalekonomer har lagt pannor i djupa veck för att reda ut vilka länder som är dyra respektive billigast, det handlar om ”Purchasing Power Parity” (PPP). Olika avancerade mätningar används, men ibland är det enklare än man tror…

The Economist brukar presentera en jämförelse på vad en Big Mac kostar i olika länder, omräknat till USD. En Big Mac består av en blandning av livsmedel, men även andra varor och tjänster som alla kostar pengar. Detta brukar i ekonomiska sammanhang kallas för en ”korg” av varor och tjänster. Om bröd är dyrt blir en Big Mac dyr. Om arbetskraft är billig så blir en Big Mac billigare.

I januari 2012 kostade en Big Mac 41 SEK i Sverige, vilket motsvarar USD 5,91. Detta placerar oss på fjärde plats efter Venezuela (USD 15,12), Schweiz (USD 6,81) och Norge (USD 6,79). Billigast är Ukraina, där en Big Mac kostar USD 2,11. Med detta som grund kan vi se att priser – generellt – i Norge är 15% högre. En reskassa på 100 SEK ”smälter” alltså ner till ett värde motsvarande 86,95 efter växling.

 Detta är naturligtvis en kraftig förenkling, men lustigt nog visar det sig dessa mått fungerar riktigt bra jämfört med mer avancerade. Ett av skälen till att det fungerar så bra är bl.a. att Big Mac är så standardiserad internationellt sett och består av en blandning av viktiga varor och tjänster som påverkar mycket av våra omkostnader.

Liknande jämförelser brukar blanda in stora och komplicerade beräkningar, undersökningar och framför allt val av vad som ska ingå i en varukorg. Flera gånger har sådana korgar haft stora brister. En sådan korg jämförde konsumentpriser mellan EU:s medlemsländer och kom fram till att Sverige var oerhört dyrt (bl.a. jämfört med Frankrike). Vid en analys av korgen visade det sig snabbt varför: I varukorgen ingick vatten köpt i en affär. Så gör man i många sydeuropeiska länder, där en dunk på 10 liter kan kosta runt 0,1 EUR per liter. Flaskvatten i Sverige kostar kanske 4 EUR för en liter, men å andra sidan kostar kranvatten runt 0,02 EUR per liter. Så det handlar om hur vi handlar.

 Det blir helt enkelt äpplen och päron.

onsdag 7 november 2012

Är bollen rund?

Hej Statistikvänner,

Så var årets allsvenska ut och vi säger STORT GRATTIS till Elfsborg!

Bollen är rund brukar det heta… Men hur rund är den egentligen? Alltså, hur mycket av resultaten i en fotbollsmatch kan förutsägas och hur mycket beror på slumpen? Klart är att det finns olika inslag av tur (eller flyt) i olika sporter. Vi vill gärna att det ska vara så att ett lag som är bättre också vinner oftare. Rent allmänt så är det så, men risken finns alltid för skrällar.

Kan detta analyseras statistiskt? Man kan i alla fall försöka… För att ta reda på lite mer om detta har jag analyserat herrallsvenskan 2012, efter omgång 29 och före omgång 30.

(Nu blir det lite teoretiskt: Vi antar att ett lag gör mål i en jämn och slumpmässig ström. De statistiker som läser detta förstår att jag menar en poissonprocess. Dessa används för köer, haverier, trasiga glödlampor m.m. som brukar inträffa i en slumpmässig följd av oberoende händelser. Just oberoendet är att lite svagt antagande i sammanhanget då man kan anta att det aktuella resultatet och tiden kvar att spela påverkar spelet, men vi utgår från detta denna gång.

Jag testade följande modell:

Antal mål = Snitt + Lagfaktor + Motståndarfaktor + Borta/Hemma + slump

Vi kan konstatera flera intressanta saker. Först ser man att Motståndaren inte har signifikant effekt. Om GAIS förväntas göra ett visst antal mål i en match så spelar det inte så stor roll vilka de möter. Detta skulle kunna tolkas på flera sätt, men en möjlighet är att träning och taktik fokuserar på anfall i första hand.

Däremot spelar det roll om man spelar hemma eller borta. Bortalaget förlorar 0,29 mål per match mot om de spelar hemma. Totalt sett görs 1,56 mål per hemma match mot 1 per bortamatch. Detta kan man naturligtvis spekulera i orsakerna till. Om man bara analyserar derbyn (AIK, Djurgården, GAIS, Häcken och IFK Göteborg) så är skillnaden den omvända, 0,875 till hemmalaget mot 1,0 till bortalaget. Skillnaden är dock för liten för att dra några slutsatser.

Målfarliga lag tenderar, som väntat, att hamna högt i Allsvenskan. Målfarligast är Häcken följt av Helsingborg (2 och 6 i Allsvenskan). Elfsborg hamnade på 6:e plats och gjorde alltså mål i ”rätt” matcher…

Om man förenklar analysen lite kan man även räknar ut förklaringsgraden, d.v.s. hur mycket som förklaras av slumpen respektive modellen. Det visar sig att mellan 20 och 25% av resultatet kan förklaras av denna enkla modell, men det är alltså nästan 80% av resultatet som beror på slumpen. Genom att använda modellen kunde jag tippa rätt 6 gången av 8.

Charmen med sport är såklart att resultatet inte ska vara helt klart på förhand. Det blir liksom inte roligare då man räknar sönder det hela. Eftersom så stor del av resultatet beror på annat än min modell bör man vara försiktig om man försöker bli rik… Jag satsade 1-0 eller 2-0 i matchen Örebro-GAIS, vilket var en rimlig gissning, men det gick som det gick. Matchen slutade med vinst till Örebro, men med 4-0.

Så: Bollen är rund - till 80%.

/Magnus