Rättvisa jämförelser

Hej Statistikvänner,

Hur ska man göra rättvisa jämförelser mellan skolor? Det är rätt enkelt att bara räkna samman betyg eller resultat, och då borde väl en ”dålig” skola få dåliga resultat, eller?

Detta är inte alltid helt rätt. Lärare i min bekantskapskrets har påpekat att det handlar minst lika mycket om hurdana elever man har att utgå från. Så att jämföra betygen rakt av ger inte alltid rätt bild utan man måste standardisera data utifrån en normalpopulation. I de flesta fall saknas information om elevernas bakgrund, men man kan komma en bit på väg om man betraktar de olika gymnasieprogrammen.

Här kommer ett exempel: Stockholms tekniska gymnasium (STG) fick relativt dåliga resultat i jämförelse med nationen som helhet. Meritvärdet (som är ett sammanlagt mått på betyg i alla ämnen) låg på 14,8 för STG jämfört med 14,9 i riket som helhet. Det ser alltså ut som att STG ligger något under medel. Är detta en rättvis jämförelse?

En faktor som finns är att STG har ett ganska litet antal elever på endast tre program: EC, NV och TE. Speciellt EC är kraftigt överrepresenterat på STG. EC är dessutom ett program med generellt låga resultat. NV däremot har generellt goda resultat, men är underrepresenterat på STG.

Så här ser data ut:

Notera att STG har högre betyg på samtliga program jämfört med riket, men att de har större andel av EC-programmet, som har låga betyg även nationellt. Det rättvisa är att räkna ut ett s.k. standardiserat medelvärde. Detta är rätt enkelt: Istället för att använda STG:s fördelning mellan programmen, så utgår vi från samma fördelning som riket i stort. Vi räknar alltså om STG:s meritpoäng som om STG hade haft samma andel för programmen som riket totalt.

Om du gillar formler så kommer en här:

Sätter man in data får man STG:s standardiserade meritvärde blir 15,3, alltså högre än motsvarande nationella siffra. Slutsatsen som man måste dra ifrån detta är att STG:s elever är jämförelsevis bättre än motsvarande blandning av elever i Sverige totalt.

Hälsningar

Magnus

Tack till Åke Dahllöf på STG för data. Jämförande data har hämtats från Skolverkets hemsida.

Missa inte Hans Rosling

SVT sänder en dokumentär ikväll/eftermiddag från BBC som heter Hans Roslings statistik.

Hans Rosling har arbetat med att visualisera data om vär värld, utbildning, överlevnad, hälsa, fattigdom, ekonomi och en massa annat. Prestationen ligger i dels att han lyckats samla in dessa data - över en lång tidsrymd dessutom, dels att han skapat ett verktyg som gör det lätt att se och förstå för vem som helst.

Dokumentären lär säkert ligga på SVT Play också, men om du redan nu vill se exempel på hur man kan göra siffror både medryckande och fascinerande kan du kolla nedanstående länkar:

Rosling: Let my dataset change your mindset

/Magnus

Förvillande diagram

På besök i Stockholm kom jag över denna artikel i DN: http://www.dn.se/sthlm/vi-blir-tjockare--men-vi-lever-langre. Artikeln handlar om att Stockholmarnas BMI ökat under flera års tid, men även att skillnaderna inom Stockholms län är stor.

Artikeln illutreras med ett antal diagram och bilder. Notera speciellt de två nedan: Detta är exempel på dels s.k. piktogram och ett s.k. kartogram. Dessa ger både viktigt information på ett grafiskt spännande och smakfullt sätt, men kan också ge en del desinformation. Därför ska man vara försiktig då man ser sådana i tidningen.

Piktogrammet visar en stor mage samt ringar som illustrerar andelen överviktiga i olika områden. Om man tittar på siffrorna så ser man t.ex. att 20% av kvinnorna på Östermalm är överviktiga, jämfört med 43% av männen. Bägge dessa data illustreras med cirklar, och om man mäter dessa noga kommer man att se att männens cirkel är lite drygt dubbelt så stor som kvinnornas - Logiskt, men inte rätt!  

Problemet är att det är cirklarnas radier som är dubbelt så stora, elementär geometri ger att cirkelns yta därmed är 4 gånger så stor. Bilden föreställer inte en radie utan en cirkel. Men det är inte det enda problemet: Bakom cirklarna tronar en mage som i detta fall utgör en ”dekoration” utan något som helst informationsvärde. Men magen är en tredimensionell sak, så fullkomligt logiskt uppfattar många denna som en volym (även om den är tvådimensionell i tryck. Detta leder till att våra hjärnor automatiskt och ovetande omvandlar cirklarna till sfärer. Om radien är dubbelt så stor för en sfär så följer att volymen är 8 gånger så stor.

Bilden föreställer alltså en cirkel som leds till att uppfattas som en sfär, vilket får en dubbelt så stor radie att växa till 8 gångers skillnad.

Kartogram blir mer och mer populära att använda för statistiska ändamål. Varför ska man inte utnyttja ny teknik till att färglägga länder och kommuner? Det finns ett problem och det är att ytan inte säkert står i proportion till det man vill mäta. I figuren nedan illustreras hur fetmaproblemet är spritt över Stockholms läns kommuner.

Resultatet i DN:s artikel blir förödande då man tittar på kartan ovan. Kommuner med stor andel överviktiga har markerats med mörka färger, svart är värst följt av lila. Med denna karta framför ögonen ser det bokstavligt talat mörkt ut för Stockholms län!

Problemet är att ytan och befolkningsmängden inte står i proportion till varandra. Flera av de svarta kommunerna är också de glesast befolkade. De svartmarkerade kommunerna utgör 19% av befolkningen men hela 67% av ytan. Om 47% av Norrtäljes kommuninvåndare är överviktiga så motsvarar det 26000 individer, vilket är färre än de överviktiga i Huddinge, där andelen är c:a 45% och befolkningen är nästan dubbelt så stor.

Bilden föreställer alltså data som skenbart är proportionellt mot ytan, trots att den inte är det.

Ska man använda kartogram så bör man först se till att ytan svarar mot något som är relevant i texten. Man skulle t.ex. kunna justera Sveriges karta så att kommunernas ytor står i direkt proportion till befolkningen. Kartan blir väldigt konstig (se bild), men om man färglägger den så blir det i alla fall inte missvisande.

Den som vill läsa mer rekommenderas att leta rätt på klassikerna "How to lie with statistics" av Huff eller "Statistikens bilder" av Wallgren m.fl. 

Hälsningar

Magnus

Källor: Figurerna kommer från DN och Wikipedia.

Bagarmossen vs Stureplan

Hej igen,

Ibland bara måste man vara en trist glädjedödare... Jag fick följande länktips av en släkting.
http://www.bagisbloggen.se/2011/12/04/bagarmossen-mer-an-40-ganger-tryggare-an-stureplan/

Enligt denna statistik är det 40 gånger högre risk att befinna sig på Stureplan än i Bagarmossen. Eller rättare sagt: Det anmäls mer än 40 gånger fler brott på Stureplan än i Bagarmossen. Detta är ett paradexempel på problemet när man inte vet vad man jämför med. Frågan man måste ställa sig är hur många möjligheter till brott finns det på respektive plats. Eftersom det vistas fler människor på Stureplan, dessa är troligen oftare alkoholpåverkade och unga. Dessutom är det fler alkoholpåverkade och unga vid samma tidpunkt, vilket inte heller gör saken bättre...

Enligt samma typ av statistik som ovan så är det väldigt dumt att åka till sjukhus om man är sjuk. Det är nämligen väldigt vanligt att folk dör på sjukhus. I synnerhet på intensiven, thorax och akuten så vad du gör: Åk inte dit!

Det finns en liknande up-haussning av siffror som gäller trafiksäkerhet. Flygolyckor och även tåg/spårvagnsolyckor brukar leda till rubriker i tidningen. Det handlar om stora spektakulära händelser, där många skadas eller dödas under dramatiska former. Men antalet döda i biltrafiken är fortfarande större. Räknat per mil, per passagerare eller i absoluta tal. Faktum är att man utsätter sig för större risk i bilen TILL flygplatsen än på flygplanet, men trots detta är inte människor bilrädda.

Förmodligen upplevs kriminaliteten i Bagarmossen som obehagligare och "närmare" då den inträffar nära människors hem. De som åker in till Stureplan en fredag kväll är så att säga beredda på att det kan gå hett till och accepterar (eller kanske t.o.m. söker detta). Sedan när de promenerar hem i Bagarmossen, då vill man känna sig trygg.

Kriminalitet är inte enkelt att mäta. Jag ska återkomma till detta.

Hälsningar

Magnus

Vad kostade det förr i världen

Hej igen,

Jag råkade snubbla över en väldigt rolig site på internet (Alltså rolig för oss som gillar statistik): http://www.historia.se/ Här finns bl.a. en spännande tidsserie där man kan räkna om priser och belopp i "dagens penningvärde". De äldsta är "Mark", "Penningar" och "Örtug" från 1290.

Det är inte helt enkelt att räkna om priser till dagens penningvärde, så siten redovisar lite olika alternativ. Dels baserat på hur mycket silver eller guld man kunde köpa. Dels på ett ungefärligt konsumentprisindex (KPI) samt på hur mycket arbetskraft pengarna kunde räcka till. Beroende på hur man räknar får man lite olika resultat så man får ta det hela med ett par nypor salt.

Ett par intressanta exempel:

I Östgötalagen (1290) föreskrivs bl.a. följande:

Nu slår någon en annan med horn eller hjalt, med stång eller stör, brister hud och hull, det är fullt öppet sår. Det är sex marker; Tager fyra marker den såret fick, en mark konungen, en mark häradet.

Med andra ord så kostar misshandel 6 marker, 2 marker i böter och 4 i skadestånd. 1 mark svarar i 2009 års penningvärde mot 195 och 17010 kronor beroende på hur man räknar. Pengarna räckte till att köpa silver som idag kostat 195 kr eller guld för 968 kr. Men man kunde även leja arbetskraft för motsvarande 17010 kr idag. Oavsett hur man räknar hade den skadelidande inte fått mer än motsvarande 68000 kr i skadestånd.

Ett exempel till: Rösträtten i Sverige var tidigare kopplad till inkomst eller innehav av fastigheter. För att vara valbar till första kammaren 1866 fordrades en årsinkomst på 4000 riksdaler eller en fastighet med taxeringsvärde 80000 riksdaler.

Här blir skillnaderna lite större beroende på hur man räknar. Med Konsumentprisindex (KPI) motsvarar det en årsinkomst på 228 756 kr. Till detta ska läggas att skatterna var lägre, vilket gör att motsvarande bruttoinkomst var betydligt högre. Omräknat i "hantverkararvode" så blir det 5 370 000 kr, alltså motsvarande 8-10 man på heltid i ett år!

Om man inte har så hög lön (många levde fortfarande med naturahushållning )kanske man äger en fastighet i stället? 80000 rdr motsvarar mellan 4,5 och 10 miljoner i dagens penningvärde, så det handlar om en rätt rejäl fastighet i så fall!

Inkomstregeln avskaffas 1933, då det krävdes 3000 kr i inkomst eller en fastighet taxerad till 50000 kr. Detta motsvarar ungefär 87052 kr i inkomst respektive 1 450 866 kr i taxeringsvärde.

Effekten av detta var självklar. Vid 1908 saknade c:a 700000 män rösträtt, 100000 var "diskvalificerade" pga obetalda skatter o dyl, medan ungefär 500000 hade rösträtt. Regeln hindrade alltså 61% av männen att rösta.

1908 saknade dessutom kvinnor rösträtt, vilket innebär att c:a 80% av befolkningen saknade rösträtt. Kvinnlig rösträtt på lika villkor som män införs 1921, men troligen saknade de flesta kvinnor inkomst och fastigheter som gjorde dem valbara till Första Kammaren.

Jag avslutar med en kul bild på ämnet. Bilden visar hur viktigt det är med visualisering. Vi ser Elin Wägner (1882-1949) med en stapel som innehåller de 351 454 namnunderskrifterna för kvinnlig rösträtt som lämnades in 1914. Tydligare kan det inte sägas!

Ha det bra!

Magnus

Skillnaden mellan trafikinspektörer

I dagens metro kan man läsa att det är stor skillnad var en körkortsaspirant kör upp (Fler godkänns av "snäll" inspektör., Metro 16/11 2011). Rätt inspektör ökar chansen att få körkort.

Förutom detta visar det sig att det är stora skillnader mellan olika teststationer. I artikeln har man tagit med 7 teststationer och där undersökt de inspektörer som testat minst 300 aspiranter. Totalt godkändes 54,4%

De resultat som jämförs handlar om skillnaden mellan den "snällaste" och den "strängaste" samt stationens totala andel godkända. Den bästa stationen i undersökningen var Göteborg, Mölndal med 61,2% godkända. Medan den andra ytterligheten var Stockholm, Jakobsberg med 39,0%. Skillnaderna mellan de olika teststationerna är ganska stora, men kan förklaras av att de som kör upp helt enkelt är olika skickliga i olika områden.

Men, rimligen, borde de som kör upp på en och samma station vara jämnt fördelade mellan inspektörerna. Utan att ha tillgång till det exakta antalet testade per inspektör eller antalet inspektörer på respektive station kan man i alla fall genomföra ett enkelt test. Är skillnaden mellan den strängaste och snällaste inspektören signifikant?

Resultaten framgår av tabellen nedan. För er som inte är vana vid p-värden kan jag förklara det på följande sätt (betrakta Göteborg, Mölndal): Sannolikheten att det skulle vara en så stor skillnad mellan snällaste och strängaste som 9,3 procentenheter (66% respektive 56%) bara av en slump är 0,97%. Det är alltså en chans på 100 att denna skillnad uppkommit av en slump. Denna nivå brukar betraktas som signifikant.

Distrikt	Strängaste	Snällaste	Snitt	p
Malmö	33,1%	52,1%	41%	0,000001
Göteborg, Mölndal	56,3%	65,6%	61%	0,009709
Göteborg, Hisingen	36,0%	47,8%	40%	0,001614
Stockholm, Södertälje	29,8%	47,6%	40%	0,000004
Stockholm, Sollentuna	43,7%	52,3%	48%	0,017519
Stockholm, Jakobsberg	34,2%	44,4%	39%	0,005215
Stockholm, Farsta	34,9%	44,7%	41%	0,007242

Vi kan konstatera att skillnaderna mellan strängaste och snällaste är signifikant för samtliga distrikt.

• Nu kommer en liten reservation (för den mer statistiskt intresserade). Det kan vara så att det är väldigt många inspektörer på en ort. Detta gör skillnaden mindre signifikant. Å andra sidan har jag räknat som om alla testat 300 personer var, men de flesta har sannolikt testat fler, vilket gör skillnaderna mer signifikanta. 

Jag har kontaktat tidningen för att se om de har tillgång till kompletta data så att vi skulle kunna undersöka variationen noggrannt. Med lite tur kan jag återkomma om detta.

Hälsningar

Magnus

Vem svarar på dessa undersökningar?

Hej statistikvänner!

Borde lärare ha högre lön? En fråga som påverkar många (inte bara vi som är gifta med lärare) utan alla med barn, skattebetalare och sist men inte minst alla barn. Enligt en undersökning publicerad på Lerums Tidnings hemsida (www.lerumstidning.com) stöder 46,2% den tanken. Endast 29,5% anser att lärare inte bör ha högre lön.

Skolan börjar på måndag. Borde lärare ha högre lön? v. 35 - 2011
Ja
	(177)
Nej
	(113)
I vissa fall
	(93)
Antal röster: 383

Konfidensintervallet blir ganska brett: 46,2% +/- 5,0% vilket ju inte så imponerande…

Men det är inte här det stora problemet ligger. Om man ska bestämma hur lärarnas lönepolicy ska se ut så behöver man tydliga fakta. Man behöver veta korrekt vad skattebetalare och föräldrar egentligen tycker.

Undersökningen baseras på att den som vill kryssar i ett svar på Lerums tidnings nätsida. Detta betyder att resultatet är ett s.k. självurval. Första kriteriet för att få vara med och bestämma lärarnas framtida löner är att man läser Lerums tidning, och inte bara det – Lerums tidnings nätupplaga. Vilka gör detta?

Sedan ska du ha ett incitament att svara. Vi kan anta att den som gitter svara antingen är väldigt sysslolös eller är direkt berörd. Lärare och föräldrar kan man anta svarar oftare än andra. Man kan också anta att en och annan ”hederlig skattebetalare” som retar sig över höga lärarlöner svarar. Men den stora massan lär inte bekymra sig om frågan. Av Lerums kommuns 38680 invånare svarar 383, d.v.s. 0,99% Skulle de svarat, nej, ja eller kanske bara ”spelar ingen roll”? Ingen vet!

Det kanske kan tyckas harmlöst. Speciellt som de andra förekommande frågor är:

·         Åt vilket håll står du oftast i duschen (124 män står vända mot väggen!),

·         När gjordes den bästa musiken (15% svarade 80-talet) eller

·         Vilket är det bästa husdjuret (Dammråttor kom 3:a).

Men det är inte helt harmlöst. Behovet av snabb information om opinioner och åsikter ökar och opinionsundersökningar kan vara ett sätt att stärka demokratin. Men risken finns också att dåliga undersökningar förvandlas från underhållning till fakta. Det är ett välkänt faktum att en lögn som sägs tillräckligt ofta blir en sanning.

En liknande utveckling kan man se med kund- och medarbetarundersökningar och liknande som genomförs så illa att den ”information” som skapas saknar värde eller i värsta fall pekar åt fel håll.

Vi översvämmas av dåliga undersökningar och deras resultat. Jag uppmanar alla att kontrollera om en undersökning är seriöst gjord och om resultaten kommer att tolkas på rätt sätt innan man sätter ett kryss i ”Ja”, ”Nej” eller ”Vet ej”. Det finns ingen anledning att underblåsa mer desinformation.

Statistiska hälsningar

Magnus

Disclaimer: Mitt syfte med detta inlägg är INTE att misskreditera Lerums Tidning. Undersökningen är bara ett exempel där LT inte hör till de värsta syndarna!