tisdag 19 november 2013

Kejsarens nya kläder

Hej Statistikvänner,

Behovet av undersökningar som ger snabba resultat på aktuella frågor bara växer och växer. Traditionellt har dessa genomförts via post, sedan telefon och numera internet. En populär variant som ökar i omfattning är de s.k. webb-panelerna.

En panel består av ett antal personer som deltar i flera undersökningar i t.ex. sex månader. Eftersom de är kända och visat intresse för att delta är det lätt att snabbt få svar. Om man dessutom genomför undersökningen via e-post eller webb så blir det dessutom enkelt och billigt.

Tyvärr blir det lätt fel…

Första problemet ligger i hur urvalet av de s.k. panelisterna - I den bästa av världar är dessa ett slumpmässigt urval. För att rekrytera ett sådant måste man i så fall göra ett slumpmässigt urval av befolkningen, kontakta dem på ett sätt som gör att svarsbortfallet blir acceptabelt lågt och rekrytera med en någotlunda jämn fördelning mellan alla grupper. Att detta är svårt inses lätt då man ser vilka som kan tänka sig att ingå i en panel och bli uppringde upprepade gånger för att svara på frågor.

Tyvärr rekryteras stora delar av panelerna av frivilliga, alltså personer som sökt sig till panelen för att få delta. Är dessa ett slumpmässigt urval av befolkningen – Absolut inte. De som lockas är antingen personer med överskott på tid, underskott på pengar eller extremt tyckmyckna personer.

Men kan man inte justera för detta? Om panelen består av ett överskott med sverigedemokrater, kvinnor i småstäder, äldre än 55 utan högskoleutbildning så kanske man kan lösa detta. Men då ska man komma ihåg att allt bygger på modellantaganden.

Om kvinnor är underrepresenterade (t.ex. 1 kvinna per 2 män) så skulle man enkelt kunna justera alla kvinnor med en faktor 2. Men vad säger att det inte orsakar nya problem, t.ex. som följd av att kvinnor har lägre inkomster i genomsnitt? Dessutom orsakar de uppjusterade kvinnorna en högre variation - Eftersom vi frågar färre, men multiplicerar upp dem, så kan enstaka lite mer ”extrema” svar få en hävstångseffekt. Sist men inte minst så kan denna justering bara ske mot hårda data, som kan sökas – exakt – i målpopulationen, t.ex. ålder, kön och bostadsort. Minsta lilla ”mjuka” data så är det kört. Inkomst går inte, partitillhörighet går inte, socialgrupp går inte.

Faktum är att jag tror att vissa grupper är helt orepresenterade och därför ”återskapas”.

Men framför allt är panelisternas åsikter ungefär lika representativa som rösterna på Idol 2013 eller som insändarsidan i en genomsnittlig lokaltidning. Trots detta så blåser man gärna upp resultaten som ”fakta”. Vad värre är: Denna falska information används som underlag för att styra samhällets utveckling och påverkar debatten kring hur vi ska leva och organisera vår gemensamma värld.


Som Fröding sa: Strunt är strunt och snus är snus, om ock i gyllne dosor.

1 kommentar:

  1. Mycket bra blogg men varför uppdaterar du inte oftare? :)

    SvaraRadera