Hej Statistikvänner,
Behovet av undersökningar som ger snabba resultat på
aktuella frågor bara växer och växer. Traditionellt har dessa genomförts via
post, sedan telefon och numera internet. En populär variant som ökar i
omfattning är de s.k. webb-panelerna.
En panel består av ett antal personer som deltar i flera
undersökningar i t.ex. sex månader. Eftersom de är kända och visat intresse för
att delta är det lätt att snabbt få svar. Om man dessutom genomför
undersökningen via e-post eller webb så blir det dessutom enkelt och billigt.
Tyvärr blir det lätt fel…
Första problemet ligger i hur urvalet av de s.k. panelisterna
- I den bästa av världar är dessa ett slumpmässigt urval. För att rekrytera ett
sådant måste man i så fall göra ett slumpmässigt urval av befolkningen,
kontakta dem på ett sätt som gör att svarsbortfallet blir acceptabelt lågt och
rekrytera med en någotlunda jämn fördelning mellan alla grupper. Att detta är
svårt inses lätt då man ser vilka som kan tänka sig att ingå i en panel och bli
uppringde upprepade gånger för att svara på frågor.
Tyvärr rekryteras stora delar av panelerna av frivilliga,
alltså personer som sökt sig till panelen för att få delta. Är dessa ett
slumpmässigt urval av befolkningen – Absolut inte. De som lockas är antingen
personer med överskott på tid, underskott på pengar eller extremt tyckmyckna
personer.
Men kan man inte justera för detta? Om panelen består av ett
överskott med sverigedemokrater, kvinnor i småstäder, äldre än 55 utan
högskoleutbildning så kanske man kan lösa detta. Men då ska man komma ihåg att
allt bygger på modellantaganden.
Om kvinnor är underrepresenterade (t.ex. 1 kvinna per 2 män)
så skulle man enkelt kunna justera alla kvinnor med en faktor 2. Men vad säger
att det inte orsakar nya problem, t.ex. som följd av att kvinnor har lägre
inkomster i genomsnitt? Dessutom orsakar de uppjusterade kvinnorna en högre
variation - Eftersom vi frågar färre, men multiplicerar upp dem, så kan enstaka
lite mer ”extrema” svar få en hävstångseffekt. Sist men inte minst så kan denna
justering bara ske mot hårda data, som kan sökas – exakt – i målpopulationen,
t.ex. ålder, kön och bostadsort. Minsta lilla ”mjuka” data så är det kört.
Inkomst går inte, partitillhörighet går inte, socialgrupp går inte.
Faktum är att jag tror att vissa grupper är helt
orepresenterade och därför ”återskapas”.
Men framför allt är panelisternas åsikter ungefär lika
representativa som rösterna på Idol 2013 eller som insändarsidan i en
genomsnittlig lokaltidning. Trots detta så blåser man gärna upp resultaten som ”fakta”.
Vad värre är: Denna falska information används som underlag för att styra
samhällets utveckling och påverkar debatten kring hur vi ska leva och
organisera vår gemensamma värld.
Som Fröding sa: Strunt är strunt och snus är snus, om ock i
gyllne dosor.
