Hej Statistikvänner
den 20 augusti presenterade Metro en undersökning gjord av
YouGov som visade att Sverigedemokraterna nu är Sveriges största parti [1].
Undersökningen baseras på 1527 intervjuer, vilket är en ganska stor
undersökning och det förefaller därför som resultaten är relevanta och
korrekta.
Problemet med YouGov (och några av deras konkurrenter) är att de
baserar undersökningen på s.k. självrekryterande paneler. En panel är en grupp
med respondenter som under en begränsad tidsperiod för vara med i flera
undersökningar. Självrekryterande innebär att vem som helst kan ansöka om att
få vara med – men initiativet kommer från respondenten.
Genom att bygga undersökningen kring människor som valt att
delta kommer alla normala möjligheter till statistisk slutledning att sättas ur
spel. Vilka lockas att delta i panelen? Ett slumpmässigt urval bygger på att
alla personer har en känd (oftast lika) sannolikhet att bli utvalda. På så sätt
skapar man ett representativt urval där resultaten kan tolkas för hela
populationen. Den som analyserar resultaten vet vad en respondent är värd och
vad denne representerar. Väljer jag ett tillräckligt stort urval kommer jag även
att få med alla sorter av folk, rika/fattiga, män/kvinnor, invandrare/infödda,
sverigedemokrater/sossar, frimärkssamlare/joggare,
lärare/byggjobbare/arbetslösa o.s.v.
De som ingår i den självrekryterade panelen kan vara precis
vad som helst. En del är med av ett genuint intresse för att föra fram sin
åsikt, men även detta är en egenskap som inte är jämnt fördelad. Jag tror att
tyckmyckna människor kommer att vara överrepresenterade i panelerna. Det kommer
även att finnas ett överskott av personer med mer tid och personer som är lätta
att locka med belöningar. Eller personer som helt enkelt är professionella
tyckare och som deltar bara för belöningens skull… Problemet är att vi inte vet
hur det förhåller sig, men det är ganska enkelt att inse att panelen inte är
representativ.
YouGov:s metod bygger på att man väljer personer på ”rätt”
sätt ur sin panel (som alltså inte är representativ) och att de som svarar får
olika vikt för att resultaten totalt sett ska bli rätt. Om det är få
gymnasielärare i panelen kommer de som är med att väljas oftare. Om det är få
gymnasielärare som svarar så får de högre vikt för att representationen ska bli
rätt. Detta betyder samtidigt att grupper som är svåra att rekrytera kommer att
få märkliga egenskaper eftersom det är ett litet antal personer i dessa grupper
som får väldigt många och starka röster. Ingår du däremot i en smal men
lättrekryterad grupp så blir det mindre viktning. Ingen utanför YouGov vet hur
denna viktning går till eftersom det är en affärshemlighet. Därför kan vi inte
granska det rimliga eller orimliga i de egenskaper som den har.
YouGov påstår [2] att metoden är tillförlitlig, men det är
ganska talande att det är ”VD” och ”Sales manager” som uttalar sig och inte deras
statistiker (om de har någon anställd framgår inte). YouGov hävdar följande
argument för att deras metod är tillförlitlig:
·
Det är svårare att få folk att svara i
traditionella undersökningar…
·
… speciellt om man inte får belöningar
·
Kvoturval är en modern metod
·
Det är lättare att svara tack vare modern teknik
·
Urvalet justeras efter svarsbenägenhet
·
Resultatet justeras efter vilka som faktiskt
svarat
·
Justeringen sker mot fler variabler än kön,
ålder och ort
Att metoden är ”modern” och att det är lättare att delta i
undersökningen tack vare modern teknik är nonsensargument i detta sammanhang.
Metoden med självrekryterande paneler påstås lösa
bortfallsproblemet, men det är inte sant. I urvalet bör det ingå en
representativ sammansättning av populationen, men YouGov har en
icke-representativ grupp på 60000 personer i panelen. Redan här uppstår ett ”bortfall”
av alla de personer som inte ens gitter ansöka om medlemskap. Av de som sedan
ingår i en specifik undersökning är det inte heller 100% svarsfrekvens. I den
aktuella undersökningen svarade 1527 personer, men det framgår inte hur många
som tillfrågades – i värsta fall är det alla 60000. Bortfallsproblemet är
således inte löst - det är bara maskerat!
Självrekryteringen innebär även att det finns en risk att
personer som inte ska ingå i populationen deltar. Vi vet inte om YouGov har
rensat bort minderåriga och utländska medborgare från panelen. Vi vet inte
heller hur många som dubbel-, trippel eller multipelregistrerat sig för att
casha hem lite fler belöningar. Tyvärr får man inte bättre resultat för att
samma personer deltar fler gånger.
Förhållandet mellan belöningar och svarsfrekvens har
studerats i vissa fall. De belöningar som delas ut i normalfallet är ganska
modesta och inte något som man blir direkt rik på men de snedvrider ändå
resultaten - även de som svarar seriöst kommer att snedvridas. Det är enkelt
att föreställa sig skillnaden mellan de människor som gärna deltar i paneler
(för att de har tid och faller för belöningen) mot de som trots belöningarna
inte ser det mödan värt. Marika Wenemark på Linköpings universitet [3] har i
sin forskning konstaterat att förtroendet för undersökningen – och därmed
motivationen att svara –kan sjunka om man delar ut belöningar. Så belöningen i
sig förbättrar inte kvaliteten.
Även om traditionella OSU har svåra problem med bortfall så
hjälper det inte att ersätta dem med en sämre metod. Det blir inte mer rätt för
att man frågar 1527 skevt utvalda personer.
/Magnus
[1] http://www.metro.se/nyheter/yougov-nu-ar-sd-sveriges-storsta-parti/EVHohs!MfmMZjCjQQzJs/
[2] https://yougov.se/news/2015/08/21/om-onlinepaneler-och-tillforlitligheten/
