Det blir inte mer rätt med 1527 panelister...

Hej Statistikvänner

den 20 augusti presenterade Metro en undersökning gjord av YouGov som visade att Sverigedemokraterna nu är Sveriges största parti [1]. Undersökningen baseras på 1527 intervjuer, vilket är en ganska stor undersökning och det förefaller därför som resultaten är relevanta och korrekta. 

Problemet med YouGov (och några av deras konkurrenter) är att de baserar undersökningen på s.k. självrekryterande paneler. En panel är en grupp med respondenter som under en begränsad tidsperiod för vara med i flera undersökningar. Självrekryterande innebär att vem som helst kan ansöka om att få vara med – men initiativet kommer från respondenten.

Genom att bygga undersökningen kring människor som valt att delta kommer alla normala möjligheter till statistisk slutledning att sättas ur spel. Vilka lockas att delta i panelen? Ett slumpmässigt urval bygger på att alla personer har en känd (oftast lika) sannolikhet att bli utvalda. På så sätt skapar man ett representativt urval där resultaten kan tolkas för hela populationen. Den som analyserar resultaten vet vad en respondent är värd och vad denne representerar. Väljer jag ett tillräckligt stort urval kommer jag även att få med alla sorter av folk, rika/fattiga, män/kvinnor, invandrare/infödda, sverigedemokrater/sossar, frimärkssamlare/joggare, lärare/byggjobbare/arbetslösa o.s.v.

De som ingår i den självrekryterade panelen kan vara precis vad som helst. En del är med av ett genuint intresse för att föra fram sin åsikt, men även detta är en egenskap som inte är jämnt fördelad. Jag tror att tyckmyckna människor kommer att vara överrepresenterade i panelerna. Det kommer även att finnas ett överskott av personer med mer tid och personer som är lätta att locka med belöningar. Eller personer som helt enkelt är professionella tyckare och som deltar bara för belöningens skull… Problemet är att vi inte vet hur det förhåller sig, men det är ganska enkelt att inse att panelen inte är representativ.

YouGov:s metod bygger på att man väljer personer på ”rätt” sätt ur sin panel (som alltså inte är representativ) och att de som svarar får olika vikt för att resultaten totalt sett ska bli rätt. Om det är få gymnasielärare i panelen kommer de som är med att väljas oftare. Om det är få gymnasielärare som svarar så får de högre vikt för att representationen ska bli rätt. Detta betyder samtidigt att grupper som är svåra att rekrytera kommer att få märkliga egenskaper eftersom det är ett litet antal personer i dessa grupper som får väldigt många och starka röster. Ingår du däremot i en smal men lättrekryterad grupp så blir det mindre viktning. Ingen utanför YouGov vet hur denna viktning går till eftersom det är en affärshemlighet. Därför kan vi inte granska det rimliga eller orimliga i de egenskaper som den har.

YouGov påstår [2] att metoden är tillförlitlig, men det är ganska talande att det är ”VD” och ”Sales manager” som uttalar sig och inte deras statistiker (om de har någon anställd framgår inte). YouGov hävdar följande argument för att deras metod är tillförlitlig:

·         Det är svårare att få folk att svara i traditionella undersökningar…

·         … speciellt om man inte får belöningar

·         Kvoturval är en modern metod

·         Det är lättare att svara tack vare modern teknik

·         Urvalet justeras efter svarsbenägenhet

·         Resultatet justeras efter vilka som faktiskt svarat

·         Justeringen sker mot fler variabler än kön, ålder och ort

Att metoden är ”modern” och att det är lättare att delta i undersökningen tack vare modern teknik är nonsensargument i detta sammanhang.

Metoden med självrekryterande paneler påstås lösa bortfallsproblemet, men det är inte sant. I urvalet bör det ingå en representativ sammansättning av populationen, men YouGov har en icke-representativ grupp på 60000 personer i panelen. Redan här uppstår ett ”bortfall” av alla de personer som inte ens gitter ansöka om medlemskap. Av de som sedan ingår i en specifik undersökning är det inte heller 100% svarsfrekvens. I den aktuella undersökningen svarade 1527 personer, men det framgår inte hur många som tillfrågades – i värsta fall är det alla 60000. Bortfallsproblemet är således inte löst - det är bara maskerat!

Självrekryteringen innebär även att det finns en risk att personer som inte ska ingå i populationen deltar. Vi vet inte om YouGov har rensat bort minderåriga och utländska medborgare från panelen. Vi vet inte heller hur många som dubbel-, trippel eller multipelregistrerat sig för att casha hem lite fler belöningar. Tyvärr får man inte bättre resultat för att samma personer deltar fler gånger.

Förhållandet mellan belöningar och svarsfrekvens har studerats i vissa fall. De belöningar som delas ut i normalfallet är ganska modesta och inte något som man blir direkt rik på men de snedvrider ändå resultaten - även de som svarar seriöst kommer att snedvridas. Det är enkelt att föreställa sig skillnaden mellan de människor som gärna deltar i paneler (för att de har tid och faller för belöningen) mot de som trots belöningarna inte ser det mödan värt. Marika Wenemark på Linköpings universitet [3] har i sin forskning konstaterat att förtroendet för undersökningen – och därmed motivationen att svara –kan sjunka om man delar ut belöningar. Så belöningen i sig förbättrar inte kvaliteten.

Även om traditionella OSU har svåra problem med bortfall så hjälper det inte att ersätta dem med en sämre metod. Det blir inte mer rätt för att man frågar 1527 skevt utvalda personer.

/Magnus 

[1] http://www.metro.se/nyheter/yougov-nu-ar-sd-sveriges-storsta-parti/EVHohs!MfmMZjCjQQzJs/

[2] https://yougov.se/news/2015/08/21/om-onlinepaneler-och-tillforlitligheten/

[3] https://www.imh.liu.se/samhallsmedicin/medarbetare/marika-wenemark?l=sv