Kategoriarkiv: opinionsmätningar

Lägesrapport

Det har varit stiltje här på bloggen. Inte på grund av att jag har legat på latsidan, tvärtom har deadlines (eller dödslinjerna som de säger i Norge) kommit från andra håll och tvingat mig jobba på. Får återkomma till en del roliga saker som är på gång (se CV och publikationslista för sådant som redan har kommit ut).

En av de frågor jag har jobbat med på sistone gäller bortfall. Det är i Sverige och i andra länder allt svårare både att få tag på folk och att få dem att ställa upp i undersökningar. En del verkar ta till drastiska metoder. Häromdagen fick jag detta erbjudande från Netflix:

Netflix kommer att genomföra en marknadsundersökning i Stockholm torsdagen den 30 maj och fredagen den 31 maj och vi vill bjuda in dig! Vi vill gärna att du delar dina åsikter om din Netflix-upplevelse. Undersökningen tar ca 45 minuter att genomföra och som tack för din tid får du 1000 kr.Vi kommer att välja ut deltagarna för undersökningen från de personer som svarar på den här enkäten.

Om jag förstår detta rätt så vill de att jag ska svara på en enkät (och kanske även ytterligare enkäter?) för att ha chansen att väljas ut till en annan undersökning, vilken tar 45 minuter att genomföra och då ge 1000 kronor i ersättning. Misstänker att upplägg av det här slaget kan förstöra det allmänna surveyklimatet (som redan är lugubert). Vore dock intressant att veta vilka som ställer upp i en sådan undersökning.

 

Om webbpaneler och jämförelser

I förra veckan publicerade Johan Martinsson från Göteborgs universitet ett inlägg på bloggen Politologerna (där för övrigt även jag skriver ibland) kring jämförelser mellan olika undersökningar, bland annat webbpaneler. Inlägget väckte intresse bland olika personer som intresserar sig för opinionsmätningar, inte minst då det på vissa håll tolkades som om resultatet av jämförelsen var att självrekryterade webbpaneler är bättre än traditionella undersökningar, se exempelvis Lena Mellin i Aftonbladet. Även Dagens Opinion framförde något liknande, men där var missförståndet än större då journalisten verkade tro att det var Politologerna som genomfört en undersökning. Det kan därför vara värt att understryka att så inte är fallet och även att Politologerna är en blogg där respektive skribent står för sina egna inlägg. I vilket fall, då jag upplever att diskussionen har hamnat lite snett tänkte jag, måhända naivt, försöka ge min syn på saken i hopp om att något kanske blir lite klarare för någon.

Först och främst tycker jag att det är väldigt bra att Johan och andra intresserar sig för frågan om webbpaneler och vilken kvalitet de har (se även Novus jämförelse här). I USA och en del andra länder är intresset för sådana metodfrågor betydligt större än i Sverige, men förhoppningsvis kan frågorna få större uppmärksamhet även här. Innan jag går in på undersökningen vill jag beröra något som ofta missförstås: att samla in data via webben är bara en annan insamlingsform (eller mode som man säger på engelska). Beroende på om man samlar in data via besöksintervju, telefonintervju, postenkät eller webbenkät kan det ha vissa effekter på inflöde och hur folk svarar. Men i princip behöver inte webbenkäter skilja sig på andra sätt, som exempelvis urvalsdesign. Däremot är det ofta svårt att dra ett slumpmässigt så kallat sannolikhetsurval (där alla som ingår i populationen har en känd sannolikhet att bli utvalda och den sannolikheten är större än noll) och sedan kontakta personer direkt i elektronisk form. Detta då vi inte har något centralt register över e-postadresser (något som inte vore dumt att ha!). Webbundersökningar har därför ofta blivit synonyma med icke-slumpmässiga urval, så kallade självrekryterade urval, men så behöver alltså inte vara fallet.

I sitt blogginlägg jämför Johan sju olika undersökningar: tre som baseras på slumpmässiga befolkningsurval och insamlat medelst telefon, postenkät respektive webbenkät, två slumpmässigt rekryterade webbpaneler och två självrekryterade webbpaneler. Det är med andra ord både en blandning av insamlingsmetoder och urvalsmetoder som studeras. Sedan jämförs hur de svarande i de olika undersökningarna fördelar sig efter några kända fördelningar vad gäller kön, ålder, utbildningsnivå, arbetslöshet och körkortsinnehav. Avsikten är att även analysera skillnader efter åsikter och samband mellan dessa två aspekter. Dessa två senare delar ingår dock inte i blogginlägget, även om det finns några deskriptiva redovisningar i den tillhörande tabellbilagan (och jag antar att de kommer i någon senare rapport).

Jämförelsen görs genom att genomsnittliga avvikelser i procentenheter räknas fram. Man kan diskutera metoden (man bör egentligen förhålla sig till nivån på det som ska skattas osv.), men den känns igen från valtider. Då brukar opinionsinstitutens sista mätning jämföras med valresultatet och någon kommer fram till att ett var ”bäst”, och det institutet brukar basunera ut resultatet. Jag kan förstå att det kan framkalla glädje, men för mig är själva tankesättet främmande. Om vi tar ett exempel som jag tidigare visat på Politologerna: en simulering av 20 olika undersökningar som under perfekta förhållanden (utan bortfall, mätfel, etc.) skattar andelen röster på Centerpartiet, vilket gav följande resultat (punkterna är skattningar, den vertikala linjen det sanna värdet, se tidigare inlägg för tolkning).

Bild1

Dessa resultat skulle kunna komma från 20 olika undersökningar som genomförts på exakt samma sätt. Att påstå att något av dessa tänkta undersökningar skulle vara bättre är märkligt. Däremot är det klart att några utfall ligger närmare det sanna värdet, men det är en annan sak. Visst, i genomsnitt bör upprepade undersökningar ligga nära det sanna värdet, annars har man en bias (snedvridning av resultaten). En annan central kvalitetsaspekt som inte berörs i Johans inlägg gäller precisionen i undersökning, dvs. variansen. I bilden ovan illustreras den genom felmarginalerna tillhörande respektive skattning (de horisontella röda linjerna). Ibland tvingas man göra en avvägning mellan bias och precision, t.ex. genom att tillåta en viss bias i utbyte mot bättre precision. För att man ska kunna beräkna varianser krävs dock ett sannolikhetsurval (här kan man invända att alltför stora bortfall gör att man kan ifrågasätta om man verkligen har sannolikhetsurval, men det här inlägget börjar redan bli väldigt långt så jag får ta den diskussionen någon annan gång).

Så, med andra ord tycker jag inte att en jämförelse mellan ett utfall och sanna värden säger särskilt mycket. Men låt oss ändå titta på resultaten i Johans inlägg, då de som ovan nämnts har fått viss spridning. De fyra webbpaneler som ingår i jämförelserna har alla viktats. Det framgår inte hur de har viktats, förutom för Cint som har viktats efter kön och ålder, men troligen har de andra åtminstone viktats för samma egenskaper. Det blir då lite märkligt att sedan jämföra hur nära de kommer de sanna fördelningar efter samma variabler som de har viktats mot – föga förvånande kommer de nära. Visserligen presenteras även oviktade resultat, men då det inte framgår hur urvalen dragits för de självrekryterande urvalen säger det inte så mycket. Troligen är de utvalda med någon form av kvoturval där man har försökt få antalet svarande att likna någon fördelning. Om den fördelningen är kön och ålder är det naturligt om fördelningen också liknar den sanna fördelningen i dessa avseenden.

När det gäller övriga variabler, dvs. utbildning, arbetslöshet och körkortsinnehav, varierar det mer mellan de olika undersökningarna (och alla har inte information för alla variabler, vilket försvårar jämförelsen ytterligare). Exempelvis hamnar Cint snett för arbetslöshet, men nära i övriga två avseenden (se tabellbilagan). Det finns dock betydande problem med att mäta utbildning i form av högskoleexamen och arbetslöshet, där den officiella statistiken kan avvika med personers egen uppfattning. Detta är ett generellt problem och gäller inte bara den här jämförelsen: det är svårt att hitta relevant information att utvärdera träffsäkerhet och den man har tillgång till är sällan den som man vill mäta i undersökningen (i så fall skulle vi inte behöva göra studien). En ytterligare aspekt som inte tas upp i jämförelsen är att antalet svarspersoner skiljer mellan undersökningarna och precisionen hänger till stor del samman med antalet svarande.

Poängen här är dock att detta inte säger något om kvaliteten på undersökningarna. Det går inte att dra sådana slutsatser av ett utfall. Dessutom är en grundläggande förutsättning för att kunna göra en jämförelse att det finns information om hur personer väljs ut, hur stort det totala bortfallet är och hur estimationen går till. Allt detta saknas här. Med andra ord vet vi inte mycket mer nu än tidigare. Dessutom bör det åter understrykas att vid sannolikhetsurval kan vi skatta osäkerheten i våra estimat, vilket inte går om vi inte har ett sannolikhetsurval. Det är en relevant kvalitetsaspekt oavsett eventuell bias.

Jag instämmer dock i den slutsats som Johan landar i, dvs. vi behöver mer undersökningar kring detta. Förhoppningsvis kan hans studie i kombination med framtida undersökningar ge mer information i dessa frågor.

AAPOR och opinionsmätningar

Förra veckan deltog jag i den årliga konferens som American Association for Public Opinion Research (AAPOR) anordnar. I år ägde den rum i Orlando. För den som är intresserad av opinionsmätning är det helt fantastiska dagar: sessioner som ägnas åt intressanta frågor som frågeordning, skalsteg, bortfall, webbpaneler, m.m. Den stora snackisen under konferensen var den rapport som Pew presenterade där. Det visar sig att svarsfrekvensen vid amerikanska undersökningar baserade på urval av telefonnummer nu är nere på 9 (!) procent. Hur ser det ut i Sverige? Tja, bra fråga. De privata opinionsinstituten i Sverige presenterar inte siffror över bortfallet, så jag vet inte. När Kent Asp presenterade sin undersökning över journalistkårens partisympatier avfärdade stora delar av journalistkåren den på grund av bortfallets storlek och vilka de svarande var, men uppenbarligen har journalister inte samma intresse kring undersökningars kvalitet när de inte är de själva som är studieobjektet. Med tanke på att de flesta politiska opinionsmätningar görs på uppdrag av tidningar vore det enkelt för dessa tidningar att kräva att instituten även redovisade grundläggande kvalitetsmått, vilket vore välkommet.

Nåväl, Pew menar ändå att de med 9 procent svarande kan ta fram skattningar som, med vissa undantag, är förhållandevis korrekta. De baserar den slutsatsen bland annat på en jämförelse mellan två studier där de i den ena ansträngt sig mer för att få upp svarsfrekvensen, vilket visar sig ge små effekter på resultaten  (se hela rapporten här). Det är dock en del skakiga antaganden bakom den slutsatsen, men även om man köper argumentationen finns ändå problem med det höga bortfallet eftersom det blir dyrt att få ihop ett tillräckligt antal svarande när så få ställer upp för intervju. Dessutom finns problemet med att allt fler personer har mobiltelefoner, vilket medför att man vid telefonnummerurval måste dra urval bland både fasta telefoner och bland mobiltelefoner och sedan väga ihop dessa urval. Då vissa personer kan dras ur båda dessa grupper och andra i bara den ena eller den andra, så är den sammanvägningen inte helt trivial (även här saknas information kring hur svenska opinionsinstitut gör).

Mot bakgrund av ovanstående problem är det inte konstigt att många sessioner på AAPOR ägnades åt opinionsmätningar via webbpaneler, vilka ofta ger många svarande till låg kostnad. Här förefaller den allmänna uppfattningen vara att webbpaneler som inte dragits med sannolikhetsurval inte bör användas för att skatta den allmänna opinionen (vilket f.ö. är just vad Aftonbladet och United Minds gör). Det nya svarta i opinionsbranschen är att dra ett mindre sannolikhetsurval och använda det för att korrigera en webbpanel som inte är dragen med sannolikhetsurval. Här finns en rad metoder som används. Och många tittar på andra variabler för korrigering än de som traditionellt använts, dvs. snarare variabler som avser personlighet och attityder än kön och ålder (även om det ena inte behöver utesluta det andra).

En helt annan lösning är att sluta fråga folk och istället försöka fånga alla de åsikter som ändå uttrycks på Twitter, Facebook och andra ställen. Det är ett intressant område som jag har skrivit om tidigare. Det som framkom under AAPOR var bland annat att automatisk klassificering av tweets vad gäller positiva och negativa känslor fungerar riktigt bra, och det även efter automatisk översättning via Google Translate. Samtidigt är resultaten i många fall svårtolkade. Så även om det händer mycket på området är resultaten så här långt osäkra. För företag som Facebook finns däremot möjligheten att ställa frågor till användare och koppla svaren till all annan information användarna själva har gett genom statusuppdateringar etc. Det är inte omöjligt att Facebook framöver kommer att bli en allt vanligare plattform för att genomföra opinionsundersökningar, vilket kanske kan hjälpa till att motivera det extrema börsvärdet.

En kvittrande opinion

Opinionsmätare har problem: det är allt svårare att få tag på urvalspersoner och de personer som man får tag på vägrar i allt högre grad att medverka vid intervju. Följden är ett allt större bortfall. Nu redovisas sällan bortfall och ingen som kommenterar opinionsmätningar verkar bekymra sig kring vilka personer det egentligen är som uttrycker den opinion som man drar långtgående slutsatser ifrån (får anledning att återkomma kring detta och det vilseledande begreppet ”representativt urval”).

Fast det är ändå kostsamt och tidsödande att samla in data kring den allmänna opinionen, i synnerhet när folk är motvilliga att ställa upp. Denna motvillighet är en aning paradoxal: samtidigt som det finns en tilltagande motvilja kring att medverka i opinionsmätningar delar allt fler fritt med sig av sina åsikter via olika social medier.  Det är inte konstigt att några har slagit ihop ett och ett och fått ihop mer eller mindre seriösa affärsidéer, ibland beväpnade med en hel arsenal floskler. Men det finns undantag, som Crimson Hexagon, ett företag som bland andra har statsvetarprofessorn Gary King som grundare. I en intressant artikel i ämnet i Wall Street Journal säger King att de vill fånga åsikterna hos de personer som uttrycker åsikter. Det är dock inte så enkelt som det kan låta. Det gäller att med automatiserad, datormässig behandling att fånga och förstå ironi, sarkasm och nya ord och förkortningar. Men om man lyckas är belöningen stor: man kan kan då till en billig penning mycket snabbt fånga åsikter. Frågan är bara vad det är för åsikter man fångar. Vissa, som företaget General Sentiment, har enligt samma artikel ambitionen att förutspå utfallet i både Republikanernas primärval och det kommande presidentvalet. King är mer tveksam till om sociala medier är lämpliga för det.

Helt klart har på senare år nya möjligheter för såväl opinionsmätning som forskning öppnats. Det gäller både tillgång till öppna data, men även, som i det här fallet, data som genereras av användare och som finns fritt tillgänglig att samla in och analysera. Eftersom Facebook är ett slutet system är möjligheterna att använda data där mindre, om man inte lyckas samarbeta med företaget, men data från Twitter kan enkelt samlas in. Självklart kommer det här att komma till Sverige inom en inte alltför avlägsen framtid (om det inte redan finns?). Det öppnas spännande möjligheter, tyvärr kommer vi nog att få se avigsidorna också: skulle inte förvåna mig om Aftonbladet en vacker dag har opinionsmätningar baserade på twitter-kommentarer, men med en betryggande formulering om att de baseras på ”ett riksrepresentativt urval”.

Läs även The Numbers Guy bloggpost i ämnet. Och följ mina kvittrande åsikter: http://twitter.com/richardohrvall