Hur journalister ska rapportera om politiska undersökningar

En varnande forskningssammanfattning

Shutterstock.

Detta inlägg publicerades ursprungligen här av Journalist's Resource vid Shorenstein Center on Media, Politics and Public Policy vid Harvard University.

Den 25 april 2019 blev den tidigare vicepresidenten Joe Biden den senaste stora politikern att gå med i loppet för Demokratiska partiets presidentnominering 2020. Bland demokraternas väljare leder han fältet över den näst populäraste kandidaten, Senator Bernie Sanders från Vermont, med 7 procentenheter – med en urvalsfelmarginal på 5,4 procentenheter – enligt en nyligen genomförd undersökning från Monmouth University.

Men allmänhetens och medias uppfattning har bränts av opinionsundersökningar tidigare - se presidentvalet 2016 – och det är fortfarande en lång, lång väg kvar innan det demokratiska fältet är avgjort. Donald Trump blev officiellt republikanska partiets presidentkandidat i juli 2016, men ett år tidigare det fanns fortfarande 16 andra kandidater meta för nomineringen.

Just för att det fortfarande finns så många stadshus och länsmässor att komma för de demokratiska utmanarna, samlar vi ihop en del nyare akademisk forskning som kan informera om täckning av politiska opinionsundersökningar i denna tidiga presidenttävling. Denna forskning gräver i partiskhet vid utvärdering av politiska opinionsundersökningar, omröstningsfel över tid och rum, förhållandet mellan mediabevakning och opinionsundersökningar och mer.

Alla de bästa omröstningarna håller med mig: Bias in Evaluations of Political Polling

Madson, Gabriel J.; Hillygus, D. Sunshine. Politiskt beteende . februari 2019.

En undersöknings trovärdighet beror på undersökningsmetoder, undersökningsgivarens rykte och hur transparent undersökningsgivaren är med sina uppgifter. Bryr sig allmänheten om något av det? Författarna genomförde två undersökningar med totalt 2 048 deltagare — 600 rekryterade från Amazon Mechanical Turk och 1 448 från det nationella Kooperativ kongressvalstudie . De fann att deltagarna uppfattade undersökningar som mer trovärdiga när undersökningar stämmer överens med deras åsikter och mindre trovärdiga när undersökningar inte stämmer överens.

'Enkäter behandlas inte som objektiv information', skriver författarna.

Avlägsna partiskhet och varians i valundersökningar

Shirani-Mehr, Houshmand; et al. Journal of the American Statistical Association. juli 2018.

Felmarginaler ange noggrannheten för uppskattningar av opinionsundersökningar. Felmarginalen för en opinionsundersökning säger något om hur nära undersökningens resultat sannolikt stämmer överens med verkligheten. Ett större urval kommer vanligtvis att ha en mindre felmarginal, medan ett mindre urval innebär en större felmarginal.

Konfidensintervall och felmarginaler går hand i hand. De sista Gallup-undersökningen före valet 2012 visade Mitt Romney med 49% av de populära rösterna och Barack Obama med 48%. Enkäten hade ett konfidensintervall på 95 % och en felmarginal på 2 procentenheter. Så, Gallup var 95% säker på att valet skulle sluta med att Romney vann 51% till 46%, Romney förlorade 47% till 50% eller någonstans i mitten. I slutet, Obama överträffade Gallups konfidensintervall med 51 % av de populära rösterna, medan Romney fick 47 %.

Politiska undersökningar rapporterar vanligtvis felmarginaler som endast är relaterade till urvalets storlek. Av den anledningen underskattar de ofta sin osäkerhet, enligt författarna. Till exempel kan det finnas fel eftersom opinionsundersökningarna inte vet hur många personer i sin målgrupp som kommer att rösta.

Författarna analyserade 4 221 undersökningar över 608 president-, senator- och guvernörsval på statlig nivå från 1988 till 2014. Mätningarna genomfördes under de senaste tre veckorna av kampanjer.

I genomsnitt finner de en skillnad på 3,5 procentenheter mellan enkätresultat och valresultat, 'ungefär dubbelt så mycket fel som de flesta konfidensintervall', skriver författarna.

'Åtminstone tyder dessa fynd på att försiktighet bör iakttas när man använder enkätresultat för att bedöma en kandidats rapporterade ledning i ett tävlingslopp.'

Valomröstningsfel över tid och rum

Jennings, Will; Wlezien, Christopher. Naturen Mänskligt beteende . mars 2018.

Författarna tittar på mer än 30 000 nationella undersökningar från 351 val i 45 länder från 1942 till 2017. De finner att nationella undersökningar från 2015 till 2017 fungerade i linje med historiska normer. Men undersökningar som frågar om de största politiska partierna tenderade att vara mindre korrekta än de som frågade om mindre partier.

'Dessa fel är mest följdriktiga när valet är nära, eftersom de kan vara avgörande för regeringens kontroll', skriver författarna.

Medan en enskild opinionsmätares rykte spelar roll när de utvärderar omröstningsresultat, finner författarna att presidentundersökningar som genomfördes 200 dagar efter ett presidentval i allmänhet var mindre exakta än de som genomfördes närmare valdagen.

Partisan matematisk bearbetning av politisk omröstningsstatistik: Det är förväntningarna som räknas

Niemy, Laura; et al. Kognition . maj 2019.

Omröstningsresultat bombarderar allmänheten under presidentkampanjer, och det kan vara svårt för väljarna att bearbeta den informationen. Författarna undersökte 437 deltagare som rekryterats från MTurk och fann att för presidentvalen 2012 och 2016 underskattade de som hade förbundit sig till en viss kandidat sina motståndare - även inför motstridiga omröstningsinformation. De som faktiskt inte trodde att deras kandidat skulle vinna gav inte efter för samma kognitiva dissonans.

Massmedia och valpreferenser under det amerikanska presidentvalet 2016

Wlezien, Christopher; Soroka, Stuart. Politiskt beteende . juni 2018.

Viftar hunden med svansen, eller är det tvärtom? Författarna jämför omröstningsdata och nästan 30 000 artiklar i nio stora tidningar över hela USA fram till presidentvalet 2016, för att klargöra förhållandet mellan mediebevakning och väljarpreferenser. Deras mest robusta fynd tyder på att bevakningen i dessa medier följde den allmänna opinionen. När opinionsundersökningar skiftade till förmån för eller bort från kandidaterna, så blev också tonen i mediabevakningen positiv eller negativ.

'Resultaten talar om vikten av att betrakta media inte bara som en drivkraft, utan också en anhängare av allmänhetens känslor', skriver författarna.

Titta inte på omröstningar för ja-eller-nej-svar

För lika mycket som journalister och allmänheten kanske vill att politiska undersökningar ska indikera ja-eller-nej-svar, så gör de inte det, de kommer inte att göra det, och det har de aldrig gjort. University of Minnesota journalistikprofessor Benjamin Toff uttryckte det så här i en Mars 2018 uppsats i Politisk kommunikation :

”Undersökningar är mer pointillism än fotorealism; deras resultat är avsedda att observeras på avstånd. Man bör aldrig missta dessa impressionistiska representationer av allmänhetens känslor för det verkliga.”

Om du är nyfiken på vad som gick fel med omröstningen under presidentvalet 2016, kolla in den här obduktionen från American Association for Public Opinion Research. Resultatet? Nationella undersökningar var generellt korrekta, men på delstatsnivå visade undersökningar en närmare ras vars utfall var mer osäkert.

För mer vägledning om att täcka omröstningar, kolla in 11 frågor som journalister bör ställa om opinionsundersökningar och 7 tips relaterade till felmarginalen. Plus, politiskt engagemang under presidentvalet 2016 skilde sig inte så mycket från tidigare val. FiveThirtyEight erbjuder också en bra sammanfattning av pålitliga opinionsmätare . Äntligen är det här hur pressen svikit väljarna i presidentvalet 2016.