Feiltolking av feil

Media pisker seg selv etter Trumps såkalte sjokkseier. Det bygger i alle fall delvis på en misforståelse: At det skjedde noe katastrofalt galt med meningsmålingene.

“Så godt som alle meningsmålinger i USA viste helt til siste slutt at Hillary Clinton med stor sannsynlighet ville vinne”, skriver Mona Langset i VG.

—Hva gikk galt med målingene, spør Martine Aurdal i Dagbladet.

“Analytikere, politikere og redaktører rister på hodet over at de tradisjonelle meningsmålingene ikke forutsa Donald Trumps valgseier”, hevder Medier24.com. “Meningsmålingene fanger ikke opp hva folk mener”, hevder redaktøren for samme nettsted.

Og når det tas for gitt at meningsmålingene var bananas, blir fortellingen – stikk i strid med fakta – at Trump vant overveldende: “Oppslutningen om Trump var så stor”, konstaterer Reidun Kjelling Nybø i Redaktørforeningen på Mediedebatt.no. Hun formaner likevel om at “debatten må handle om mer enn meningsmålinger”.

Og så tar man opp Brexit igjen: Også der bommet meningsmålingene kraftig. Bortsett fra at, nei, det gjorde de slett ikke. Det er jaggu ikke bare Donald Trump som sliter med å forholde seg til fakta.

Problemet er ikke meningsmålingene, men premissene til de som har tolket dem. Meningsmålingene traff ikke historisk dårlig. Men tolkningene av dem var historisk tendensiøse. Altså, dette er banalt enkelt, og likevel må det irriterende nok utheves: Meningsmålinger har innebygde feil. De har alltid det. Og du vet ikke hvor stor den er og hvilken retning den har før du får fasiten. Jobben som journalist, redaktør eller kommentator innebærer også å gjøre rede for det, og ta høyde for det. Hvis ikke villeder du seere, lesere eller lyttere, og antakelig også deg selv. Det er greit at det ikke er spesielt sexy eller ingressvennlig med forbehold, men pokker heller, dette er faktisk viktig.

Og det burde heller ikke være ukjent for norske medier. Martine Aurdals egen avis, Dagbladet, trykket til og med på papirforsiden selveste valgdagen at “Derfor kan Trump vinne sjokkseier i natt” nettopp fordi meningsmålingene kun ga Clinton en knapp ledelse, og den var langt fra utenfor feilmarginen. Når de for en gangs skyld treffer blink med en sjokkforside, burde de ikke desavuere den et par dager etter.

Tilbake til tørre fakta: Prognosene var delvis på bærtur. Altså de kompliserte statistiske modellene der man tar med både meningsmålinger, tidligere valgresultat og andre data. Meningsmålingene – i alle fall de landsdekkende – var omtrent så upresise som de har vært de siste årene. Muligens litt mer presise enn i 2012, dårligere enn de to valgene før, men vesentlig mer presise enn de to før det igjen. Forskjellen er retningen på feilene: I 2016 gikk den motsatt vei av valgresultatet prognosene forutså. Dermed tapte Clinton noen kritiske vippestater, selv om hun vant flere stemmer enn Trump totalt sett. Derfor ble det huskestue i år.

Men dramatisk stor var ikke feilen. I 2012 var det for eksempel en nesten tilsvarende systematisk feil som undervurderte Obamas støtte i velgermassen. Meningsmålingene ga ham likevel knapt flertall, med 1,2 prosents overvekt av stemmene. Han vant komfortabelt med 3,9 prosents overvekt.

Og siden det i USA er fullt mulig å vinne et flertall av stemmene men tape valgkollegiet, burde det være åpenbart at 3-4 prosents ledelse nasjonalt ikke nødvendigvis er komfortabelt. Fivethirtyeight.com advarte derfor også like før valget mot å overdrive Clintons vinnersjanser – selv med en tilsynelatende komfortabel ledelse, var hun med feilmarginen innenfor at Trump med sannsynlighet kunne vinne. Fivethirtyeight anslo den til å være rundt 30 prosent. Altså snaut ett av tre valg under samme forutsetninger ville gå Trumps vei.

Også New York Times, som har et større forklaringsproblem – de anslo Clintons vinnersjanser som 85 prosent på valgdagen – har erkjent at vel var målingsfeilen stor i avgjørende stater, men ikke  stor at de kan unnskylde seg helt: “The size and direction of the error in 2016 was big, but not totally out of the norm” – merk min utheving, for dette er upresist: retningen på feilen i 2016 var altså unormal i den forstand at den gikk “mot” valgresultatet, og det var først og fremst det som gjorde at mange av prognosene gikk så av skaftet.

Målingene i enkelte av statene, derimot, var mer på bærtur, og det er det New York Times gjør et stor nummer av – dels for å unnskylde seg selv. Men det er heller ikke spesielt uvanlig at målingene på delstatsnivå bommer nokså kraftig. Og hvorfor går de så jevnlig av skaftet? Vel, hvis du går gjennom listene til for eksempel Huffington Posts Pollster, eller RealClearPolitics, ser du at det ikke er gigantiske utvalg som gjøres – gjerne i underkant av 1000 per måling. Hvordan utvalget tas varierer. Det varierer også om man bruker telefonmålinger eller online, om man bruker datamaskiner til å samle inn data eller mennesker, og om man henvender seg til registrerte velgere, eller mennesker man anser som sannsynlige velgere.

Og så kommer det mest kompliserte: Vektingen. Du får aldri et helt representativt utvalg av svar. Derfor må du som regel vekte dataene, og det er risikosport. Hvis du har spesielt mange pensjonister som svarer telefonen, må du gange ned verdiene fra svarene deres. Hvis det er nesten ingen kvinner mellom 20 og 30 som svarer, må du gange opp svarene fra de du får. Hemmeligheten bak god vekting er solide bakgrunnsdata for hvert svar, og det får du som regel ikke i meningsmålinger. I tillegg er nøkkelen man bruker gjerne data fra valgdeltakelsen i foregående valg. Det er ikke uproblematisk, for det kan være ulike grupper som mobiliseres fra et valg til neste. Det er vanskelig å forutse, og hvis du skal ta hensyn til nye trender du tror du ser, må det gjøres ved skjønn. Og da er du i alle fall på tynn is. Dette er for øvrig ikke noe særamerikansk fenomen, Magnus Takvam skildret for eksempel utfordringene ved norske meningsmålinger før forrige stortingsvalg.

At det i det hele tatt bare er noen få prosentpoeng som skiller målinger fra sluttresultat, er derfor nesten et moderne mirakel. Likevel, mange tolker meningsmålinger nærmest som en pinlig nøyaktig avlesning av et termometer.

Og selv erfarne ringrever kan ha latt seg lure.

– Velgerne har ikke snakket sant når de har blitt oppringt av meningsmålerne, påstår jussprofessor Johan Giertsen, som burde vært mer kvalifisert enn mange andre til å tolke meningsmålinger. Men har han rett i det? Det er selvsagt mulig at to kognitive tankesvikter her konspirerte mot oss alle: Såkalt social desirability bias – at den mest kontroversielle kandidaten ble underrapportert i målingene, fordi folk synes det var flaut å innrømme at de støtte ham, og confirmation bias – at vi fester oss ved informasjon som bekrefter det vi ønsker å tro på, og overser informasjon vi synes er ubehagelig eller bare er uenig i.

Men dette er på grensen til konspiratorisk spekulasjon. For det kan også hende at svaret er så banalt som at vektingen slo akkurat nok feil. At meningsmålerne undervurderte antall hvite velgere uten utdannelse – som ofte, men ikke alltid, er korrelert med lav inntekt. Dette er normalt en gruppe som ikke deltar spesielt ivrig i valg. Som Bernie Sanders sa: Fattige folk stemmer ikke. Samtidig kan de ha overvurdert hvor mange hvite med høyere utdannelse som ville stemme. Det kan ha vært nok. Og du får ikke fasiten før valget er gjort. Du finner i alle fall ikke ut av det gjennom tilfeldig sosing i sosiale medier eller surre rundt på bygda med notatblokk og mikrofon. Hvis meningsmålingene skal bli mere presise og anvendelige, trenger vi bedre data og journalister som faktisk kan tolke dem.

You May Also Like