Jag skriver artikeln Opålitliga politiska undersökningar i tidskriften Liberal Debatt, nummer 6-7 2002.
Sedan 90-talet har opinionsundersökningsföretagen haft en stor tyngd inom media och inte bara inom den politiska journalistiken. Särskilt under valrörelserna har opinionsmätningarna haft goda dagar och under den senaste valrörelsen beställde tidningar och mediabolag dagliga mätningar av partisympatierna. Förändringar jämfört med föregående dags mätningar slogs upp stort i medierna.
Men hur stort intresse ska vi egentligen fästa vid dessa undersökningar? Inte mycket.
Förändringar i partisympatier mellan varje månad brukar sällan vara större än den så kallade statistiska felmarginalen, förändringar dag till dag är det aldrig. Särskilt inte i de mycket små urval som undersökningarna ofta utgörs av. Förändringar vi ser i detta material beror mer på slump än reella förändringar. En "statistiskt säkerställd" ökning eller minskning för något parti är dessutom bara så säker som undersökningens metod (dess urval och antal intervjuer) medger, vilket oftast bara är till 95 procent. Det innebär att i medeltal blir fem mätningar av hundra felaktiga.
För att göra en någorlunda rättvisande undersökning måste man ha åtminstone 1 000 intervjusvar. Då kan man med viss säkerhet säga att exempelvis kristdemokraterna stöds av ungefär 10 procent av befolkningen. Men många av opinionsundersökningarna är så oerhört små att de knappt ens kommer upp i tillräckligt stora urval för att bli intressanta.
Nytt fenomen
Den enda mätningen av partisympatierna som är tillräckligt stor för att bli riktigt intressant är Statistiska Centralbyråns, som också har ett mycket stort urval (cirka 10 000 personer tillfrågas). Men den mätningen hänvisar man sällan till.
I valrörelsen 2002 fick vi dessutom se ett helt nytt fenomen. Opinionsinstitutens undersökningar redovisade markanta skillnader i sympatierna för vissa av partierna. Detta upplevdes ofta som ett problem som uppstått nu, men egentligen rör det sig om något som funnits länge, nämligen skillnader i mätmetoder och andra statistiska manipulationer. Exempelvis kunde vi se att måndagen den 9 september redovisade SIFO att folkpartiet hade stöd av 10,2 procent av de tillfrågade och kristdemokraterna 12,3 procent. Men samma dag så redovisade TEMO 13,3 procent för folkpartiet och 9,4 procent för kristdemokraterna. Hur kunde det komma sig att partierna bytt plats på detta sätt i de olika undersökningarna?
Orsaken är felmarginalen. Den ligger på cirka två procent för den storleken på partierna vi talar om här. Både SIFO och TEMO kan mycket väl ha rätt.
Det finns också andra detaljer som påverkar hur siffrorna ser ut i olika opinionsundersökningar. Till exempel finns det en liten systematisk faktor som gör att TEMO alltid visar upp ett något lägre resultat för socialdemokraterna än vad SIFO gör. TEMO räknar in en "röstbenägenhetsfaktor" som gör att man i sina undersökningar räknar ned partisympatierna för just socialdemokraterna. Man antar att färre socialdemokratiska sympatisörer kommer att gå till valurnorna på valdagen. Denna faktor verkar vara större än den likartade metod som SIFO använder. Dessa detaljer i hur undersökningsinstituten arbetar med sina material brukar de inte gärna tala om. Då skulle det bli betydligt svårare för dem att få sälja analyser till de media som betalat dyrt för undersökningarna.
Villiga medaktörer
Medierna är dock villiga medaktörer i detta spel. De har betalat dyra pengar för undersökningarna från opinionsinstituten, och då ska de också användas så mycket som möjligt. Det spelar inte så stor roll att det kan röra sig om rena "icke-händelser" där alla förändringar i partisympatier faller inom felmarginalen. Mätningarnas resultat presenteras med stapeldiagram som täcker flera spalter och de bäst betalda politiska analytikerna serverar läsarna vad de har kunnat läsa i siffrorna, trots att det inte har hänt något.
Även små förändringar beskrivs i termer av "jättelyft", "stort ras" och "partiledareffekter". Men när alla händelser beskrivs i sådana kraftuttryck försvinner nyanserna och proportionerna. Läsarna vänjer sig snabbt vid detta överdrivna språkbruk och då får medierna ta i ännu mer. Man spinner också vidare på "händelsen" med krönikor, analyser, intervjuer med företrädare för partierna. Det finns ofta en betydande rundgång i dessa analyser: hur ofta har vi inte läst att centerpartiet måste locka väljare i storstäderna för att överleva?
Ett sätt för media att spinna vidare på sitt material är att flera frågor ställs i samma mätning. Man ställer upp en sakfråga och menar från materialet att "av miljöpartiets anhängare är 15,37 procent för EMU" eller något liknande. Den exakthet som decimalerna anger är naturligtvis orimlig och säger en hel del om hur okritiska många människor är till statistiska undersökningar. För att på ett tillfredställande sätt undersöka vad miljöpartisterna tycker om EMU måste man ha en god undersökning med ett gott undersökningsmaterial i sig. Att bara se vad miljöpartiets sympatisörer i den egna undersökningen svarade är för litet. Men undersökningar kostar och rubriker säljer.
Tyvärr spelar även gärna partierna med i spelet där man försöker att "triangulera" sitt budskap för att vinna sympatier i de frågor som motståndarens väljargrupper upplever som viktiga (se Dick Morris bok "Power Plays" från 2002, men kritiskt kan man notera att partierna inte ens har triangulerat ordentligt- man övertar bara motståndarens framgångsrika frågor med motståndarens argument). Sedan försöker man att se hur nära man kommer genom opinionsundersökningarna. Detta istället för att genomföra ett ordentligt idé- och kommunikationsarbete till väljarna. Men det var nog ett flertal partier som fick obehagliga överraskningar på valnatten eftersom grunderna till denna tillförlitlighet är lösa.
Begriper opinionen frågan?
Det är inte statistik och opinionsundersökningar i sig det är fel på, utan hur man använder dessa. Inför den stundande folkomröstningen om EMU finns en värre fara. Det är angeläget att opinionsundersökningarna inte förvärrar de problem de undersöker. Opinionsundersökningarnas nestor, George Gallup, framhöll ofta på 50-talet att man inte ska ställa en opinionsfråga till allmänheten utan att först fråga om folk hört talas om saken, lärt sig något om den, och talat med andra om den. Bara om dessa villkor var uppfyllda ansåg han att opinionen var värd att ta på allvar.
Nivågraderade resultat
Daniel Yankelovich, en av USA:s nu ledande opinionsuttolkare, går längre än Gallup. Han menar i sin bok "Coming to Public Judgement" från 1991, att vi inte har en seriös opinion som ledarskribenter, politiker och andra kan luta sig mot förrän folket förstått konsekvenserna av sitt svar på opinionsundersökarnas frågor.
Opinionsundersökare kan lätt få svar som visar att folk tycker att till exempel bilismen är ett hot mot miljön och svar som visar stöd för att miljöfarliga utsläpp beskattas. Men rena helvetet bryter ut, inte minst i det miljövänliga Norrland, om politiker tar dessa opinioner till intäkt för att höja bensinskatten. En opinionsundersökning kan bara vara vägledande för politiker om den undersökt hur folk ser på konsekvenserna av sina opinioner.
Yankelovich menar att nästan alla opinioner går igenom sju stadier. Sociologen Hans L. Zetterberg tog majoritetsopinionen om EU inför folkomröstningen 1994 som en illustration på Yankelovichs resonemang:
Oförberedda väljare
Folkomröstningen 1994 gällde om Sverige skulle gå in som medlem i EU. De val som senare hållits till EU-parlamentet har gällt hur vi ska påverka EU. Väljarna var gruvligt oförberedda på det senare. Det finns väldigt få mogna opinioner i väljarkåren om gemensam valutapolitik, försvarspolitik, vetorätt i ministerrådet och om en framtid av överstatlighet eller mellanstatlighet. En del av dessa frågor nådde aldrig det första stadiet av medvetande, annat fastnade i sökande efter lösningar och motstånd genom önsketänkande (stadierna 3 och 4).
Mediernas opinionsundersökningar är mycket opålitliga på dessa låga nivåer. Men då många människor är beroende av medierna för att bilda sig en uppfattning om vad som anses vara "allmän opinion" är de av avgörande betydelse. Faran finns att folkomröstningen om EMU återigen blir en folkomröstning om ja eller nej till EU, med fel frågor på dagordningen. Det borde vara angeläget, både för ja- och nejsidan, att se till att rätt frågor diskuteras. Det blir svårt om "Sifokratin" återigen får råda. Då kan även små pseudohändelser orsaka stora förändringar i opinionen och folkomröstningen kan i värsta fall ge ett resultat på fel grunder, vilket sedan skapar en svekdebatt hos väljarna.
Yankelovich föreslår att medierna, när de publicerar en opinionsundersökning, ska ange på vilket stadium opinionen befinner sig. Det är kanske en orimlig begäran ur journalistisk synpunkt, eftersom det komplicerar redovisningen. Men det är en rimlig begäran att när man har tid och plats utveckla analysen av opinionsläget.
Kanske kan debatten som utlösts om opinionsinstitutens roll förändra värderingen av dem och också vilka värden man vill ha i idéproduktionen inom politiken. Kanske innebär detta slutet för "Sifokratin" och öppnandet av en mer långsiktig idéproduktion.
Läs även andra bloggares åsikter om val2010, politik, opinionsundersökningar, samhälle, media, trender
Intressant
Sedan 90-talet har opinionsundersökningsföretagen haft en stor tyngd inom media och inte bara inom den politiska journalistiken. Särskilt under valrörelserna har opinionsmätningarna haft goda dagar och under den senaste valrörelsen beställde tidningar och mediabolag dagliga mätningar av partisympatierna. Förändringar jämfört med föregående dags mätningar slogs upp stort i medierna.
Men hur stort intresse ska vi egentligen fästa vid dessa undersökningar? Inte mycket.
Förändringar i partisympatier mellan varje månad brukar sällan vara större än den så kallade statistiska felmarginalen, förändringar dag till dag är det aldrig. Särskilt inte i de mycket små urval som undersökningarna ofta utgörs av. Förändringar vi ser i detta material beror mer på slump än reella förändringar. En "statistiskt säkerställd" ökning eller minskning för något parti är dessutom bara så säker som undersökningens metod (dess urval och antal intervjuer) medger, vilket oftast bara är till 95 procent. Det innebär att i medeltal blir fem mätningar av hundra felaktiga.
För att göra en någorlunda rättvisande undersökning måste man ha åtminstone 1 000 intervjusvar. Då kan man med viss säkerhet säga att exempelvis kristdemokraterna stöds av ungefär 10 procent av befolkningen. Men många av opinionsundersökningarna är så oerhört små att de knappt ens kommer upp i tillräckligt stora urval för att bli intressanta.
Nytt fenomen
Den enda mätningen av partisympatierna som är tillräckligt stor för att bli riktigt intressant är Statistiska Centralbyråns, som också har ett mycket stort urval (cirka 10 000 personer tillfrågas). Men den mätningen hänvisar man sällan till.
I valrörelsen 2002 fick vi dessutom se ett helt nytt fenomen. Opinionsinstitutens undersökningar redovisade markanta skillnader i sympatierna för vissa av partierna. Detta upplevdes ofta som ett problem som uppstått nu, men egentligen rör det sig om något som funnits länge, nämligen skillnader i mätmetoder och andra statistiska manipulationer. Exempelvis kunde vi se att måndagen den 9 september redovisade SIFO att folkpartiet hade stöd av 10,2 procent av de tillfrågade och kristdemokraterna 12,3 procent. Men samma dag så redovisade TEMO 13,3 procent för folkpartiet och 9,4 procent för kristdemokraterna. Hur kunde det komma sig att partierna bytt plats på detta sätt i de olika undersökningarna?
Orsaken är felmarginalen. Den ligger på cirka två procent för den storleken på partierna vi talar om här. Både SIFO och TEMO kan mycket väl ha rätt.
Det finns också andra detaljer som påverkar hur siffrorna ser ut i olika opinionsundersökningar. Till exempel finns det en liten systematisk faktor som gör att TEMO alltid visar upp ett något lägre resultat för socialdemokraterna än vad SIFO gör. TEMO räknar in en "röstbenägenhetsfaktor" som gör att man i sina undersökningar räknar ned partisympatierna för just socialdemokraterna. Man antar att färre socialdemokratiska sympatisörer kommer att gå till valurnorna på valdagen. Denna faktor verkar vara större än den likartade metod som SIFO använder. Dessa detaljer i hur undersökningsinstituten arbetar med sina material brukar de inte gärna tala om. Då skulle det bli betydligt svårare för dem att få sälja analyser till de media som betalat dyrt för undersökningarna.
Villiga medaktörer
Medierna är dock villiga medaktörer i detta spel. De har betalat dyra pengar för undersökningarna från opinionsinstituten, och då ska de också användas så mycket som möjligt. Det spelar inte så stor roll att det kan röra sig om rena "icke-händelser" där alla förändringar i partisympatier faller inom felmarginalen. Mätningarnas resultat presenteras med stapeldiagram som täcker flera spalter och de bäst betalda politiska analytikerna serverar läsarna vad de har kunnat läsa i siffrorna, trots att det inte har hänt något.
Även små förändringar beskrivs i termer av "jättelyft", "stort ras" och "partiledareffekter". Men när alla händelser beskrivs i sådana kraftuttryck försvinner nyanserna och proportionerna. Läsarna vänjer sig snabbt vid detta överdrivna språkbruk och då får medierna ta i ännu mer. Man spinner också vidare på "händelsen" med krönikor, analyser, intervjuer med företrädare för partierna. Det finns ofta en betydande rundgång i dessa analyser: hur ofta har vi inte läst att centerpartiet måste locka väljare i storstäderna för att överleva?
Ett sätt för media att spinna vidare på sitt material är att flera frågor ställs i samma mätning. Man ställer upp en sakfråga och menar från materialet att "av miljöpartiets anhängare är 15,37 procent för EMU" eller något liknande. Den exakthet som decimalerna anger är naturligtvis orimlig och säger en hel del om hur okritiska många människor är till statistiska undersökningar. För att på ett tillfredställande sätt undersöka vad miljöpartisterna tycker om EMU måste man ha en god undersökning med ett gott undersökningsmaterial i sig. Att bara se vad miljöpartiets sympatisörer i den egna undersökningen svarade är för litet. Men undersökningar kostar och rubriker säljer.
Tyvärr spelar även gärna partierna med i spelet där man försöker att "triangulera" sitt budskap för att vinna sympatier i de frågor som motståndarens väljargrupper upplever som viktiga (se Dick Morris bok "Power Plays" från 2002, men kritiskt kan man notera att partierna inte ens har triangulerat ordentligt- man övertar bara motståndarens framgångsrika frågor med motståndarens argument). Sedan försöker man att se hur nära man kommer genom opinionsundersökningarna. Detta istället för att genomföra ett ordentligt idé- och kommunikationsarbete till väljarna. Men det var nog ett flertal partier som fick obehagliga överraskningar på valnatten eftersom grunderna till denna tillförlitlighet är lösa.
Begriper opinionen frågan?
Det är inte statistik och opinionsundersökningar i sig det är fel på, utan hur man använder dessa. Inför den stundande folkomröstningen om EMU finns en värre fara. Det är angeläget att opinionsundersökningarna inte förvärrar de problem de undersöker. Opinionsundersökningarnas nestor, George Gallup, framhöll ofta på 50-talet att man inte ska ställa en opinionsfråga till allmänheten utan att först fråga om folk hört talas om saken, lärt sig något om den, och talat med andra om den. Bara om dessa villkor var uppfyllda ansåg han att opinionen var värd att ta på allvar.
Nivågraderade resultat
Daniel Yankelovich, en av USA:s nu ledande opinionsuttolkare, går längre än Gallup. Han menar i sin bok "Coming to Public Judgement" från 1991, att vi inte har en seriös opinion som ledarskribenter, politiker och andra kan luta sig mot förrän folket förstått konsekvenserna av sitt svar på opinionsundersökarnas frågor.
Opinionsundersökare kan lätt få svar som visar att folk tycker att till exempel bilismen är ett hot mot miljön och svar som visar stöd för att miljöfarliga utsläpp beskattas. Men rena helvetet bryter ut, inte minst i det miljövänliga Norrland, om politiker tar dessa opinioner till intäkt för att höja bensinskatten. En opinionsundersökning kan bara vara vägledande för politiker om den undersökt hur folk ser på konsekvenserna av sina opinioner.
Yankelovich menar att nästan alla opinioner går igenom sju stadier. Sociologen Hans L. Zetterberg tog majoritetsopinionen om EU inför folkomröstningen 1994 som en illustration på Yankelovichs resonemang:
- Medvetande om problemet. Sverige ligger i Europa och blir alltmer beroende av resten av Europa.
- Känsla av att något måste göras snart. Vi måste bestämma oss innan EU-tåget går. Det dröjer innan vi får nästa chans.
- Jakt på lösningar. Ska vi fortsätta som förut, kanske med ökat samarbete med nordiska grannar, även när vårt beroende av EU blir större? Eller ska vi gå in i EU så att vi kan påverka det som händer där?
- Motstånd genom önsketänkande. Vi är ju bättre på välfärd än andra, varför ska vi då gå med i EU? Eller vi kan säkert göra om EU så att det blir som Sverige?
- Valarbete. Här inser vi att det finns både fördelar och nackdelar med EU och vi börjar att väga för och emot.
- Tankemässig lösning. I detta stadium förstår vi "innerst inne" att EU, när allt kommer omkring, är bäst i det långa loppet. Och vi tror att landet kommer att gå med.
- Det mogna omdömet. Vi är nu redo att känslomässigt och intellektuellt göra vad som krävs för att få en framtid i EU. Vi tror nu uppriktigt att detta är bäst för oss och för kommande generationer. Vi kan stå för denna åsikt i våra samtal också de dagar EU-nyheterna är negativa.
Oförberedda väljare
Folkomröstningen 1994 gällde om Sverige skulle gå in som medlem i EU. De val som senare hållits till EU-parlamentet har gällt hur vi ska påverka EU. Väljarna var gruvligt oförberedda på det senare. Det finns väldigt få mogna opinioner i väljarkåren om gemensam valutapolitik, försvarspolitik, vetorätt i ministerrådet och om en framtid av överstatlighet eller mellanstatlighet. En del av dessa frågor nådde aldrig det första stadiet av medvetande, annat fastnade i sökande efter lösningar och motstånd genom önsketänkande (stadierna 3 och 4).
Mediernas opinionsundersökningar är mycket opålitliga på dessa låga nivåer. Men då många människor är beroende av medierna för att bilda sig en uppfattning om vad som anses vara "allmän opinion" är de av avgörande betydelse. Faran finns att folkomröstningen om EMU återigen blir en folkomröstning om ja eller nej till EU, med fel frågor på dagordningen. Det borde vara angeläget, både för ja- och nejsidan, att se till att rätt frågor diskuteras. Det blir svårt om "Sifokratin" återigen får råda. Då kan även små pseudohändelser orsaka stora förändringar i opinionen och folkomröstningen kan i värsta fall ge ett resultat på fel grunder, vilket sedan skapar en svekdebatt hos väljarna.
Yankelovich föreslår att medierna, när de publicerar en opinionsundersökning, ska ange på vilket stadium opinionen befinner sig. Det är kanske en orimlig begäran ur journalistisk synpunkt, eftersom det komplicerar redovisningen. Men det är en rimlig begäran att när man har tid och plats utveckla analysen av opinionsläget.
Kanske kan debatten som utlösts om opinionsinstitutens roll förändra värderingen av dem och också vilka värden man vill ha i idéproduktionen inom politiken. Kanske innebär detta slutet för "Sifokratin" och öppnandet av en mer långsiktig idéproduktion.
Läs även andra bloggares åsikter om val2010, politik, opinionsundersökningar, samhälle, media, trender
Intressant
Inga kommentarer:
Skicka en kommentar