Jeg skrev nylig at et offentlig utgitt memo for kampanjeundersøkelse var fra en undersøkelse om meldetesting, med resultatene presentert utenfor sammenheng. Jeg har hatt litt erfaring med å gjennomføre meningsmålinger, spesielt å jobbe med ideelle organisasjoner for å lage kommunikasjonsstrategier.
Min siste erfaring med meldingstestingsmålinger var imidlertid som respondent. For noen uker siden ble jeg oppringt på hjemmetelefonen min for å delta i en meningsmåling som ble utført på vegne av en lokal kampanje. Med en mengde kampanjeundersøkelser nå på gang, gir denne nylige erfaringen en god leksjon om hva som inngår i en undersøkelse av meldingstesting - og hvorfor media bør være forsiktige med å rapportere om resultater fra en intern kampanjeundersøkelse. [Det gir også en god leksjon om det vanskelig å unngå i det minste en liten skjevhet som kryper inn i partiske avstemninger.]
Det første spørsmålet er hvordan navnet mitt ble valgt til denne avstemningen. Rett og slett stemmer jeg ved hvert stortingsvalg, så det er veldig sannsynlig at jeg møter opp til dette off-year valget. Som en uavhengig (dvs. uavhengig) velger er jeg videre en del av det overbevisende velgerne som kampanjebudskapene er spesielt laget for.
Etter å ha konstatert at jeg ikke jobbet for en politisk eller medieorganisasjon, var spørreundersøkelsens første spørsmål om jeg trodde lokalområdet mitt var i riktig retning eller på feil spor. Dette ble etterfulgt av et generisk hesteløpsspørsmål, dvs. om jeg sannsynligvis ville stemme demokratisk eller republikansk for de lokale kontorene på valg i november. Dette er et standard spørsmål for å etablere en grunnlinje, siden de fleste velgere bruker partiets ID-signaler som sitt primære avgjørelsesverktøy. Det var også den første av tre gangene jeg ble bedt om å oppgi min intensjon i løpet av intervjuet - et sentralt kjennetegn ved meningsmålinger.
Det neste settet med spørsmål spurte meg om jeg har hørt om de sittende kontoransatte som er på nytt valg, og hva min overordnede oppfatning av dem var. Igjen, dette er standard ting - sittende valg er vanligvis folkeavstemninger om de nåværende kontorinnehaverne. Neste spørsmål presenterte deretter match-to-head matchups for hvert kontor, men denne gangen ble de to kandidatene utnevnt til hvert kontor. Dette var mitt andre skudd på å uttrykke et valg av valg, fordi enhver endring fra det generiske partiseddelspørsmålet som ble spurt tidligere, kunne indikere underliggende styrker eller svakheter hos de nevnte etablerte.
De neste spørsmålene spurte meg om å nevne det viktigste lokale problemet mitt og vurdere mine lokale myndigheters resultater. Hensikten med disse artiklene er å avdekke eventuelle ukjente problemer før avstemningen måler virkningen av potensielle meldinger som allerede er utarbeidet av kampanjen.
Vi gikk deretter over til kjøttet av saken. Intervjueren leste noen ganske lange positive beskrivelser, dvs. meldinger, om begge kandidatene til hvert av kontorene på stemmeseddelen. Deretter ble jeg spurt om stemmevalget mitt - for tredje gang.
To ting er viktig å merke seg her. For det første vil et internt avstemningsnotat som frigjør resultatene av dette tredje spørsmålet uten å nevne sammenhengen, være en feilaktig fremstilling av den faktiske velgerens intensjon - fordi avstemningsrespondentene hadde mer informasjon om kandidatene enn typiske velgere - og at informasjonen kom en bare siden.
For det andre er dette poenget der jeg fant ut hvem som sponset avstemningen (dvs. utfordrerne). Så hardt som denne spørreundersøkelsen prøvde å være balansert i formuleringen av de positive beskrivelsene for begge partiets kandidater, hadde beskrivelsene for en skifer kandidater bare litt mer ordlyd. Denne subtile forskjellen kan ha en utilsiktet innvirkning på resultatene av spørsmålet om valg av tredje stemme.
For å være rettferdig, kan det hende ordvalget ikke hadde vært avstemmingen. Jeg har jobbet med partnere som insisterer på at et bestemt ord eller en bestemt setning må inkluderes i spørsmålet. Noen ganger lykkes det med å snakke dem ut av det, og noen ganger går du bare sammen for å komme prosjektet videre.
Spørsmålsformulering er kjernen i kunsten å stemme. Det fortjener like mye granskning som den demografiske sammensetningen av et utvalg og avstemningens feilmargin. Dette er grunnen til at anerkjente avstemmere frigjør den fulle ordlyden av alle spørsmålene de stiller. Og det er derfor mediene aldri skal rapportere en avstemning der avstemmeren nekter å frigjøre det komplette spørreskjemaet.
Tilbake til undersøkelsesintervjuet. Det siste settet med spørsmål - før de ble avsluttet med grunnleggende demografisk informasjon - ga noen negativ informasjon om de etablerte (bekreftende mistankene mine om sponsorpartiet). Jeg ble spurt om å vite om denne informasjonen ville påvirke min stemme. Igjen, dette er standard ting.
Interessant, svært få meldinger ble testet i denne avstemningen. I et konkurransedyktig høyt profilert løp vil hver kampanje teste en rekke pro og con uttalelser for å begrense kommunikasjonsstrategien til de mest effektive budskapene. I dette tilfellet ble bare en eller to meldinger om hver sittende testet. Dette indikerer et løp hvor avgjørelsen kanskje ikke er hvilke meldinger du skal velge, men om det er verdt å bruke ressurser, og i så fall hvordan du skal identifisere de mest smidige segmentene i velgerne.
Forresten, dette var en ganske god meldingstestingsmåling gitt det aktuelle valget. Intervjuer var av meget høy kvalitet og spørreskjemaet var godt utformet, mine observasjoner om den positive kandidatbeskrivelsen ubalanse til tross.
Det er også en interessant sidemerknad til denne historien. Jeg bekreftet identiteten til avstemningssponsoren gjennom et internetsøk etter firmanavnet og en gjennomgang av utgiftsrapporter for valglovhåndhevelseskommisjonen. Da jeg ringte representanter for både meningsmåleren og partiorganisasjonen for å bekrefte, ble de merkbart oppslukt. En sa at han ville ringe meg tilbake, men gjorde aldri det. Den andre svarte på spørsmålene mine hovedsakelig med um eller er.
Reaksjonen deres understreker det faktum at kampanjer har en tendens til å behandle deres interne meningsmålinger som statshemmeligheter. Vanligvis vil de ikke at noen utenfor kampanjeorganisasjonen skal vite hva resultatene deres viser. Faktisk vil de vanligvis ikke at noen skal få vind på det faktum at de stemmer i det hele tatt. Alt dette gjør at enhver offentlig utgitt intern avstemning umiddelbart mistenker.
Så mitt råd til media er at hvis en kampanje plutselig er ivrig etter å gi ut avstemningsresultater til et bredere publikum av interesserte, bør du vurdere motivet. Og så er det bare å arkivere det.
[Merk: Jeg skulle ønske at kampanjeundersøkere ville være mer imøtekommende med deres kontaktinformasjon på slutten av intervjuet, siden deres oppførsel gjenspeiler hele yrket. Imidlertid bestemte jeg meg for ikke å identifisere sponsoren til denne avstemningen siden deres praksis var god, og det primære formålet med denne artikkelen er å fremme et mer kritisk blikk mot offentlig utgivelse av interne kampanjeavstemninger i stedet for å utføre en bestemt kampanje.]
Synspunktene som er uttrykt er forfatterens og representerer ikke stillingen til noen publikasjon eller institusjon.
