Hvordan lage en god undersøkelse (veiledning)

En enkel veiledning for å lage en god undersøkelse

LimeSurvey gjør det enkelt å sette sammen en undersøkelse raskt. Dessverre gjør det også det veldig enkelt å lage en dårlig undersøkelse.

På denne siden finner du en enkel veiledning for å lage en undersøkelse som ikke bare er smertefri for målgruppen din å fullføre, men som også gir deg meningsfulle svar.

Bloggen "Survey design tips & tricks" gir også annen svært nyttig informasjon.

Før du lager en undersøkelse

Noen viktige spørsmål må besvares før du utformer et spørreskjema – faktisk allerede før du bestemmer deg for om et spørreskjema er riktig fremgangsmåte.

Hva er det du egentlig ønsker å finne ut gjennom forskningen din?

Når du har besvart dette spørsmålet, kan du stille deg følgende spørsmål:

• Vil en undersøkelse hjelpe meg med å få den informasjonen jeg trenger til forskningen min?
• Hvem er de rette personene å be om å fullføre undersøkelsen?
• Hvordan kan jeg sikre at jeg når de rette personene?
• Hva er den beste måten å hjelpe de som fyller ut undersøkelsen med å forstå spørsmålene fullt ut (slik at informasjonen du får er nøyaktig og nyttig)?
• Hvilke statistiske metoder (for dataanalyse), om noen, vil/må jeg bruke på dataene når de er samlet inn?

Dette er bare noen av spørsmålene du trenger klare svar på når du skal avgjøre om LimeSurvey er det riktige verktøyet for deg.

LimeSurvey egner seg utmerket til fullstendig strukturerte spørreskjemaer (du vet alle spørsmålene du trenger å stille før du starter intervjuet), standardiserte (alle får mer eller mindre det samme spørreskjemaet) og hovedsakelig kvantitative (det handler hovedsakelig om tall eller spørsmål med forhåndsdefinerte svar) som samles inn på nett.

Til en viss grad kan du selvsagt avvike fra dette. Du kan bruke LimeSurvey til å samle inn svar fra enkelte typer telefonintervjuer. Du kan også bruke LimeSurvey til å samle inn kvalitative data, for eksempel ved å bruke tekstspørsmål.

Men på et tidspunkt kan du komme til at andre forskningsmetoder er mer egnet.

Strukturere et spørreskjema

Når du skal bestemme rekkefølgen på spørsmålene og hvordan de skal grupperes, er det noen forhold du bør ta hensyn til.

Start om mulig med spørsmål som er enkle å svare på, og som alle deltakere er komfortable med å svare på. Ofte vil dette være silingsspørsmål, det vil si spørsmål du må stille for å finne ut om du spør de rette personene (bruk betingelser og/eller kvoter for å håndtere disse silingsspørsmålene).

Å plassere denne typen spørsmål først kan bidra til at deltakerne ikke forlater undersøkelsen før den er fullført, siden folk er mindre tilbøyelige til å avslutte når de allerede har brukt litt tid på å svare på disse innledende spørsmålene/silingsspørsmålene.

Eksempler:

Which of the following fruit do you like?
#Apples   ()
#Bananas  ()
#Cherries ()

(enkeltvalg)

Du kan bruke betingelser for å vise neste spørsmål om kirsebær hvis deltakeren valgte ''kirsebær''.

Hvorfor foretrekker du kirsebær?
#De smaker godt
#Jeg elsker fargen
#De er sunne
#De er saftige
#Jeg elsker kirsebærpai

(spørsmål med flervalg (eller enkeltvalg, avhengig av om du trenger nøyaktige data))

Hvor godt liker du kirsebær?
#1) Ikke mye mer enn annen frukt
#2) Liker dem bedre enn annen frukt
#3) Det er en av favorittfruktene mine!
#4) JEG ELSKER KIRSEBÆR!

(enkeltvalg)

Kjenner du til noen oppskrifter med kirsebær?

[tekstfelt]

Ovenfor er et eksempel på innledende spørsmål som er enkle å svare på, etterfulgt av hovedspørsmålet.

Målet var å samle inn oppskrifter med kirsebær, epler og bananer.

Hvis du derimot må stille spørsmål som er vanskelige å svare på, kan du vurdere å bruke egne sider for hvert spørsmål eller hver spørsmålsgruppe, og plassere disse vanskelige spørsmålene helt til slutt. På den måten er i det minste de forrige besvarelsene lagret hvis deltakerne bestemmer seg for ikke å fullføre undersøkelsen.

Noe annet å tenke på når det gjelder struktur: Unngå skjevheter som skapes av selve spørreskjemaet.

I markedsundersøkelser finnes det for eksempel konsepter som krever både uhjulpne og hjulpne spørsmål.

Et eksempel på et uhjulpet spørsmål er:

"Hvilke sjokolademerker kjenner du til?"

(etterfulgt av et tomt tekstfelt)

Følgende er et eksempel på et hjulpet spørsmål:

 "Hvilke av følgende sjokolademerker kjenner du til?"

(etterfulgt av en liste over merker (flervalg))

Som nevnt tidligere bør du, hvis du velger å ta med begge typer spørsmål (hjulpne og uhjulpne) i samme spørreskjema, sørge for å plassere dem på ulike sider og stille de uhjulpne spørsmålene før de hjulpne. Hvis et hjulpet spørsmål kommer før et uhjulpet, kan det utilsiktet påvirke deltakernes svar, noe som ville ugyldiggjøre resultatene dine.

Enkeltspørsmål

Spørsmål bør ikke være ledende. «Hva mener du om LimeSurvey?» er et akseptabelt (ikke-ledende) spørsmål, mens «Er du ikke enig i at LimeSurvey er et virkelig flott verktøy?» er et ledende spørsmål.

Flere eksempler og forslag til formulering av spørsmål:

Folk kan svare «ja» på å donere penger hvis de får spørsmålene på følgende måte:

• Elsker du naturen?
• Vil du donere penger for å hjelpe elven?

De vil sannsynligvis svare «nei» hvis spørsmålene stilles på denne måten:

• Er mangel på penger et problem for deg?
• Vil du donere penger for å hjelpe elven?

For å få riktige svar bør du ordne spørsmålene:

• fra de minst sensitive til de mest sensitive
• fra generelle til mer spesifikke
• fra spørsmål om fakta til spørsmål om meninger

Et spørsmål i en undersøkelse kan også være:

• Åpent (personen svarer med egne ord), eller
• Lukket (personen velger blant et begrenset antall alternativer)

Lukkede spørsmål er mye enklere å analysere, men gir kanskje ikke respondentene mulighet til å gi det svaret de egentlig ønsker.

Eksempel: «Hva er din favorittfarge?»

Åpent: Noen kan svare «mørk fuksia», og da må du ha en kategori «mørk fuksia» i resultatene dine.

Lukket: Med et valg på bare 12 farger blir arbeidet ditt enklere, men respondentene kan kanskje ikke velge sin eksakte favorittfarge.

Vurder hvert spørsmål nøye og avgjør om det bør være åpent eller lukket. Hvis du trenger dypere innsikt i svarene, bruker du åpne spørsmål. Hvis ikke, kan du bruke lukkede spørsmål.

Eksempel (åpent): "Hva tror du er den beste måten å rydde opp i elven på?"

Gjør det åpent: Svarene er kanskje ikke enkle å sette inn i en tabell eller en graf, men du kan få dyp innsikt i folks følelser og ideer om å rydde opp i elven eller miljøet, og du kan bruke direkte sitater i rapporteringen.

Eksempel (lukket): "Hvor ofte besøker du elven?"

Gjør det lukket med følgende alternativer:

• Nesten hver dag
• Minst 5 ganger i året
• 1 til 4 ganger i året
• Nesten aldri

Du vil kunne presentere disse dataene i et ryddig søylediagram.

Når du arbeider med flervalgsspørsmål eller enkeltvalgsspørsmål, må du sørge for å velge riktig spørsmålstype og formulere både spørsmål og svar på en egnet måte.

For eksempel:

Which of the following fruit do you like?
#Apples   ()
#Bananas  ()
#Cherries ()

Eksemplet ovenfor er et typisk flervalgsspørsmål, siden du kan like flere av elementene i listen. Derimot er "Hvilken av følgende frukter foretrekker du mest?" et enkeltvalgsspørsmål.

Begge fruktseksemplene er formulert for å gjøre det klart at du bare er opptatt av frukten som er oppført. Hvis du skulle spørre "Hva er din favorittfrukt?", bør du enten ha en virkelig uttømmende liste over frukt eller, mer sannsynlig, bruke LimeSurveys innstilling for å legge til et felt for "annet". Generelt må svaralternativene i de fleste tilfeller være fullstendige, gjensidig utelukkende og entydige.

Hvis du har flervalgs- eller enkeltvalgsspørsmål med mange alternativer å velge mellom, bør du være klar over at dette kan introdusere en annen skjevhet, siden deltakerne gjerne konsentrerer oppmerksomheten om de første alternativene og ikke om de i midten. LimeSurvey har en fin funksjon for å randomisere rekkefølgen på spørsmål, noe som til en viss grad eliminerer dette problemet.

Hva kjennetegner en god undersøkelse?

Det er tre kjennetegn ved en undersøkelse som bidrar til å framkalle de riktige svarene for mer nøyaktige vurderinger:

1. Spørsmålene er klare og presise, og gir til sammen detaljerte, entydige og meningsfulle svar.
2. Alle forhåndsdefinerte svar og formatene deres passer til spørsmålet.
3. Det er rom for at folk kan legge til ekstra informasjon hvis de trenger det.

I tillegg bør du alltid ha brukeropplevelsen i tankene. Lesing, rulling og klikking er slitsomme aktiviteter. Derfor:

1. Unngå unødvendige spørsmål.
2. Bruk betingelser for å unngå å stille spørsmål som ikke er relevante for en bestemt deltaker.
3. Hold spørsmål og svar korte og lette å lese – bruk egnet markering.
4. Tenk på avveiningen mellom rulling og klikking. Vis alt på én side for korte spørreskjemaer (5–15 spørsmål, avhengig av hvor komplekse spørsmålene er). Bruk grupper med omhu for lengre spørreskjemaer, det vil si grupper spørsmål på en forståelig måte. Bruk gruppebeskrivelser for å gi en tydelig angivelse av temaet for de neste spørsmålene.
5. Unngå å forvirre deltakerne med ulike skalaer, det vil si begrens antall ulike skalatyper, skalaomfang og ulike skalabeskrivelser så mye som mulig. Prøv å ikke endre retningen på skalaene. (Det finnes noen metodiske unntak.)
6. For vurderingsskalaer kan det være nyttig å bruke et partall av vurderingsalternativer for å gjøre det lettere for respondentene å bestemme seg (se nedenfor).

Eksempel på svarskalaer for hvor ''bra'' noe er:

1. Svært bra

2. Bra

3. Ganske bra

4. Ikke så bra

5. Dårlig

6. Svært dårlig

Eksempel på svarskalaer for hvor ''dårlig'' noe er:

1. Bra

2. Middels

3. Dårlig

Den beste måten å begynne å utforme en undersøkelse på er å ta et øyeblikk og forestille seg den ideelle tilbakemeldingen. Det sier seg selv at meningsfulle svar er de mest nyttige, så prøv å lage spørsmål som inviterer til slike svar.

Hvordan går du fram? Den beste metoden er å skille ut alle områdene og avgjøre hvilken informasjon du trenger.

Tenk deg for eksempel at du har holdt et arrangement som var åpent for publikum, og at du trenger generelle tilbakemeldinger om arrangementet.

Følgende undersøkelse er et eksempel på en som kan være utilstrekkelig for å få nyttige svar:

Likte du arrangementet?

( ) Ja

( ) Nei

Hvor bra var Wi-Fi?

1 2 3 4 5 6 7 8 9 10

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

Hadde du problemer med å komme deg til arrangementet?

( ) Ja

( ) Nei

Var kartet som ble gitt til hjelp?

( ) Ja

( ) Nei

Hva syntes du om sammensetningen av foredragsholdere?

( ) Veldig trist ( ) Trist( ) Nøytral ( ) Glad ( ) Veldig glad

Matrisespørsmål ville vært et bedre valg for scenarioet ovenfor.

Matrisespørsmål=

Som en generell regel bør skalaer bare brukes for spørsmål om alder, tid (kanskje) eller mengder. Matrisespørsmål må formuleres riktig for å gi den mest nyttige tilbakemeldingen. Husk at en matrise med obligatoriske spørsmål kan virke litt avskrekkende på målgruppen din, fordi den, når den ikke er riktig strukturert, ikke gir rom for å samle inn ekstra informasjon.

Sannsynligvis ønsker den som svarer på undersøkelsen din å gi tilbakemelding, og hvis personen ikke tror at han eller hun kan dele noe nyttig, vil vedkommende bare lukke vinduet og gå videre.

Så hva er galt med undersøkelsen ovenfor?

La oss se på hvert spørsmål enkeltvis.

Spørsmål 1 oppnår egentlig ingenting. Tenk deg at du mottar 100 «nei»-besvarelser. Besvarelsen alene gir ingen nyttig informasjon om hvorfor deltakeren ikke likte arrangementet. Du ville stå igjen og lure på årsaken til «nei»-besvarelsene, og på hva du skal gjøre med dem. Vi ser på en mulig forbedring av dette om litt.

Spørsmål 2 er verre enn det første. Hvis vi ser tilbake på de tre kjennetegnene på en god undersøkelse, ser vi at spørsmål må være klare og presise. Jeg er ingen ekspert på Wi-Fi, men jeg er ganske sikker på at det finnes bedre måter å måle dette på. Dessuten gir det ikke grunnlag for et meningsfullt svar på et spørsmål som: «Hva vil du gjøre med kunnskapen om at 33 % av folk vurderte Wi-Fi som bra, mot bare 23 %?» De tre kjennetegnene på en god undersøkelse sier også at de forhåndsdefinerte svarene må passe til spørsmålet.

Det er ganske åpenbart at bruk av en skala for dette spørsmålet ikke hjelper deg med å forbedre kvaliteten på Wi-Fi. Det er et klart behov for at dette spørsmålet har plass til at folk kan legge til ekstra informasjon. Hvordan kan noen melde fra om et konkret problem uten å kunne utdype?

I dette tilfellet ville det være nesten umulig å ha nok informasjon til å håndtere problemene deltakerne hadde med Wi-Fi på en god måte. Undersøkelser handler om å få nyttig informasjon som du kan jobbe med eller lære av.

Spørsmål 3 og 4 ville gitt de samme resultatene som de to første spørsmålene. De tillater bare et «ja»- eller «nei»-svar, og ingen av dem gir mulighet til å legge til detaljer. Etter denne delen gir vi forslag til hvordan du kan forbedre slike spørsmål.

Spørsmål 5, det siste spørsmålet, er også lite effektivt. Å spørre om graden av tilfredshet med noe er ikke særlig nyttig, ettersom alle har ulike interesser, og alle vil derfor sannsynligvis ha ulike meninger om hver enkelt foredragsholder. Det er et nytt eksempel på at et «skala»-spørsmål brukes der det ikke burde brukes.

Se på den forbedrede undersøkelsen nedenfor.

Brukte du det interne Wi-Fi-nettverket?

( ) Ja

( ) Nei

Opplevde du noen problemer med Wi-Fi?

( ) Ingen problemer i det hele tatt

( ) Noen få små problemer, ikke noe alvorlig

( ) Ett eller to alvorlige problemer

( ) Wi-Fi var nesten helt ubrukelig.

Hvis du opplevde problemer, kan du beskrive dem kort? (Tekstfelt)

Hadde du problemer med å komme deg til arrangementet?

( ) Ja

( ) Nei

Hvordan kom du deg til arrangementet vårt?

( ) Tog

( ) Bil

( ) Buss

( ) Bybane (f.eks. T-bane, trikk)

( ) Til fots

Brukte du kartet fra nettstedet vårt?

( ) Ja

( ) Nei

Hvis du så på kartet, var det detaljert nok?

( ) Ja

( ) Det ga meg en grov idé. Jeg brukte likevel et annet kart for mer detaljer.

( ) Ikke detaljert i det hele tatt

Hvis du ikke brukte kartet, hvorfor ikke?

( ) Ikke nok detaljer

( ) Jeg brukte GPS/Google Maps i stedet.

( ) Jeg visste ikke engang at det fantes!

Generelt sett, var foredragsholderne interessante? Likte du presentasjonene?

( ) Nesten alle var interessante og svært underholdende

( ) For det meste underholdende, men noen få mindre interessante foredrag.

( ) Fifty-fifty

( ) Mer kjedelige enn interessante

( ) Fant ingen interessante

Utdyp gjerne svaret ditt på spørsmålet ovenfor. Du kan gjerne vise til bestemte

personer/foredrag. (Tekstfelt)

Hvis vi kan forbedre utvalget av foredrag, eller du har andre interessante ideer om

foredragene, skriv dem ned nedenfor (Tekstfelt)

Hvis du har andre anbefalinger eller ideer, skriv dem ned nedenfor. (Tekstfelt)

Denne undersøkelsen er kanskje litt lengre, men det er mye enklere å svare på og tolke besvarelsene. Når du stiller to eller tre spørsmål om hvert av temaene, kan du gjøre litt mer analyse når resultatene skal behandles. Tenk deg for eksempel at du på det første spørsmålet i den første undersøkelsen fikk 30 personer som oppga at de hadde problemer med å komme seg til arrangementet.

Det ville ha vært all informasjonen du kunne hentet ut fra resultatene, men med det nye settet med svar er det mulig å utlede hvilke transportmåter som skapte problemer for folk. Dessuten kan du gå videre og se om de brukte kartet som var oppgitt eller en annen form for navigering, og bruke dette til å målrette forbedringer i fremtiden.

Husk at etter 50 spørsmål er det mest sannsynlig at brukeren slutter å lese

Tekstfeltspørsmål er andre viktige tillegg. De lar deltakerne dine gi spesifikke tilbakemeldinger som du kan trekke på. Det er lurt å ikke gjøre disse obligatoriske, ettersom de kan gjøre at folk lar være å svare.

Avslutningsvis bør du, når du lager en undersøkelse, tilstrebe å lage en som stiller spesifikke spørsmål for å få mer nyttig informasjon til analyse. Husk også at det er nyttig å samle inn litt ekstra bakgrunnsinformasjon, siden den kan brukes til å analysere besvarelsene bedre.

Det er også viktig å formulere spørsmålene dine riktig. Hvis folk skal svare på spørsmålene og ikke forstår dem, lukker de vinduet og går videre. Hvis mulig bør du få noen andre til å lese gjennom undersøkelsen før du gjør den offentlig tilgjengelig, slik at spørsmålene blir tydelige.

Skjevhet i undersøkelser

Når man gjennomfører markedsundersøkelser, er en viktig nøkkel til å få uhildede besvarelser å unngå å stille deltakerne spørsmål som kan påvirke besvarelsene de gir. Å unngå skjevhet i undersøkelsen bidrar til å eliminere besvarelser som kan ugyldiggjøre eller forvrenge dataene som samles inn. Det er ganske enkelt og vanlig at et selskap eller en person uten riktig opplæring/kunnskap om markedsundersøkelser gjør feil på dette området. Dette gjelder mange ting, fra måten et spørsmål er formulert på, til hvilke typer svar man kan velge mellom, til måten en intervjuer presenterer spørsmålene på hvis dataene samles inn over telefon eller ansikt til ansikt.

Følgende er et eksempel på et skjevt spørsmål:

Hvor godt likte du arrangementet?

( )Veldig godt

( )Bare litt

( )Ikke så godt

( )Ikke i det hele tatt

Ved første øyekast ser det ut til at det ikke er noe galt med oppbygningen av dette spørsmålet. Respondenten har tross alt valg som spenner fra «veldig godt» til «ikke i det hele tatt». Problemet ligger imidlertid i måten spørsmålet er formulert på. Ved å spørre deltakeren «Hvor godt» han eller hun likte arrangementet, har den som gjennomfører undersøkelsen allerede skapt en skjevhet ved å anta at respondenten likte arrangementet på en eller annen måte, noe som ikke nødvendigvis er tilfelle.

Følgende eksempel er en bedre måte å stille spørsmålet på, uten å påvirke deltakerens svar:

Hvordan vil du vurdere din samlede opplevelse av arrangementet på en skala fra 1 til 5: 1 = "Ikke i det hele tatt" og 5 = "Likte det veldig godt"

1 2 3 4 5

( ) ( ) ( ) ( ) ( )

Når spørsmålet formuleres om, kan respondenten svare på en skala som gjør det enkelt å angi hvor godt han eller hun likte det, og det gjør det enkelt for den som gjennomfører undersøkelsen å tabulere og sammenligne resultatene med andre respondenter. Selvfølgelig bør det legges til flere spørsmål for å finne ut nærmere hva deltakerne likte eller ikke likte.

Dette er bare ett eksempel på hvordan små endringer i ordlyden kan forbedre undersøkelsen din.