좋은 설문조사를 디자인하는 방법(가이드)
From LimeSurvey Manual
__목차__
좋은 설문조사를 만들기 위한 간단한 가이드
LimeSurvey를 사용하면 설문조사를 매우 빠르게 구성할 수 있습니다. 불행하게도 이는 잘못된 설문조사도 매우 쉽게 만들게 합니다.
이 페이지에서는 참여자가 부담 없이 완료할 수 있을 뿐만 아니라 의미 있는 응답도 얻을 수 있는 설문조사를 만드는 간단한 가이드를 확인할 수 있습니다.
블로그"설문조사 디자인 팁 및 요령"에서도 매우 유용한 정보를 제공합니다.
설문조사를 만들기 전에
설문조사를 설계하기 전에, 사실은 설문조사가 올바른 방법인지 결정하기 전에도 답해야 할 몇 가지 중요한 질문이 있습니다.
연구를 통해 정말로 알고 싶은 것이 무엇인가요?
이 질문에 답했다면 다음을 스스로에게 질문해 보십시오:
- 설문조사가 연구에 필요한 정보를 얻는 데 도움이 될까?
- 설문조사에 응답을 요청해야 할 적합한 사람은 누구인가?
- 적합한 사람들에게 어떻게 도달할 수 있는가?
- 설문조사에 응답하는 사람들이 질문을 완전히 이해하도록 돕는 가장 좋은 방법은 무엇인가(얻은 정보가 정확하고 유용하도록)?
- 데이터를 수집한 후 데이터 분석을 위해 어떤 통계적 방법을 사용하고 싶거나 사용해야 하는가?
- 어떤 개인 정보가 정말 필요하며, 이를 어떻게 보호할 것인가?
다음은 LimeSurvey가 귀하에게 적합한 도구인지 결정할 때 명확한 답변이 필요한 몇 가지 질문입니다.
LimeSurvey는 온라인으로 진행되는 설문조사 중에서도 완전히 구조화되고(인터뷰를 시작하기 전에 필요한 모든 질문을 알고 있음), 표준화되고(모든 사람이 거의 동일한 설문조사를 받음), 대부분 정량적인(주로 숫자 또는 사전 정의된 응답이 있는 질문에 관한 것) 설문조사에 매우 적합합니다.
물론 어느 정도는 이와 다르게 사용할 수도 있습니다. LimeSurvey를 사용하여 전화 인터뷰와 같은 인터뷰의 응답을 입력할 수 있습니다. 또한 텍스트 질문 등을 사용하여 정성적 데이터를 수집할 수도 있습니다.
그러나 어느 시점에서는 다른 조사 방법이 더 적합하다는 결론에 도달할 수도 있습니다.
설문조사 구조화
질문 순서와 그룹화 방법을 결정하려면 고려해야 할 몇 가지 측면이 있습니다.
가능하다면 대답하기 쉽고 모든 참가자가 편안하게 대답할 수 있는 질문부터 시작하세요. 대개 이는 선별(screening) 질문입니다. 즉, 적절한 사람에게 질문하고 있는지 확인하기 위해 물어봐야 하는 질문입니다(conditions 및/또는 quotas 을 사용하세요).
이러한 유형의 질문을 처음에 넣으면 참가자가 설문조사를 완료하기 전에 설문조사를 떠나는 것을 방지하는 데 도움이 될 수 있습니다. 사람들이 이미 이러한 도입/선별 질문에 답변하기 위해 일부 작업을 수행한 후에는 설문조사를 종료할 가능성이 낮아질 수 있기 때문입니다.
예시:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
(다수 답안)
조건을 사용하면 ''Cherries''를 선택한 참여자에게만 체리에 관한 다음 질문을 표시할 수 있습니다.
Why do you like cherries?
#They are tasty
#I love the color
#They are healthy
#They are juicy
#I love cherry pie
(다수 답안)
체리를 얼마나 좋아하세요?
#1) 다른 과일보다 크게 더 좋아하지는 않는다
#2) 다른 과일보다 더 좋아한다
#3) 가장 좋아하는 과일 중 하나다!
#4) 체리를 정말 사랑한다!
(단일 선택)
체리를 이용한 요리법을 아시나요?
[텍스트 필드]
위는 주요 질문이 따라오는 대답하기 쉬운 도입 질문의 예입니다.
목표는 과일 조리법을 수집하는 것이었습니다. 도입 질문은 답하기 쉬우며, 체리를 좋아하는 참여자에게만 체리에 관해 질문하도록 보장합니다.
반면, 답하기 어려운 질문을 해야 한다면 각 질문 또는 질문 그룹마다 다른 페이지를 사용하고(설문조사 서식을 일반 설정에서 그룹별로 또는 질문별로로 설정) 이러한 어려운 질문을 맨 마지막에 배치하는 방안을 고려해 볼 수 있습니다. 이렇게 하면 참여자가 설문조사를 끝까지 완료하지 않기로 하더라도 최소한 이전 답변은 저장됩니다.
구조와 관련하여 고려해야 할 또 다른 사항은 설문조사 자체로 인해 발생하는 편향을 피하는 것입니다.
예를 들어, 시장 연구에는 비보조 질문과 보조 질문이 필요한 개념이 있습니다.
비보조 질문의 예는 다음과 같습니다:
"Which brands of chocolate are you familiar with?"
(다음에는 빈 텍스트 상자가 옵니다)
다음은 보조 질문의 예입니다:
"Which of the following brands of chocolate are you familiar with?"
(다음에 브랜드 목록(객관식))
같은 설문조사에 두 가지 유형의 질문(보조 질문과 비보조 질문)을 모두 포함하기로 했다면, 서로 다른 페이지에 배치하고 비보조 질문을 보조 질문보다 먼저 배치해야 합니다. 보조 질문을 비보조 질문 앞에 두면 의도치 않게 참여자의 응답에 영향을 주어 결과가 무효가 될 수 있습니다. 같은 이유로, 참여자가 목록을 본 후 돌아가서 비보조 질문의 응답을 변경할 수 없도록 이전 탐색을 끄는 것도 고려해 보십시오.
개별 질문
질문은 유도적이지 않아야 합니다. "LimeSurvey에 대해 어떻게 생각하시나요?"는 수용 가능한(비-유도적) 질문입니다만 "LimeSurvey가 정말 훌륭한 도구라는 점에 동의하지 않습니까?"라는 질문은 유도적인 질문입니다.
표현 질문에 대한 다른 사례와 제안:
사람들은 다음과 같은 질문을 받으면 기부에 대해 '예'라고 대답할 수 있습니다.
- 자연을 사랑하시나요?
- 강을 돕기 위해 돈을 기부하시겠습니까? ?
이런 식으로 질문을 하면 그들은 아마도 '아니요'라고 대답할 것입니다:
- 돈이 부족해서 문제가 되나요?
- 강을 돕기 위해 돈을 기부하시겠습니까?
적절한 답변을 구하는 데 도움이 되도록 질문 순서를 정하세요:
- 가장 덜 민감한 것부터 가장 민감한 것으로
- 일반적인 것부터 더 구체적인 것으로
- 사실에 관한 질문부터 의견에 관한 질문으로
질문을 작성할 때는 다음 사항도 염두에 두십시오:
- 한 번에 한 가지만 질문하십시오. "저희 제품의 가격과 품질에 얼마나 만족하십니까?"라는 질문은 품질은 마음에 들지만 가격은 마음에 들지 않는 사람이 제대로 답할 수 없습니다. 두 개의 질문으로 나누십시오.
- 간단하고 일상적인 단어를 사용하고 참여자가 모를 수 있는 약어와 전문 용어는 피하십시오.
- 부정문을 피하십시오. 특히 "강을 청소하지 않아야 한다는 의견에 동의하지 않으십니까?"와 같은 이중 부정은 피해야 합니다.
- 기간을 구체적으로 명시하십시오. "지난 12개월 동안 강을 얼마나 자주 방문하셨습니까?"는 "강을 얼마나 자주 방문하십니까?"보다 답하고 비교하기가 더 쉽습니다.
또한 설문조사 질문은 다음과 같을 수 있습니다:
- 개방형(사람이 자신의 말로 대답함) 또는
- 폐쇄형(사람이 제한된 수의 옵션에서 선택함)
폐쇄형 질문은 분석하기가 훨씬 쉽지만 응답자가 실제로 원하는 답변을 제공하지 못할 수도 있습니다.
예: "가장 좋아하는 색깔은 무엇입니까?"
개방형: 누군가가 "진한 자홍색"이라고 대답할 경우, 결과에 "진한 자홍색"이라는 카테고리가 필요합니다.
폐쇄형: 선택할 수 있는 색상이 12가지뿐이므로 작업이 더 쉬워지지만 응답자가 정확히 좋아하는 색상을 고르지 못할 수도 있습니다.
각 질문을 신중하게 검토하여 개방형으로 할지 폐쇄형으로 할지 결정하십시오. 응답에 대한 더 깊은 통찰이 필요하다면 개방형 질문을 사용하십시오. 그렇지 않다면 폐쇄형 질문을 사용할 수 있습니다.
예시(개방형): "강을 청소하는 가장 좋은 방법은 무엇이라고 생각하십니까??"
개방형 질문으로 만드세요. 답을 표나 그래프로 표현하기 쉽지는 않겠지만, 강이나 환경 정화에 대한 사람들의 감정과 생각을 깊이 있게 이해할 수 있고, 보도에서 직접 인용문을 사용할 수도 있습니다.
예시(폐쇄형): "지난 12개월 동안 강을 얼마나 자주 방문하셨습니까?"
다음 옵션을 사용하여 폐쇄형으로 만드십시오:
- 거의 매일
- 최소 5회
- 1~4회
- 전혀 없음
이 데이터를 깔끔한 막대 그래프로 표현할 수 있습니다.
다수 답안 또는 단일 선택 질문을 사용할 때는 적절한 질문 유형을 선택하고 질문과 응답을 모두 적절하게 구성해야 합니다.
예를 들어:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
위의 질문은 목록에서 여러 항목을 좋아할 수 있으므로 전형적인 다수 답안 질문입니다. 반면, "다음 과일 중 가장 좋아하는 것은 무엇입니까?"는 단일 선택 질문입니다.
두 과일 예시 모두 나열된 과일에만 관심이 있다는 점을 분명히 하도록 작성되었습니다. "가장 좋아하는 과일은 무엇입니까?"라고 묻는다면 정말 빠짐없이 과일 목록을 제공하거나, 그보다는 LimeSurvey의 "기타" 옵션을 사용하여 목록에 없는 응답을 입력할 수 있는 텍스트 필드를 추가해야 합니다. 일반적으로 대부분의 경우 응답 옵션은 완전하고, 상호 배타적이며, 명확해야 합니다.
일부 참여자가 질문에 답할 수 없는 경우를 대비해 "모르겠음" 또는 "해당 없음" 같은 응답 옵션을 제공하여 빠져나갈 방법을 마련해 주십시오. 필수가 아닌 질문의 경우 LimeSurvey는 "응답 없음" 옵션도 표시할 수 있습니다. 그렇지 않으면 사람들이 계속 진행하기 위해 아무 응답이나 선택할 수 있으며, 이는 데이터의 신뢰도를 떨어뜨립니다.
선택할 옵션이 많은 다수 답안 또는 단일 선택 질문이 있는 경우, 참여자가 중간에 있는 옵션보다 맨 처음 옵션에 주의를 집중하는 경향이 있어 또 다른 편향이 발생할 수 있다는 점에 유의해야 합니다. 이 문제를 줄이려면 질문의 응답 옵션 순서를 무작위로 설정하여 모든 참여자가 서로 다른 순서로 옵션을 보도록 할 수 있습니다. 같은 방법으로 무작위화 그룹을 사용하여 질문을 무작위 순서로 표시할 수도 있습니다.
좋은 설문조사란 무엇인가?
설문조사에는 보다 정확한 평가를 위해 필요한 적절한 응답을 이끌어내는 데 도움이 되는 3가지 특징이 있습니다.
- 질문이 명확하고 정확하여 전체적으로 자세하고 모호하지 않으며 의미 있는 답변이 가능합니다.
- 제공된 모든 미리 정의된 답변과 해당 형식은 질문에 적합합니다.
- 필요한 경우 사람들이 추가 정보를 추가할 수 있는 여지가 있습니다.
여기에 더해, 항상 사용자 경험을 염두에 두세요. 읽기, 스크롤, 클릭은 피곤한 활동입니다. 따라서:
- 불필요한 질문을 피하세요.
- 특정 참여자와 관련이 없는 질문을 하지 않도록 조건을 사용하세요.
- 질문과 답변을 짧고 읽기 쉽게 유지하세요. 적절한 마크업을 사용하세요.
- 스크롤과 클릭 사이의 균형을 생각하세요. 짧은 설문조사(질문의 복잡성에 따라 5~15개 질문)는 모든 것을 한 페이지에 표시하세요. 긴 설문조사는 그룹을 현명하게 사용하세요. 즉, 질문을 이해하기 쉽게 그룹화하세요. 그룹 설명을 사용하여 다음 질문의 주제를 명확하게 안내하세요.
- 서로 다른 척도로 참여자를 혼란스럽게 하지 마세요. 즉, 척도 유형, 척도 범위, 척도 설명의 종류를 가능한 한 적게 유지하세요. 척도의 방향을 바꾸지 않도록 하세요. (방법론적으로 예외인 경우도 있습니다.)
- 균형 잡힌 평가 척도를 사용하세요. 즉, 긍정 옵션과 부정 옵션의 수를 같게 하세요. 중립적인 가운데 옵션이 있는 홀수 개의 옵션으로 할지, 참여자가 한쪽으로 기울도록 하는 짝수 개의 옵션으로 할지 신중하게 결정하세요(아래 예시 참조).
- 꼭 필요한 답변인 경우에만 질문을 필수로 설정하세요. 답하고 싶지 않은 질문에 답하도록 강요받은 참여자는 무작위로 답하거나 설문조사를 떠나는 경우가 많습니다. 건너뛰기 필수 설정은 답하지 않은 질문을 참여자에게 알려 주지만 계속 진행할 수 있게 합니다.
- 많은 참여자가 스마트폰으로 설문조사에 응답한다는 점을 염두에 두세요. 열이 많은 대형 배열(행렬 질문)은 작은 화면에서 사용하기 어려우므로, 작게 유지하거나 나누고 시작하기 전에 휴대폰에서 설문조사를 테스트하세요.
짝수 개의 옵션이 있는 균형 잡힌 척도(중립 옵션 없음):
1. 매우 좋음
2. 좋음
3. 나쁨
4. 매우 나쁨
홀수 개의 옵션이 있는 균형 잡힌 척도(중립 옵션 있음):
1. 매우 좋음
2. 좋음
3. 좋지도 나쁘지도 않음
4. 나쁨
5. 매우 나쁨
불균형 척도(피하세요 - 긍정 옵션은 세 개인데 부정 옵션은 하나뿐임):
1. 매우 훌륭함
2. 매우 좋음
3. 좋음
4. 나쁨
설문조사를 설계하는 가장 좋은 방법은 이상적인 피드백을 상상하는 데 잠시 시간을 갖는 것입니다. 의미 있는 응답이 가장 유용하다는 것은 말할 것도 없으므로 이러한 답변을 유도하는 질문을 만들어 보세요.
어떻게 할 수 있을까요? 가장 좋은 방법은 모든 영역을 분리하고 어떤 정보가 필요한지 결정하는 것입니다.
예를 들어, 대중에게 공개된 행사를 열고 행사에 대한 일반적인 피드백을 받아야 한다고 상상해 보세요.
다음 설문조사는 유용한 응답을 이끌어내기에 부적절할 수 있는 설문조사의 한 예입니다.
행사가 즐거웠나요?
( ) 예
( ) 아니요
와이파이(Wi-Fi)는 얼마나 좋았나요?
1 2 3 4 5 6 7 8 9 10
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
행사장에 오는 데 문제가 있었나요?
( ) 예
( ) 아니요
제공된 지도가 도움이 되었나요?
( ) 예
( ) 아니요
발표자들의 구성에 대해 어떻게 생각하시나요?
( ) 매우 슬퍼요 ( ) 슬퍼요 ( ) 보통이에요 ( ) 행복해요 ( ) 매우 행복해요
예시 설문조사 개선하기
평가 척도는 유용하지만, 그 답변을 바탕으로 조치를 취할 수 있을 때만 그렇습니다. 평가만 묻는 질문은 무언가가 좋았는지 나빴는지(그 사실)는 알려 주지만 그 이유는 알려 주지 않습니다. 필수 평가 질문이 길게 이어지면 추가 정보를 전달할 수 없기 때문에 참여자가 설문조사를 꺼리게 만들 수 있다는 점을 기억하세요.
설문조사에 응하는 사람은 피드백을 주고 싶어 하는 경우가 많습니다. 하지만 유용한 내용을 공유할 수 없다고 느끼면 창을 닫고 그냥 떠날 가능성이 높습니다.
그렇다면 위의 설문조사에는 어떤 문제가 있을까요?
질문을 하나씩 살펴보겠습니다.
질문 1은 사실상 얻을 수 있는 것이 없습니다. "아니오" 답변이 100개 들어왔다고 가정해 보세요. 이 답변만으로는 참여자가 왜 행사를 즐기지 못했는지에 대한 유용한 정보를 얻을 수 없습니다. "아니오" 답변의 이유가 무엇인지, 그리고 그 답변을 어떻게 활용해야 할지 막막할 것입니다. 이에 대한 개선 방법은 잠시 후에 살펴보겠습니다.
질문 2는 첫 번째 질문보다 더 좋지 않습니다. 좋은 설문조사의 3가지 특징을 다시 떠올려 보면, 질문은 명확하고 정확해야 합니다. "얼마나 좋은지"는 속도, 적용 범위, 안정성 또는 연결이 얼마나 쉬웠는지를 의미할 수 있어, 참여자마다 서로 다른 것을 평가할 수 있습니다. 게다가 "Wi-Fi가 좋다고 평가한 사람이 23%가 아니라 33%라는 사실로 무엇을 할 것인가?"와 같은 질문에 의미 있는 답을 줄 수도 없습니다. 좋은 설문조사의 3가지 특징은 미리 정의된 응답이 질문에 적합해야 한다는 점도 말하고 있습니다.
이 질문에 척도를 사용해도 Wi-Fi 품질을 개선하는 데 도움이 되지 않는다는 것은 분명합니다. 이 질문에는 사람들이 추가 정보를 입력할 수 있는 공간이 반드시 필요합니다. 자세히 설명할 수 없다면 구체적인 문제를 어떻게 알릴 수 있겠습니까?
이 경우 참여자가 Wi-Fi와 관련해 겪은 문제를 제대로 해결할 만큼 충분한 정보를 얻기는 거의 불가능합니다. 설문조사의 핵심은 활용하거나 배울 수 있는 유용한 정보를 얻는 것입니다.
질문 3과 4도 앞의 두 질문과 같은 결과를 낳습니다. "예" 또는 "아니오"로만 답할 수 있고, 어느 쪽도 세부 정보를 추가할 기회를 제공하지 않습니다. 이러한 유형의 질문을 개선하는 방법은 아래에서 제안해 드립니다.
마지막 질문 5 역시 효과적이지 않습니다. 사람마다 관심사가 다르므로 각 연사에 대한 의견도 모두 다를 가능성이 높아, "매우 슬퍼요"에서 "매우 행복해요"까지의 척도로 연사 구성에 대해 참여자가 어떻게 "느끼는지" 묻는 것은 그다지 유용하지 않습니다. 이 또한 "척도" 질문을 사용하지 말아야 할 곳에 사용한 또 다른 예입니다.
아래의 개선된 설문조사를 살펴보세요. "문제가 있었다면 간단히 설명해 주시겠어요?"와 같은 질문은 문제를 보고한 참여자에게만 표시하면 됩니다. 이를 위해 조건을 사용하세요.
Did you make use of the in-house Wi-Fi?
( ) 예(Y)
( ) 아니오(N)
Did you experience any problems with the Wi-Fi?
( ) No problems at all
( ) A couple of small issues, nothing major
( ) One or two severe issues
( ) The Wi-Fi was almost totally unusable.
If you experienced problems, could you briefly describe them? (Text field)
Did you have any problems getting to the event?
( ) 예(Y)
( ) 아니오(N)
How did you come to our event?
( ) Train
( ) Car
( ) Bus
( ) 지하철 또는 트램
( ) Walk
( ) 기타: ________
웹사이트의 지도를 사용하셨나요?
( ) 예
( ) 아니요
지도를 보셨다면 충분히 자세했나요?
( ) 예
( ) 대략적인 정보는 얻었지만, 더 자세한 정보를 위해 다른 지도를 사용했습니다.
( ) 전혀 자세하지 않았습니다
지도를 사용하지 않으셨다면 그 이유는 무엇인가요?
( ) 정보가 충분히 자세하지 않았습니다
( ) 대신 내비게이션 앱을 사용했습니다.
( ) 지도가 있는지조차 몰랐습니다!
전반적으로 연사들이 흥미로웠나요? 발표는 즐거우셨나요?
( ) 거의 모두 흥미롭고 매우 즐거웠습니다
( ) 대체로 즐거웠지만, 흥미가 덜한 강연이 몇 개 있었습니다.
( ) 절반은 흥미롭고 절반은 그렇지 않았습니다
( ) 흥미롭기보다 지루한 편이었습니다
( ) 흥미로운 강연이 없었습니다
위 질문에 대한 응답을 자세히 설명해 주세요. 특정한
사람이나 강연을 자유롭게 언급하셔도 좋습니다. (텍스트 필드)
강연 구성을 개선할 수 있는 방법이나 강연에 관한 다른 좋은 아이디어가 있으시면
아래에 적어 주세요 (텍스트 필드)
다른 제안이나 아이디어가 있으시면 아래에 적어 주세요. (텍스트 필드)
이 설문조사는 조금 더 길 수 있지만, 응답하기가 훨씬 쉽고 답변을 해석하기도 훨씬 쉽습니다. 각 주제에 대해 두세 개의 질문을 하면 결과를 처리할 때 좀 더 깊이 있는 분석을 할 수 있습니다. 예를 들어, 첫 번째 설문조사 질문에서 30명이 행사에 오는 데 문제가 있었다고 답했다고 가정해 보겠습니다.
이전 설문조사에서는 그 정도가 결과에서 얻을 수 있는 정보의 전부였겠지만, 새로운 응답 구성에서는 어떤 교통수단에서 문제가 있었는지 추론할 수 있습니다. 또한 제공된 지도를 사용했는지 다른 길 찾기 수단을 사용했는지도 확인하여, 향후 개선 사항을 정하는 데 활용할 수 있습니다.
질문이 하나 늘어날 때마다 참여자가 응답을 중단할 가능성이 높아진다는 점을 염두에 두세요. 설문조사를 가능한 한 짧게 유지하고, 환영 메시지에서 소요 시간을 참여자에게 알려 주며, 진행 상황 보기를 사용하는 것도 고려해 보세요.
또 다른 중요한 요소는 텍스트 필드 질문입니다. 이를 통해 참여자가 구체적인 의견을 남길 수 있으며, 이를 참고할 수 있습니다. 응답을 꺼리게 만들 수 있으므로 필수 항목으로 설정하지 않는 것이 좋습니다.
결론적으로, 설문조사를 작성할 때는 분석에 더 유용한 정보를 얻을 수 있도록 구체적인 질문을 하는 설문조사를 생성하는 것을 목표로 해야 합니다. 또한 약간의 추가 배경 정보를 수집하면 답변을 더 잘 분석하는 데 도움이 된다는 점도 기억하세요.
질문을 적절하게 표현하는 것도 중요합니다. 응답해야 하는 사람이 질문을 이해하지 못하면 창을 닫고 떠나 버립니다. 가능하면 설문조사를 공개하기 전에 다른 사람에게 교정을 부탁하여 질문이 명확한지 확인하세요.
설문조사 편향
시장 조사를 수행할 때 편향 없는 답변을 얻기 위한 중요한 핵심은 설문조사 참여자에게 그들의 답변에 영향을 줄 수 있는 질문을 하지 않는 것입니다. 설문조사 편향을 피하면 수집된 데이터를 무효화하거나 왜곡할 수 있는 답변을 제거하는 데 도움이 됩니다. 적절한 시장 조사 교육이나 지식이 없는 기업이나 개인이 이러한 실수를 범하기는 매우 쉽고 흔합니다. 이는 질문을 표현하는 방식, 선택할 수 있는 답변의 유형, 전화나 대면으로 데이터를 수집할 때 면접관이 질문을 제시하는 방식 등 여러 부분에 적용됩니다.
다음은 편향된 질문의 예입니다:
행사를 얼마나 즐기셨나요?
( )매우 많이
( )그냥 조금
( )별로 없음
( )전혀 그렇지 않음
언뜻 보기에 이 질문의 구조에는 문제가 없는 것처럼 보입니다. 결국 응답자는 "매우 많이"에서 "전혀 그렇지 않음"까지 선택할 수 있습니다. 그러나 문제는 질문의 표현 방식에 있습니다. 참여자에게 행사를 "얼마나" 즐겼는지 물음으로써, 설문조사를 실시하는 사람은 응답자가 어떤 식으로든 행사를 즐겼다고 가정하여 이미 편향을 만들었는데, 실제로는 그렇지 않을 수도 있습니다.
다음 예는 참가자의 응답에 영향을 미치지 않는 방식으로 질문하는 더 나은 방법입니다.
행사에 대한 전반적인 즐거움을 1~5점 척도로 평가해 주세요: 1 = "전혀 즐기지 못함", 5 = "완전히 즐김"
1 2 3 4 5
( ) ( ) ( ) ( ) ( )
질문을 다시 표현하면 응답자는 즐거움 수준을 쉽게 지정할 수 있는 척도를 사용하여 답변할 수 있으며, 설문조사를 실시하는 사람은 결과를 표로 정리하고 다른 응답자와 쉽게 비교할 수 있습니다. 물론, 참여자가 무엇을 즐겼는지 또는 즐기지 못했는지에 대한 구체적인 내용을 수집하려면 질문을 더 추가해야 합니다.
이는 문구를 약간만 바꿔도 설문조사의 질을 개선할 수 있다는 것을 보여주는 한 가지 예일 뿐입니다.
시작하기 전에 설문조사 테스트하기
참여자에게 설문조사를 보내기 전에 꼼꼼하게 테스트하세요.
- 미리보기를 사용하여 직접 설문조사를 진행해 보고, 다양한 응답을 입력하여 조건이 올바른 질문을 표시하거나 숨기는지 확인하세요. 설문조사 논리 파일은 조건과 표현식의 오류를 찾는 데 도움이 됩니다.
- 컴퓨터뿐만 아니라 스마트폰에서도 설문조사를 열어 보세요.
- 대상 그룹에 속한 몇몇 사람에게 설문조사 응답을 부탁하고(파일럿 테스트), 어떤 질문이 불분명했는지 물어보세요. 또한 그들의 응답도 살펴보세요. 많은 사람이 "기타"를 선택했거나 질문을 비워 둔 경우, 해당 질문이나 응답 옵션을 개선해야 할 수 있습니다.
- 내보낸 결과를 계획한 방식대로 분석할 수 있는지 확인하세요.
설문조사를 활성화하기 전에 변경 사항을 적용하세요. 설문조사가 활성화되면 더 이상 질문을 추가하거나 삭제할 수 없습니다. 설문조사의 구조를 변경하려면 설문조사를 비활성화해야 하며, 이 경우 지금까지 수집된 응답은 보관 테이블로 이동됩니다.
참여자의 데이터 보호하기
연구에 꼭 필요한 개인 데이터만 요청하세요. 참여자는 자신의 응답이 어떻게 처리되는지 알고 있을 때 더 솔직하게 응답하는 경향이 있습니다.