如何设计一个不错的调查(向导)
From LimeSurvey Manual
进行一份理想调查的简单指南
LimeSurvey 可以方便快捷地把调查整合到一起。不幸的是，把不理想的调查整合起来也是易如反掌。
在本页面，你会找到一份整合调查的简易指南，指导你如何让受访者轻松自如的同时，还能向你提供有意义的答案。
此博客也有一份有用的清单"调查设计与技巧".
进行调查之前
在设计任何调查表之前-实际上甚至在确定调查表是否是正确方法之前，都需要回答一些重要问题。
你真正想通过研究发现什么？
基于这个问题：
- 调查会对我解决这个问题有帮助吗？
- 如何让调查帮助我找到问题的答案？
- 哪些人会有正确答案？
- 如何找到他们？
- 哪些必要的条件可以有助于他们理解我的问题？
- 哪个统计方法-如果有的话-有助于我处理这些数据？
还有一些需要你清楚甚至决定LimeSurvey是否对你是个合适的工具来说需要了解的问题。LimeSurvey 非常适合完全结构化 (你已经知道在调查之前可能需要问的所有问题), 标准化 (每个人获得或多或少但相同的问题), 以定量问卷为主 (主要是关于数字或有预定义答案的问题) 的在线调查问题。
LimeSurvey 非常适合在线收集完全结构化(在开始访谈之前,您就已知道可能需要提出的所有问题)、标准化(每个人收到的问卷大致相同)、以定量为主(主要涉及数字或带有预设答案的问题)的问卷。
你还可以使用与此完全不同的扩展方式：你可以用 LimeSurvey 做某种电话调查。你还可以使用 LimeSurvey 收集定性的数据，比如使用文本问题。
但在某些时候，你也可能得出其他的研究方法可能更合适的结论。
构造调查问卷
决定问题的顺序和如何给他们分组，也是要考虑的方面。
如有可能,请从容易回答且所有参与者都乐于回答的问题开始。这些问题通常是筛选问题,即用来确定您是否问对了人的问题(请使用条件和/或配额来处理这些筛选问题)。
把这类问题放在开头,有助于避免参与者在完成调查之前离开,因为人们在已经为回答这些引导/筛选问题花了一些精力之后,中途退出的可能性会更小。
示例:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
(单选)
如果参与者选择了''樱桃'',您可以使用条件让下一个关于樱桃的问题显示出来。
Why do you prefer cherries?
#They are tasty
#I love the color
#They are healthy
#They are juicy
#I love cherry pie
(多选题(如果需要精确的数据,也可以是单项选择题))
How much do you like cherries?
#1) Not much more than other fruit
#2) Like them more than other fruit
#3) It's one of my favourite fruits!
#4) I ADORE CHERRIES!
(单选)
Do you know any recipes with cherries?
[文本字段]
上面是一个示例:先是容易回答的引导问题,然后是主要问题。
其目的是收集使用樱桃、苹果和香蕉的食谱。
另一方面,如果需要提出难以回答的问题,您可以考虑为每个问题或每个题组使用不同的页面,并把这些难以回答的问题放在最后。这样,即使参与者决定不完成调查,至少他们之前的反馈已被保存。
在结构方面还需要考虑的一点是:避免问卷本身带来的偏差。
例如,在市场调研中,有些概念需要用到无提示问题和有提示问题。
无提示问题的示例如下:
"Which brands of chocolate are you familiar with?"
(后面跟一个空的文本框)
下面是有提示问题的示例:
"Which of the following brands of chocolate are you familiar with?"
(后面跟一个品牌列表(多选题))
如前所述,如果您选择在同一份问卷中同时包含两种类型的问题(有提示和无提示),请务必将它们放在不同的页面上,并且把无提示问题放在有提示问题之前。把有提示问题放在无提示问题之前,可能会在无意中影响参与者的回答,从而使您的结果无效。
个人问题
问题应当不带暗示性。“您对 LimeSurvey 有什么看法?”是可以接受的(无暗示性的)问题,而“您难道不同意 LimeSurvey 是一款非常棒的工具吗?”则是带有暗示性的问题。
示例:
如果以下面的方式提问,人们可能会对捐款回答“是”:
- 您热爱大自然吗?
- 您愿意捐款帮助这条河流吗?
如果以这样的方式提问,他们很可能会回答“否”:
- 缺钱对您来说是个问题吗?
- 您愿意捐款帮助这条河流吗?
为了帮助获得恰当的反馈,请按以下顺序排列您的问题:
- 从最不敏感到最敏感
- 从一般到更具体
- 从关于事实的问题到关于意见的问题
此外,调查问题可以是:
- 开放式(受访者用自己的话回答),或
- 封闭式(受访者从有限数量的选项中选择)
封闭式问题更容易分析,但可能无法让受访者给出他们真正想要的答案。
示例:“您最喜欢的颜色是什么?”
开放式:有人可能会回答“深紫红色”,这时您需要在结果中设立“深紫红色”这一类别。
封闭式:如果只提供 12 种颜色供选择,您的工作会更轻松,但受访者可能无法选出他们真正最喜欢的颜色。
请仔细考虑每个问题,并决定它应该是开放式还是封闭式。如果您需要更深入地了解答案,请使用开放式问题;否则,可以使用封闭式问题。
示例(开放式):“您认为清理这条河流的最佳方式是什么?”
将其设为开放式:这些答案可能不容易整理成表格或图表,但您可以深入了解人们对清理河流或保护环境的感受和想法,并在报告中直接引用他们的原话。
示例(封闭式):“您多久去一次河边?”
将其设为封闭式,并提供以下选项:
- 几乎每天
- 每年至少 5 次
- 每年 1 至 4 次
- 几乎从不
您将能够用清晰的条形图呈现这些数据。
处理多项选择或单项选择问题时,请务必选择合适的问题类型,并恰当地措辞问题和答案。
举例:
Which of the following fruit do you like?
#Apples ()
#Bananas ()
#Cherries ()
上面是一个典型的多项选择问题,因为您可以喜欢列表中的多个项目。相反,“以下水果中,您最喜欢哪一种?”则是一个单项选择问题。
这两个水果示例的措辞都明确表示您只关心所列出的水果。如果您要问“您最喜欢的水果是什么?”,则要么需要提供一份非常详尽的水果列表,要么(更常见的做法)使用 LimeSurvey 的设置来添加“其它”字段。一般来说,答案选项在大多数情况下需要做到完整、互斥且明确。
如果多项选择或单项选择问题的选项很多,您需要注意这可能会带来另一种偏差,因为参与者往往会把注意力集中在最前面的选项,而忽略中间的选项。LimeSurvey 提供了随机化问题顺序的实用选项,可以在一定程度上消除这个问题。
什么是好的调查?
一份调查具备以下 3 个特征,有助于获得恰当的回答,从而进行更准确的评估:
- 问题清晰准确,整体上能够得到详细、明确且有意义的答案。
- 所提供的所有预设答案及其格式都适合该问题。
- 在需要时,为人们留出补充更多信息的空间。
此外,请始终牢记用户体验。阅读、滚动和点击都是令人疲劳的操作。因此:
- 避免不必要的问题。
- 使用条件,避免向特定参与者提出与其无关的问题。
- 保持问题和答案简短易读——使用合适的标记。
- 权衡滚动与点击。对于较短的问卷(5-15 个问题,取决于问题的复杂程度),将所有内容显示在同一页面上。对于较长的问卷,请合理使用分组,即以易于理解的方式对问题进行分组,并使用分组描述清楚说明后续问题的主题。
- 避免使用不同的尺度而使参与者感到困惑,即尽可能限制不同尺度类型、尺度范围和尺度描述的数量。尽量不要改变尺度的方向。(出于方法论上的考虑,存在一些例外情况。)
- 对于评分尺度,使用偶数个评分选项可能有助于受访者更轻松地做出决定(见下文)。
Example for answer scales about how ''good'' something is:
1. Very good
2. Good
3. Quite good
4. Not that good
5. Bad
6. Very bad
Example for answer scales about how ''bad'' something is:
1. Good
2. Fair
3. Bad
设计调查的最佳起点,是花一点时间设想您理想中的反馈。不言而喻,有意义的回答才是最有用的,所以请尽量设计能够引出这类答案的问题。
那么该如何做呢?最好的方法是把所有方面区分开来,并确定您需要哪些信息。
例如,假设您举办了一场向公众开放的活动,需要收集关于这场活动的一些总体反馈。
下面这份调查就是一个可能不足以获得有用回答的示例:
Did you enjoy the Event?
( ) 是
( ) 否
Wi-Fi 的质量如何?
1 2 3 4 5 6 7 8 9 10
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
您前往活动现场时是否遇到问题?
( ) 是
( ) 否
提供的地图有帮助吗?
( ) 是
( ) 否
您对演讲嘉宾的整体阵容有何感受?
( ) 非常难过 ( ) 难过( ) 一般 ( ) 开心 ( ) 非常开心
对于上述情境,矩阵问题会是更好的选择。
矩阵问题=
一般来说,尺度仅应用于与年龄、时间(也许)或数量相关的问题。矩阵问题必须措辞恰当,才能获得最有用的反馈。请注意,由必答问题组成的矩阵可能会让您的受众望而却步,因为如果结构不合理,就无法收集到任何额外的信息。
通常情况下,如果有人正在填写您的调查,说明他们想要提供反馈;如果他们认为自己无法分享任何有用的内容,就会直接关闭窗口离开。
那么,上面的调查有什么问题呢?
让我们逐个来看每个问题。
问题 1 实际上没有任何作用。试想收到 100 个“否”的反馈,仅凭这个反馈,您无法得知参与者为什么不喜欢这次活动。您会对出现“否”的原因感到疑惑,也不知道该如何处理这些反馈。稍后我们将介绍一种可能的改进方式。
问题 2 比第一个更糟糕。回顾优秀调查的 3 个特征,我们可以看到问题必须清晰、准确。我不是 Wi-Fi 方面的专家,但我相当确定有更好的衡量方式。此外,对于“当您得知有 33% 的人认为您的 Wi-Fi 良好,而只有 23% 的人这样认为时,您会怎么做?”这类问题,它也无法给出有意义的答案。优秀调查的 3 个特征还指出,预定义的答案必须与问题相匹配。
显然,对这个问题使用尺度并不能帮助您提高 Wi-Fi 的质量。这个问题确实需要为人们留出添加补充信息的空间。如果无法详细说明,人们又该如何报告具体问题呢?
在这种情况下,几乎不可能获得足够的信息来妥善解决参与者在 Wi-Fi 方面遇到的问题。调查的意义就在于获取可以加以利用或从中学习的有用信息。
问题 3 和 4 与前两个问题的结果相同。它们只允许回答“是”或“否”,而且都没有提供添加详细信息的机会。在本节之后,我们将就如何改进这类问题提出建议。
问题 5(最后一个问题)同样效果不佳。询问对某事的满意程度并没有太大用处,因为每个人的兴趣不同,因此每个人对每位演讲嘉宾的看法也很可能不同。这是另一个不应使用“尺度”类问题却使用了的例子。
请看下面改进后的调查。
您使用过场馆内的 Wi-Fi 吗?
( ) 是
( ) 否
您在使用 Wi-Fi 时是否遇到任何问题?
( ) 完全没有问题
( ) 有几个小问题,没有大碍
( ) 有一两个严重问题
( ) Wi-Fi 几乎完全无法使用。
如果您遇到了问题,能否简要描述一下?(文本字段)
您前往活动现场时是否遇到任何问题?
( ) 是
( ) 否
您是如何来到我们的活动现场的?
( ) 火车
( ) 汽车
( ) 公共汽车
( ) 轻轨(如地铁、有轨电车)
( ) 步行
您是否使用了我们网站上的地图?
( ) 是
( ) 否
如果您查看了地图,地图是否足够详细?
( ) 是
( ) 它给了我一个大致的概念,但我还是使用了另一份地图来获取更多细节。
( ) 一点也不详细
如果您没有使用地图,原因是什么?
( ) 细节不够
( ) 我改用了卫星导航/谷歌地图。
( ) 我甚至不知道有这份地图!
总体而言,演讲者是否有趣?您喜欢这些演讲吗?
( ) 几乎都很有趣,非常精彩
( ) 大多数很精彩,但有少数演讲不太有趣。
( ) 一半一半
( ) 无聊的多于有趣的
( ) 没有觉得任何一场有趣
请详细说明您对上一个问题的回答。欢迎提及任何
具体的人物/演讲。(文本框)
如果我们可以改进演讲的范围,或者您对演讲有任何其他有趣的想法,
请在下方列出(文本框)
如果您还有其他建议或想法,请在下方列出。(文本框)
这份调查可能稍长一些,但回答和解读反馈都要容易得多。针对每个主题提出两三个问题,意味着在处理结果时可以进行更多的分析。例如,假设对于第一份调查的第一个问题,有 30 人回答他们在前往活动现场时遇到了问题。
这就是您能从结果中获得的全部信息;而有了新的这组答案,就可以推断出哪些交通方式给人们带来了问题。此外,您还可以进一步查看他们使用的是所提供的地图还是其他导航方式,并据此在将来有针对性地加以改进。
请记住,超过 50 个问题之后,用户很可能会停止阅读。
另一项重要的补充是文本框问题。这类问题允许您的参与者提供具体的反馈,供您参考。最好不要将这些问题设为必答,因为这可能会让人不愿作答。
总而言之,在设计调查时,您应当致力于提出具体的问题,以获得对分析更有用的信息。另外,请记住,收集一些额外的背景信息会很有帮助,因为这些信息可以用来更好地分析反馈。
正确措辞问题也同样重要。如果人们需要回答问题却看不懂,他们就会关闭窗口,转而去做别的事情。如果可能,请在公开发布调查之前请他人帮忙校对,以确保问题表述清晰。
调查偏差
在进行市场调研时,获得无偏差反馈的一个重要关键是,避免向调查参与者提出可能影响其反馈的问题。避免调查偏差有助于剔除可能使所收集資料失效或出现偏斜的反馈。 没有受过相关市场调研培训或缺乏相关知识的公司或个人,很容易也很常见地会犯这类错误。这涉及很多方面,例如问题的措辞方式、可供选择的反馈类型,以及在通过电话或面对面收集資料时访问员提出问题的方式。
下面是一个有偏差的问题示例:
您有多喜欢这次活动?
( )非常喜欢
( )只是有一点喜欢
( )不太喜欢
( )完全不喜欢
乍一看,这个问题的结构似乎没有问题。毕竟,受访者的选项涵盖了从“非常喜欢”到“完全不喜欢”。然而,问题出在措辞上。通过询问参与者“有多”喜欢这次活动,调查实施者已经预设了受访者在某种程度上喜欢这次活动,从而产生了偏差,而实际情况可能并非如此。
下面的示例是一种更好的提问方式,不会影响参与者的反馈:
您会如何用 1 - 5 的尺度来评价您对这次活动的整体满意程度:1 = “完全不满意”,5 = “非常满意”
1 2 3 4 5
( ) ( ) ( ) ( ) ( )
重新措辞后,受访者可以使用尺度轻松地表达满意程度,调查实施者也可以轻松地将结果制成表格,并与其他受访者的结果进行比较。当然,还应增加更多问题,以了解参与者喜欢或不喜欢活动的具体方面。
这只是一个例子,说明措辞上的细微改动就能改进您的调查。