调查问题是很微妙的。即使措辞上的小细节也会影响你的应答者如何解释和回答。一个粗心的问题可能会毁掉一项研究，所以花点额外的时间来完善你的调查是值得的。
案例研究:调查人们如何使用网络
最近，我们决定复制一项研究21年前由施乐帕洛阿尔托研究中心的研究人员进行的。最初的研究调查了网上发现的信息如何影响人们的决策。这项研究包括一项大规模调查，3292名受访者详细描述了在线内容影响他们决定或行动的情况。
今天，人们对网络信息的依赖程度甚至超过了20年前。从买房子到决定去哪里吃饭，网络帮助用户做出各种各样的决定。因此,我们重复了这项研究，看看重要的网上信息寻求行为在过去20年里是否发生了变化．
在施乐公司的调查中，研究人员问了以下一个问题:
请试着回忆一下最近你在万维网上发现的一个重要信息，这些信息导致了一个重要的行动或决定。请尽可能详细地描述那件事，以便我们能想象当时的情况。
虽然我们希望得到的回答能与1998年的研究结果相媲美，但我们意识到，我们可能需要调整问题的措辞，以确保我们收集的信息反映了今天对在线服务的使用情况。通过4轮引导测试通过调查，我们可以完善这个问题。
1圣一轮的测试
为了进行有效的比较，我们想让问题尽可能地接近之前的版本。
对于这个问题的第一个版本，我们只是将“万维网”改为“在线”，以反映当前的术语。谷歌Ngram1998年，在谷歌Books语料库中，“online”一词的出现频率仅为“World Wide Web”的1.5倍左右，但在2008年，“online”一词的出现频率已经比“World Wide Web”高出100多倍。同时,谷歌趋势显示相关查询的“在线”这个词包括“在线电影”和“在线游戏”,而这个词的“万维网”包括“万维网维基百科”和“谁创造了万维网,”表明今天人们使用“在线”这个词指的是他们可以做的事情在万维网上。
因此，我们将调查问题重新表述如下。
请试着回忆一个最近的例子，其中你发现了重要的信息在线，导致重大行动或决定的信息。请尽可能详细地描述那件事，以便我们能想象当时的情况。
在这个阶段，我们招募了11名参与者，他们填写了一份书面调查，并在调查结束时收集了他们的口头反馈。
其中四名试验参与者表示，这个问题太笼统了，他们不确定我们想要什么。这在21年前可能不是问题，但现在却是因为互联网的普及。根据南加州大学的一份报告在美国，上网时间从2000年的每周9.4小时增加到2016年的每周23.6小时。一篇文章Clickz显示，2019年，人们平均每天上网6小时42分钟。对许多人来说，在线收集信息已经成为一项频繁而平凡的任务，以至于他们很难找出一个具体的例子来报告。
为了解决这个问题，我们在第二个设计中添加了一个解释性的句子。
2nd一轮的测试
请回忆一下最近你在网上找到的重要信息，这些信息导致了一个重要的行动或决定。请尽可能详细地描述那件事，以便我们能想象当时的情况。
一个重要的行动或决定可以是你的计划、想法或行动中任何你认为有意义的改变．
我们认为，对“重大”做更多的解释，可以减轻人们对他们的行为可能达不到我们标准的担忧。这个版本的问题由5个用户测试;这项调查既偏远又不严谨。
在第二个试验中，人们被解释性文本所限制，只谈论变化因为网上的信息。例如，一名参与者写道:“早上上班前，我在手机应用上查看了天气。它说温度比我预期的要低。所以我穿上一件暖和的外套，戴上帽子。”另一位求职者谈到，网络信息“改变了她的求职策略”，让她专注于某些类型的公司。几乎所有的反应都与某些具体的变化有关，但变化不应是重大决定或行动的必要方面。我们意识到，对“显著性”的解释可能会让受访者的答案产生偏差。我们决定删除澄清句，尝试另一种方法。
3.理查德·道金斯一轮的测试
在第三轮测试中，我们尝试在主问题之前增加一个关于被调查者显著活动的多选择问题。
在过去的一个月里，你做过下列哪一项网上活动?(请选择所有适用的项目)
- □买了东西
- □看电视节目或电影
- □计划一个假期
- □发了一封邮件
- □发布在社交媒体上(例如，Facebook或Instagram)
- □研究主题
我们希望这个问题可以帮助用户反思他们最近的在线活动，这个过程可以帮助他们回答下面的问题。我们小心地平衡各种活动——从娱乐活动到严肃活动。我们邀请了4位用户填写修订版的调查问卷，并进行了一次问卷调查认知走查让3名参与者对调查的语言进行深入了解。
不幸的是，这个小组的所有参与者最终报告的活动听起来与我们的多选择反应太相似。7名用户都在谈论他们在网上做的研究，比如“研究加利福尼亚税基转移的信息”和“查找减肥手术的信息”。并不是所有重要的决定或行动都必须与研究有关，所以我们意识到多重选择的反应是启动我们的调查对象。即最后反应选项在第一个问题中，“研究一个主题”，让参与者对第二个问题做出与研究相关的回答。我们决定从调查中删除启动问题。
4th一轮的测试
在这一点上，我们确信最大的问题是人们有太多的在线活动可供选择。他们需要得到保证，他们可以只选择一个报告。这可以帮助解释为什么飞行员参与者在面对最初的问题时感到困惑，以及为什么他们很容易受到我们测试的变化的影响:人们不确定哪些决定被认为是“重要的”，哪些没有，所以他们试图从研究人员提供的其他信息中寻找线索。在帕洛阿尔托研究中心最初的研究中，这可能不是一个问题，因为在那个时候，互联网还没有普及，也没有对人们的生活产生那么大的影响。
基于这一认识，我们再次修改了问题，包括一个澄清，如果有很多例子可以帮助应答者。
请回忆一下最近你在网上找到的重要信息，这些信息导致了一个重要的行动或决定。请尽可能详细地描述那件事，以便我们能想象当时的情况。
如果你能回忆起几个这样的例子，请描述一个对你来说是最重要的．
有了这个添加，我们让用户放心，他们可以用一个他们认为对他们来说最重要的例子来回答这个问题。
我们在网上试行了这项调查，收集了50份回复。
50人的试点调查进展顺利;我们得到了各种各样的回应。除了做决定的研究，一名参与者提到“买我现在的手机，谷歌Pixel 2 XL。一直在Hulu上看到关于它的广告”，这表明一个广告影响了她的决定。另一个回复描述了她是如何因为手机上收到的一条通知而得到一张她最喜欢的乐队的演唱会门票的。
对我们收集的数据的细节和多样性感到满意，我们决定基于这个版本的主要问题进行完整的研究。我们收集了700份反馈，我们对这些反馈进行了定量和定性的分析，以更好地理解在线信息寻求行为的现状。(我们在最后一项研究中的发现将在随后的文章中报道。)
勘测设计小贴士
- 确保你的研究问题可以用你的调查方法进行调查。
调查不能回答所有的研究问题。他们擅长帮助我们获取态度数据，而不是行为数据。它们所能提供的细节和上下文信息也很有限。在我们的案例中，我们想要识别能够导致重大决定和行动的在线信息寻求行为。一个调查可以实现这个目标。但是，如果我们想了解为什么人们选择某些类型的信息寻求行为而不是其他类型的，或者他们在何时何地进行这些行为，调查是不合适的。相反,用户访谈或领域的研究可以在这些情况下工作得更好。
- 避免启动或提出诱导性问题．
让调查问题的语言保持中立。人是群居动物，能理解微妙的线索试着表现正如(他们假设的)研究人员希望他们这样做，甚至是下意识的。正如我们在这个案例研究中看到的，在措辞相同的问题或添加另一个问题之前，微小的变化可能导致截然不同的回答。
- 运行试点研究．您可以同时测试多个版本。
有时，你可能无法判断你的调查语言是否足够中立，直到你与真实的人进行对比。对于您的第一个试点，您的同事或咖啡店的人可以充当测试人员。但是，至少要对你感兴趣的受访者进行一轮试点测试——不要只依赖你的同事。要求你的参与者在完成调查时大声思考，以帮助你识别任何解释问题或潜在的引导性问题。每个试点版本测试5-10个用户应该没问题。
- 注意收集响应的时间．
有时，你发送在线调查的时间会影响你回答的数量和质量。在我们的研究中，一半的参与者在周末收到调查问卷，另一半在工作日收到调查问卷。我们这样做是为了避免与响应收集时间相关的偏差结果。如果您的用户可能在白天很忙，那么在上午9点发送调查可能会妨碍您收集高质量的数据。
措辞不当、模棱两可或问题顺序错误都很容易导致调查结果出现偏差。在你花钱收集数据之前，先解决这些问题。和用户界面设计一样，调查也需要经过测试。事实上，是一种调查工具是一种设计，所以就当它是设计。
参考文献
莫里森，j.b.， Pirolli, P.和卡德，s.k.， 2001年3月。对什么万维网活动显著影响人们的决定和行动的分类分析。在计算系统中人为因素的扩展摘要(页163 - 164)。ACM。
南加州大学安纳伯格数字未来中心。2017年数字未来报告。
ClickZ。互联网增长+使用统计2019:在线时间，设备，用户。
分享这篇文章: