未经审核的用户测试:如何进行以及为什么进行

许多UX团队依靠远程可用性测试来有效地从用户那里获得设计反馈。有两种类型的远程用户测试：

• 主持远程测试研究人员通过远程屏幕共享软件与参与者会面，该软件允许研究人员提供指导，实时观察用户与设计的交互，并针对该参与者的会议提出后续问题。
• 未经协调的远程测试不需要研究人员参加每个测试阶段;相反，软件应用程序向用户提供指示，记录他们的操作，并可能问他们预定的后续问题。

是未经协调的测试适合您的项目？

无节制的研究不包括研究人员和研究参与者之间的任何直接互动，这既是他们最大的好处，也是他们最大的缺点。

因为没有必要为每个参与者安排单独的会议，无节制的测试通常要快得多比主持研究。它可能会推出一个学习和接受短短几个小时内的结果。未经协调的研究还允许您从几十甚至上百个用户同时的收集反馈。而对于国际问题研究，你不必在一个痛苦的时刻起床去迎合用户的时区。

然而，还有一些重要的因素无节制的可用性测试的局限性:

• 早期原型测试非常困难没有主持人来解释并帮助参与者从原型的错误或限制中恢复过来。
• 没有主持人，参与者往往不太参与并表现得在任务中不太现实依赖于想象、决策或情感反应。

为了更好地理解第二个限制，例如，想想两者之间的区别购物和采购．购物可以包括许多不同的类型研究和比较——没有单一的“正确”方法。为了真实地购物，参与者必须首先想象自己需要那种产品，然后注意细节并进行比较。一个参与者假装购物，是不是很经常的动机只会在少数产品一目了然，迅速选择一个似乎合理。但是，在现实生活中，消费者谁是在产品花自己的钱，他们真正需要的表现非常不同。当然，需要主持的研究是不是完全现实任，但由于参与者都知道，主持人正在观察他们，他们会得到社会动机与任务全面参与．因此,这个年代在有节制的研究中，社会压力弥补了个人动机的缺乏——在面对面的研究中更是如此。

无节制的研究最适合评估实时网站和应用程序或功能强大的原型。它们适用于不需要参与者大量想象力或情感的学习活动。

无节制的研究需要比有节制的研究更细致的计划，因为你不能依赖人类的判断来匆忙地调整研究程序。对于一个不受限制的可用性研究，你需要经历以下所有步骤:

1.定义研究目标和参与者招募标准

选择软件不应该是无节制研究的第一步。在您决定使用哪种测试软件之前，您应该清楚地了解您希望通过研究完成什么。然后您可以选择一个最适合您的研究目标的工具，而不是限制您的研究以适应特定工具的技术限制。明确的研究目标允许您确定测试软件的必需需求。

不同的研究有不同的目标，适合某项研究的工具可能对另一项研究完全无效。为了做出好的工具选择，了解研究目标是至关重要的。

在这个阶段，你还需要考虑你想要纳入研究的参与者类型。他们的人口结构应该是怎样的?他们需要被安置在哪里?他们是系统的新用户还是专家?它们是否符合特定的条件角色在您的目标受众或用户组？这些问题通常是由您的研究目标确定，也可以告知你的工具选择。

2.选择测试软件

对于无节制的研究，管理测试的软件对于获得有用的结果是绝对关键的。软件必须指导参与者通过会议并记录发生了什么。它还可能控制研究参与者的选择。

幸运的是,有有许多不同的未经审核的测试服务可用，在不同的价格点有不同的功能组合。过多的选择意味着您现在可以更加关键地选择适合项目需求的工具。(对于许多未经审核的测试工具，功能和价格经常会发生变化，所以一定要在研究时将它们与你的需求进行比较。)

这绝对值得你花时间去彻底地研究和试用测试工具，因为在你启动一项研究后，由于技术限制而将一项研究迁移到一个不同的系统，这一点都不有趣!(两家公司都没有试图整合两种不同工具收集的数据。)

3.写任务说明和后续问题

许多未经协调的测试服务，包括与通用的例子任务研究的模板。不要盲目地复制它们。你给参与者的任务做您的网站或应用程序应该是非常具体到你的情况。通用任务，如“什么是这个网站的目的，”不可能给你很好的见解：要真正评估你的系统，你将需要编写自己的任务的可用性。

在我们的经验培训其他公司运行他们自己的远程可用性测试， 写作任务是大多数研究人员失败的地方在得到结果，他们从他们的研究需要。

要为无节制的研究编写好的任务说明，首先要清楚地说明您希望用户完成什么(例如:使用帮助部分来回答问题，升级一个帐户，或保存一篇文章供以后阅读)。然后,用具体的、现实的、可执行的指令来描述目标- - - - - -没有包括让任务变得过于简单的暗示。你需要这取决于你在做一个定性或定量研究不同类型的任务指令．

在无节制的研究中，你希望参与者进行的活动必须是均匀的更仔细地写比有节制的会议任务．参与者如果不理解说明，就不能要求说明，如果他们做错了，你也不能要求他们再试一次。如果用户误解了您的说明并执行了错误的任务，那么您的测试就被浪费了。未审核的任务指令还应该明确告诉用户何时应该停止;记住，主持人不会在那里要求他们转移到另一个任务。

你也应该精心策划的任何后续问题。这些可以包括定量的问题，其中的参与者评分活动的主观困难或满意。或者，你可能会问开放式的问题它提示用户来形容的经验特定部分。仔细选择你如何词组您的问题;广阔的措辞，如“你会如何形容这个品牌？”可能导致未经协调的参与者谈论自己过去的经验，而不是他们只是使用的系统。

4.初步试验

初步试验是您在实际研究开始之前，为了发现与研究设计或程序的任何问题，运行试验会议。试点测试对于所有用户研究都是一个好主意但它是未经协调的研究尤为重要，因为研究运行时不会有可用的解决问题主持人。即使是最彻底的试点测试不能捕捉一切，但你经常可以检测并修复问题：

• 任务指示，人们误解，因为措辞含糊

• 缺失的任务，或以错误的顺序呈现的任务(特别是在有许多任务的复杂研究中)
• 缺少研究所需的功能或内容的原型
• 不兼容或技术限制，使您的测试软件无法捕获您想要记录的数据——特别是当您试图测试内部网或本地移动应用程序时
  (If your testing software records data via a web-browser extension, then browser or website restrictions may prevent it from capturing entire pages or sites or lead to low-quality recordings that are difficult to analyze. If you’re using a testing service for the first time, do a quick test of the recording process before you even bother setting up your tasks.)

你可以像参与者一样通过研究发现其中一些问题，但其他问题只有在真正的参与者使用他们自己的设备时才会显现出来。一定要分析初步研究中收集的数据!

5.招募的参与者

有一个在看的人使用你的系统，如果他们不你的目标受众相匹配是没有意义的。请确保您有对谁在参与测试的一些控制，要么通过筛选问题，或招募自己的参与者。

有些工具只提供未经审核的用户测试，参与者来自他们的小组，而其他工具将提供一个URL分发给您自己的测试人员池．

使用提供的参与者面板是快速和简单的(特别是如果你的产品是与广泛的消费者受众相关的)。小组参与者也对研究软件很熟悉，只要他们有时间就可以参加你的测试。几乎每个小组都包括一些基本的人口统计过滤，但大多数研究得到更好的结果，如果你使用关于他们行为的问题来筛选参与者，而不仅仅是年龄或性别。如果你正在测试的经验只适用于那些符合特定标准的人，如开车或定期在线购物，确保使用一个工具，让你可以编写自己的定制筛选问题。

使用小组参与者的缺点是，许多人经常做这些研究，以至于他们学会了关注设计的某些方面，并寻找可以批评的东西。为了弥补可能的“专业测试人员”，招募额外的参与者，并排除那些似乎没有真正参与活动的人的数据。

上网意味着你可以像测试街道另一边的人一样轻松地测试地球另一边的用户。许多未经审核的测试服务现在有包括来自世界各地的参与者的小组。如果你的网站目标是国际客户在美国，未经审核的测试是一种到达各种不同地点的好方法。只要记住，如果你招募参与者用其他语言完成测试，你还需要一个精通该语言的研究员或翻译来解释结果。

总而言之:

• B2B网站，目标是精英或富裕客户的网站，以及其他目标受众有限的服务，通常不能使用小组，必须自己招募测试参与者。
• 面向广大用户的B2C网站和其他服务通常通过使用面板获得更快、更便宜的结果。
• 你并不总是需要最大的面板，但如果你需要来自某个特定地区的用户，一些面板可能需要很长时间才能完成你的研究。(如果你真的需要一个特定的受众，提前与测试服务或面板管理器讨论你的需求，如果他们对是否可以这样做一点都不明确，考虑使用不同的服务。)

6.分析结果

无节制的研究可以快速积累大量数据，所以你需要一个有组织的、分析的方法，将这些数据转化为关于你的设计的可操作的见解。

如果你收集定性数据，比如参与者行动和评论的视频和音频记录，你需要回顾每一个会议记录。用户的口头和书面评论可能具有误导性，所以你必须观察他们的行为，以便了解什么有效，什么无效。在有节制的研究中，你可以跟随参与者进行活动，但在无节制的研究中，你需要能够观看之后的记录。

屏幕录音是有帮助的，但是，在没有音频录音的情况下，很容易错过为什么会发生某些行为．如果没有在屏幕上发生的事情，是不是因为参与者是读书，还是她想应该点击哪里下？的录音参与者用语言表达他们的行动是必不可少的。（参加者的网络摄像头的录像捕捉到他们的面部表情也是不错的，但不是必需的，它可以更加难招谁有一个摄像头，并愿意被记录参与者，所以使它成为一个次要的要求。）

在每一个记录中，你都需要识别问题，问题，以及对设计的积极和消极反应。如果你只有少量的记录来回顾，这个过程可能会比较快，但对于有几十个参与者的大型研究，视频分析就变得非常耗时。如果你希望分析大型研究(或进行几个不同的小型研究)，寻找一个提供强大功能的测试工具，特别是视频分析:

• 在观看视频的时候给视频加上时间标记
• 聚合、导出、共享和可视化您添加到您的录音的笔记
• 在你的录音中制作一些重要时刻的剪辑或重点编辑

当然,你可以即使未审核的测试工具没有内置这些功能，也要做笔记和视频剪辑——但包含这些功能的未审核的测试服务并不一定比缺乏这些功能的基本工具花费更多。如果您要分析几个小时以上的记录，那么多花点钱购买一款加速数据分析的工具是非常值得的。

对于非常大的定性研究，考虑可以收集一些定量测量或提供自动转录的工具。这些功能并不会消除仔细查看录音的需要，但它们肯定可以通过将你的注意力引导到可能重要的特定录音(如用户满意度评分较低的录音或特定关键字被提及的录音)来加快这一过程。

如果你的学习主要是定量，您的分析会有很大的不同。指标，如成功率，工作时间，以及主观评级会被你的学习工具自动收集。但是，为了确保你的结论是正确的，你需要查看你的数据和：

• 通过识别和排除不准确的值来清理数据。例如，如果一些任务时间比其他任务时间短或长，调查原因，然后排除异常值如果参与者没有完全完成任务，或者执行了错误的任务，这些值是否不准确，请根据您的分析进行判断。
• 履行统计测试来评估你的结果的重要性(特别是当你的目标是比较多个设计或任务时)。
• 生成数据可视化，以帮助与他人交流您的发现。

一些未经审核的测试工具可以自动化排除离群数据点的过程，许多工具都有内置的数据可视化图表。但是，由于固定图表并不总是显示最重要的结果，如果您计划进行定量分析，请确保您的工具包含导出数据的功能，这样您就可以使用Excel或专门的统计软件执行自己的分析。

总结

在实验过程中，无节制的研究比有节制的测试需要更少的工作，但它需要在研究开始前进行细致的提前计划。您可以在一整天的时间里了解更多关于远程用户测试的信息，以及这种方法与现场测试之间的关系可用性测试培训课程，其中包括写作任务的实际操作细节，促进会议等。