未经审核的用户测试:如何进行以及为什么进行

许多UX团队依靠远程可用性测试来有效地从用户那里获得设计反馈。有两种类型的远程用户测试：

• 主持远程测试研究人员通过远程屏幕共享软件与参与者会面，该软件允许研究人员提供指导，实时观察用户与设计的交互，并针对该参与者的会议提出后续问题。
• 不加节制的远程测试不需要研究人员参加每个测试阶段;相反，软件应用程序向用户提供指示，记录他们的操作，并可能问他们预定的后续问题。

无节制的测试对你的项目是正确的吗?

无节制的研究不包括研究人员和研究参与者之间的任何直接互动，这既是他们最大的好处，也是他们最大的缺点。

因为没有必要为每个参与者安排单独的会议，无节制的测试通常要快得多而不是有节制的研究。启动一项研究并在几小时内收到结果是可能的。未经审核的研究还允许你同时收集数十甚至数百个用户的反馈。在国际研究中，你不必在不合时宜的时间起床来匹配用户的时区。

然而，还有一些重要的因素无节制的可用性测试的局限性:

• 早期原型测试非常困难没有主持人来解释并帮助参与者从原型的错误或限制中恢复过来。
• 如果没有主持人，参与者的参与度和行为就会降低在任务中不太现实依赖于想象、决策或情感反应。

为了更好地理解第二个限制，例如，想想两者之间的区别购物和采购．购物可以包括许多不同的类型研究和比较——没有单一的“正确”方法。为了真实地购物，参与者必须首先想象自己需要那种产品，然后注意细节并进行比较。一个参与者假装购物并不是很有动力的人通常只会扫一眼少数产品，然后迅速选择一个似乎合理的。但是，在现实生活中，那些把自己的钱花在他们真正需要的产品上的消费者的行为是非常不同的。当然，一个有节制的研究也不是完全现实的，但因为参与者意识到有节制的人正在观察他们，他们将被社会激励去做完全投入到任务中去．因此,这个年代在有节制的研究中，社会压力弥补了个人动机的缺乏——在面对面的研究中更是如此。

无节制的研究最适合评估实时网站和应用程序或功能强大的原型。它们适用于不需要参与者大量想象力或情感的学习活动。

无节制的研究需要比有节制的研究更细致的计划，因为你不能依赖人类的判断来匆忙地调整研究程序。对于一个不受限制的可用性研究，你需要经历以下所有步骤:

1.定义研究目标和参与者招募标准

选择软件不应该是无节制研究的第一步。在您决定使用哪种测试软件之前，您应该清楚地了解您希望通过研究完成什么。然后您可以选择一个最适合您的研究目标的工具，而不是限制您的研究以适应特定工具的技术限制。明确的研究目标允许您确定测试软件的必需需求。

不同的研究有不同的目标，适合某项研究的工具可能对另一项研究完全无效。为了做出好的工具选择，了解研究目标是至关重要的。

在这个阶段，你还需要考虑你想要纳入研究的参与者类型。他们的人口结构应该是怎样的?他们需要被安置在哪里?他们是系统的新用户还是专家?它们是否符合特定的条件角色或者你的目标受众中的用户群?这些问题通常是由您的研究目标决定的，也可以帮助您选择工具。

2.选择测试软件

对于无节制的研究，管理测试的软件对于获得有用的结果是绝对关键的。软件必须指导参与者通过会议并记录发生了什么。它还可能控制研究参与者的选择。

幸运的是,有有许多不同的未经审核的测试服务可用，在不同的价格点有不同的功能组合。过多的选择意味着您现在可以更加关键地选择适合项目需求的工具。(对于许多未经审核的测试工具，功能和价格经常会发生变化，所以一定要在研究时将它们与你的需求进行比较。)

这绝对值得你花时间去彻底地研究和试用测试工具，因为在你启动一项研究后，由于技术限制而将一项研究迁移到一个不同的系统，这一点都不有趣!(两家公司都没有试图整合两种不同工具收集的数据。)

3.写任务说明和后续问题

许多未经审核的测试服务包括带有通用示例任务的学习模板。不要盲目模仿。你给参与者在你的网站或应用程序上做的任务应该高度具体到你的情况。一般的任务，例如“这个站点的目的是什么”，不太可能给您很好的洞察:要真正评估系统的可用性，您需要编写自己的任务。

在我们的经验培训其他公司运行他们自己的远程可用性测试、写作任务是大多数研究人员失败的地方从他们的研究中得到他们需要的结果。

要为无节制的研究编写好的任务说明，首先要清楚地说明您希望用户完成什么(例如:使用帮助部分来回答问题，升级一个帐户，或保存一篇文章供以后阅读)。然后,用具体的、现实的、可执行的指令来描述目标- - - - - -没有包括让任务变得过于简单的暗示。你需要不同类型的任务指示取决于你是在做定性研究还是定量研究．

在无节制的研究中，你希望参与者进行的活动必须是均匀的更仔细地写比有节制的会议任务．参与者如果不理解说明，就不能要求说明，如果他们做错了，你也不能要求他们再试一次。如果用户误解了您的说明并执行了错误的任务，那么您的测试就被浪费了。未审核的任务指令还应该明确告诉用户何时应该停止;记住，主持人不会在那里要求他们转移到另一个任务。

你也应该精心计划后续的问题。其中包括定量问题，参与者对活动的主观难度或满意度进行评分。或者你可能会问开放式的问题提示用户描述体验的特定部分。仔细选择问题的表达方式;宽泛的措辞，比如“你如何描述这个品牌?”可能会导致无节制的参与者谈论他们过去的经历，而不是他们刚刚使用的系统。

4.初步试验

试点测试是在实际研究开始前进行的试验，目的是发现研究设计或过程中的任何问题。试点测试对于所有用户研究都是一个好主意但这对未调节的研究尤其重要，因为在研究进行时，不会有调节来解决问题。即使是最彻底的试点测试也无法捕捉到所有问题，但你通常可以通过以下方法检测和修复问题:

• 任务指示，人们误解，因为措辞含糊

• 缺失的任务，或以错误的顺序呈现的任务(特别是在有许多任务的复杂研究中)
• 缺少研究所需的功能或内容的原型
• 不兼容或技术限制，使您的测试软件无法捕获您想要记录的数据——特别是当您试图测试内部网或本地移动应用程序时
  (如果你的测试软件通过网络浏览器扩展记录数据，那么浏览器或网站的限制可能会阻止它捕获整个页面或网站，或导致难以分析的低质量记录。如果你是第一次使用测试服务，在设置任务之前，对记录过程做一个快速测试。)

你可以像参与者一样通过研究发现其中一些问题，但其他问题只有在真正的参与者使用他们自己的设备时才会显现出来。一定要分析初步研究中收集的数据!

5.招募的参与者

如果用户与你的目标用户不匹配，那么观察他们使用你的系统是没有意义的。通过筛选问题或招募你自己的参与者，确保你对参与测试的人有一定的控制。

有些工具只提供未经审核的用户测试，参与者来自他们的小组，而其他工具将提供一个URL分发给您自己的测试人员池．

使用提供的参与者面板是快速和简单的(特别是如果你的产品是与广泛的消费者受众相关的)。小组参与者也对研究软件很熟悉，只要他们有时间就可以参加你的测试。几乎每个小组都包括一些基本的人口统计过滤，但大多数研究得到更好的结果，如果你使用关于他们行为的问题来筛选参与者，而不仅仅是年龄或性别。如果你正在测试的经验只适用于那些符合特定标准的人，如开车或定期在线购物，确保使用一个工具，让你可以编写自己的定制筛选问题。

使用小组参与者的缺点是，许多人经常做这些研究，以至于他们学会了关注设计的某些方面，并寻找可以批评的东西。为了弥补可能的“专业测试人员”，招募额外的参与者，并排除那些似乎没有真正参与活动的人的数据。

上网意味着你可以像测试街道另一边的人一样轻松地测试地球另一边的用户。许多未经审核的测试服务现在有包括来自世界各地的参与者的小组。如果你的网站目标是国际客户在美国，未经审核的测试是一种到达各种不同地点的好方法。只要记住，如果你招募参与者用其他语言完成测试，你还需要一个精通该语言的研究员或翻译来解释结果。

总而言之:

• B2B网站，目标是精英或富裕客户的网站，以及其他目标受众有限的服务，通常不能使用小组，必须自己招募测试参与者。
• 面向广大用户的B2C网站和其他服务通常通过使用面板获得更快、更便宜的结果。
• 你并不总是需要最大的面板，但如果你需要来自某个特定地区的用户，一些面板可能需要很长时间才能完成你的研究。(如果你真的需要一个特定的受众，提前与测试服务或面板管理器讨论你的需求，如果他们对是否可以这样做一点都不明确，考虑使用不同的服务。)

6.分析结果

无节制的研究可以快速积累大量数据，所以你需要一个有组织的、分析的方法，将这些数据转化为关于你的设计的可操作的见解。

如果你收集定性数据，比如参与者行动和评论的视频和音频记录，你需要回顾每一个会议记录。用户的口头和书面评论可能具有误导性，所以你必须观察他们的行为，以便了解什么有效，什么无效。在有节制的研究中，你可以跟随参与者进行活动，但在无节制的研究中，你需要能够观看之后的记录。

屏幕录音是有帮助的，但是，在没有音频录音的情况下，很容易错过为什么会发生某些行为．如果屏幕上什么也没有发生，是因为参与者正在阅读，还是在思考下一步该点击哪里?录音参与者用语言表达他们的行动是至关重要的。(记录参与者的网络摄像头来捕捉他们的面部表情也很好，但不是必要的。招募有网络摄像头并愿意被记录的参与者可能会更困难，所以把它作为次要要求。)

在每一个记录中，你都需要识别问题，问题，以及对设计的积极和消极反应。如果你只有少量的记录来回顾，这个过程可能会比较快，但对于有几十个参与者的大型研究，视频分析就变得非常耗时。如果你希望分析大型研究(或进行几个不同的小型研究)，寻找一个提供强大功能的测试工具，特别是视频分析:

• 在观看视频的时候给视频加上时间标记
• 聚合、导出、共享和可视化您添加到您的录音的笔记
• 在你的录音中制作一些重要时刻的剪辑或重点编辑

当然,你可以即使未审核的测试工具没有内置这些功能，也要做笔记和视频剪辑——但包含这些功能的未审核的测试服务并不一定比缺乏这些功能的基本工具花费更多。如果您要分析几个小时以上的记录，那么多花点钱购买一款加速数据分析的工具是非常值得的。

对于非常大的定性研究，考虑可以收集一些定量测量或提供自动转录的工具。这些功能并不会消除仔细查看录音的需要，但它们肯定可以通过将你的注意力引导到可能重要的特定录音(如用户满意度评分较低的录音或特定关键字被提及的录音)来加快这一过程。

如果你的学习主要是定量，你的分析将会完全不同。您的研究工具将自动收集成功率、任务时间和主观评分等指标。但为了确保你的结论是准确的，你需要回顾你的数据，并:

• 通过识别和排除不准确的值来清理数据。例如，如果一些任务时间比其他任务时间短或长，调查原因，然后排除异常值如果参与者没有完全完成任务，或者执行了错误的任务，这些值是否不准确，请根据您的分析进行判断。
• 执行统计测试来评估你的结果的重要性(特别是当你的目标是比较多个设计或任务时)。
• 生成数据可视化，以帮助与他人交流您的发现。

一些未经审核的测试工具可以自动化排除离群数据点的过程，许多工具都有内置的数据可视化图表。但是，由于固定图表并不总是显示最重要的结果，如果您计划进行定量分析，请确保您的工具包含导出数据的功能，这样您就可以使用Excel或专门的统计软件执行自己的分析。

总结

在实验过程中，无节制的研究比有节制的测试需要更少的工作，但它需要在研究开始前进行细致的提前计划。您可以在一整天的时间里了解更多关于远程用户测试的信息，以及这种方法与现场测试之间的关系可用性测试培训课程，其中包括写作任务的实际操作细节，促进会议等。