测试产品用户体验的7个步骤

UX基准测试是通过使用指标来衡量产品或服务相对于有意义的标准的相对性能，从而评估产品或服务的用户体验的过程。这些指标通常通过定量可用性测试、分析或调查收集。

如果你想:

• 跟踪产品或服务的总体进度
• 将您的用户体验与早期版本、竞争对手、行业基准或利益相关者确定的目标进行比较
• 展示用户体验和你的工作的价值

在一篇相关的文章中，我们将讨论当基准．在高水平上，标杆管理是一种评估产品整体性能的方法(因此，是一种类型终结性评价）．因此，基准研究往往发生在一个设计周期的结束，在下一个周期开始之前。

基准测试通常是一个程序，而不是一次性的活动:许多组织重复地收集度量标准，因为他们经历了设计的连续发布。标杆管理使团队负责，并以可衡量的方式记录进度。

过程概述

在本文中，我们介绍了创建基准测试程序的高级7步流程。当第一次建立这个程序时，会有一些额外的工作要做，以便弄清楚要度量什么和如何度量。然而，一旦你确定了学习结构，这个过程就会变得相当重复，涉及的工作也会少很多。

步骤1：选择要测量的内容

关注最能反映你想要评估的用户体验质量的关键参数．寻找转化为用户体验和组织目标的量度．

也就是说，在你决定收集哪些指标之前，你必须定义你的研究的背景。换句话说，考虑一下:

• 你会专注于什么产品？（网站、应用程序等）
• 您将针对哪个用户组？
• 您想要度量哪些任务或特性?

任务

弄清楚首要任务用户在你的产品中完成。如果您的组织没有现有的顶级任务，您可以从在产品中记录(大多数)任务开始。然后,按重要性排列查看任务列表，并选择对用户最重要的大约5到10项任务。

指标

请注意，作为敬业度指标，任务时间应为高的（例如，花很长时间在报纸网站上阅读文章），而作为一项效率指标，任务时间应该是低的(例如，在电子商务网站上快速结账)。换句话说，同样的变化(比如，更长的时间)可能是或好或坏，这取决于测量的使用类型。

选择长期有效的指标，因为理想情况下，您将在多年中反复收集这些指标。针对用户体验的不同方面制定2-4个指标(例如，幸福和参与)。

下面是我们在前面的示例中跟踪任务的一些可能指标。

对用户体验进行基准测试不仅仅是跟踪指标，还涉及展示价值。这在以下情况下更容易实现：您可以选择与组织的关键绩效指标（KPI）一致的指标．例如，在客户支持成本是KPI的银行中，您可以通过跟踪重新设计之前和之后的支持电话数量来显示重新设计的联系表单有助于降低支持成本。

步骤2：决定如何测量

当涉及到确定收集指标的方法时，您必须考虑时间研究方法所要求的承诺，成本这样的方法,，技能所涉及的研究人员，以及研究工具对你有用。如果你没有正确的技能就不要做什么，因为糟糕的数字比没有数字更糟糕。此外，不要指定一个成本太高而无法长期维持的测量计划（因为基准测试的整个理念是一次又一次地重复测量）。

在你开始计划一项新研究之前，查看您的组织有哪些关于您想要度量的经验的现有数据。全面了解体验并将您的用户体验指标与更大的组织目标联系起来是非常有价值的。当从其他来源请求数据时，请务必解释为什么需要这些数据以及如何使用这些数据。

有3种适用于用户体验基准测试的研究方法：定量可用性测试、分析和调查数据．

量化的可用性测试. 参与者在系统中执行顶级任务，研究人员收集衡量用户在这些任务上表现的指标（如任务完成时间、成功率和满意度）。

• 分析。系统使用数据（如放弃率和功能采用率）将自动收集。
• 调查。用户通过回答问题来报告他们的行为、背景或观点。任务轻松度、满意度评分、净推动者得分都是调查中收集的指标。

理想情况下，您可以将调查（获取自我报告的指标）与行为、观察方法（定量可用性测试或分析）结合起来，以获得用户体验的整体视图。

在下文中，我们根据前面的场景制定了方法。

步骤3：收集第一次测量：建立基线

现在，您已经确定了要收集哪些指标以及如何收集它们，现在是收集基线指标的时候了。（但不要那么快——做一个动作试点研究首先收集初始数据样本并进行初步分析，以确保您的方法正确，并且数据能够回答您的问题。最有可能的是，试点将让您修改您的方法，这意味着应该放弃初始数据集。但为了从后续更大的数据收集工作中获得良好的结果，这是值得投资的。）

在收集第一组测量数据时，考虑可能影响数据的外部因素，并在可能的情况下，围绕它进行计划。例如，如果你是一个电子商务网站，使用分析来收集销售指标，以作为基准，要警惕广泛的营销活动或大规模的经济影响等因素，这些因素可能会打乱你的指标，使设计变化难以关联到结果。

对站点的一个度量本身可能没有意义。即使您刚刚开始您的基准测试计划，并且您没有以前的数据可供比较，您仍然可以与进行比较竞争者，行业基准，或利益相关者确定的目标. 下面我们提供每种方法的示例。

• 你的竞争对手。例如，如果你的产品是一个智能音箱应用程序，你可以对你的产品和竞争产品的设置体验进行基准测试。(为了做到这一点，你可能需要收集你的产品和竞争对手的产品的数据，所以之前的步骤必须考虑到这一点。也就是说，你不能将分析作为你的方法论，因为你无法获得竞争对手的分析。)
• 行业基准。你可以获得与你的领域相关的外部统计数据。例如，如果你是一个酒店网站，你可能想把你的NPS与该行业平均净推动者得分(NPS)，为13%．
• Stakeholder-determined目标。例如，你的利益相关者说他们希望提交一份领先表单的平均时间不超过3分钟，所以你可能想要将你目前的表现与这个阈值进行比较。

当您考虑如何解释这些比较的结果时，请考虑步骤6中描述的建议。

步骤4：重新设计产品

重新设计的过程超出了本文的范围，尽管它是一个非常重要的部分:如果没有重新设计，您将无法比较产品的多个版本。

在重新设计产品时，请保持10种可用性启发法用于交互设计。

步骤5：收集额外的测量值

重新设计启动后，再次测量您的设计。对于设计启动后需要等待多长时间才能再次测量，没有硬性规定。如果你在跟踪分析，持续测量还有额外的好处。但是，对于基于任务的数据收集，如定量可用性测试和调查，你需要确定收集数据的正确时间。用户通常讨厌改变，所以在进行评估之前，给他们一点时间来适应重新设计。时间长短取决于用户访问产品的频率。对于每天访问的产品，可能2-3周就足够了。对于用户每周访问一到两次的产品，最好在测量前4-5周。

当你考虑测量新设计的正确时间时，再次记录可能影响你的发现的潜在外部影响因素。

第六步:解释调查结果

现在您已经收集了至少两个数据点，是时候解释您的发现了。你不应该只从表面上看你的指标，因为你的研究所用的样本可能比你的整个用户群体要小得多。因此,，您将需要使用统计方法来查看数据中的任何可见差异是真实的还是由于随机噪声。在我们的过程中，如何解读用户体验数据:用户体验的统计数据，我们详细讨论了这个话题。

一般来说，解释您的指标与您的产品和您选择收集的指标高度相关。例如，费用报告应用程序的任务时间不同于手机游戏的任务时间。在下文中，我们概述了前面讨论的场景之一以及对调查结果的解释。

场景：设置智能扬声器

假设我们使用定量可用性测试和调查来收集任务的时间、成功率和SEQ。下表概述了我们的初始设计和重新设计的假设指标。

总之，完成任务的时间几乎相同，成功率增加，平均SEQ增加。让我们假设我们发现这些指标对之间存在统计上的显著差异。因此，在重新设计中，用户对设置过程更加成功和满意。换句话说，重新设计是成功的！

步骤7：计算投资回报率（可选）

通过基准测试，您可以跟踪您的成功并展示您工作的价值。单程演示UX的价值是将UX度量与组织的目标联系起来计算投资回报率(ROI)．这些计算将用户体验指标与关键绩效指标（KPI）联系起来，如利润、成本、员工生产率或客户满意度。

计算ROI是非常有益的，尽管用户体验专业人士并没有广泛地实践(也许是因为将用户体验指标与KPI关联起来已经足够令人信服了)。在任何情况下，如果你努力证明用户体验的影响，计算ROI是有说服力的。

提出基准调查结果

当你总结你的分析并与利益相关者分享你的发现时，目标是讲述一个故事用数据。仅仅因为你领导层的一些成员喜欢数字并不意味着你不能结合一些定性的发现或引用与你的发现一致的先前研究——这可能是在数据驱动的受众中为你的用户建立同理心的一个很好的方法。

此外，在向利益相关者陈述时，一定要记录下你的所有假设和研究中可能的混淆变量。尽管您可能不需要直接对它们进行评论，但将它们放在演示文稿的附录中表明您对产品环境有了全面的了解，并允许您在出现任何关于度量的有效性的问题时轻松地引用它。

结论

基准测试是一个极好的工具，可以将用户体验的努力与整个组织的目标和结果联系起来。要进行基准研究，首先要关注产品中的重要任务或功能，并决定如何衡量它们。接下来，根据你的时间、预算和技能，选择一种能让你收集这些指标的研究方法。收集你的第一个度量值，重新设计你的产品，然后在相同的方法下再次收集这些度量值。最后，通过比较收集到的数据点，并利用你的产品和组织知识来解释你的发现。

然后，明年再来一次!(或者在下一个版本之后。)希望你的数据会更好，如果不是，你就会知道在接下来的重新设计中应该把精力集中在哪里。

参考文献

罗登，哈钦森，傅旭东。”大规模测量用户体验:Web应用的以用户为中心的指标”(2010)。来源:https://research.google/pubs/pub36299/