用户体验有时被认为是一门“软”科学。通常，这是因为我们的领域依赖于定性研究和观察。为了调查数字产品团队如何使用定量研究来获得“硬”数据(或者为什么他们不这样做)，我们调查了429名UX专业人士。
团队使用定量研究的频率如何
我们让受访者粗略估计自己或团队中的其他人的表现频率定量研究．
在解释这些结果时，请记住可能有一些样本偏差在起作用。我们从Twitter和LinkedIn上招募了受访者，并提供免费报告或在线研讨会的机会作为激励。我们还提到了调查是关于量化实践的。作为一个结果,我们的样本包括NN/g-fan UX实践者他们可能对定量研究方法感兴趣或听说过。我敢打赌，这个样本(也可能是你，因为你正在阅读这篇文章)可能比更广泛的用户体验社区作为一个整体进行更多的量化研究。
(虽然,因为你是阅读本文，这可能意味着这个调查的结果可能是相当具有代表性的项目类型你继续工作，即使它们可能不能代表世界上所有的设计项目。)
当我们听到大多数受访者(71%)说他们“有时”或“每个项目至少进行一项研究”进行定量研究时，我们有些惊讶。当我们查看受访者报告使用的方法时，这个结果是有意义的。
团队使用哪些方法
我们要求受访者告诉我们他们的团队使用11种流行的UX研究方法的频率——7定量和4定性。对于每一种方法，受访者告诉我们他们是“经常”、“有时”、“很少”还是“从不”使用它。
根据我们的受访者报告，最常用的方法依次为:
- 分析(定量)
- 定性可用性测试
- 面试(定性)
- 大样本调查(定量)
- 小样本调查(定性)
- A/B或多元测试(Quant)
- 卡片分类(定量/定性)
- 量化可用性测试(Quant)
- 焦点小组(定性)
- 树测试(定量)
- 眼动(定性/定量)
可以预见的是,相对低成本的方法排名靠前(分析学、定性可用性测试、访谈)，而更昂贵的方法则靠后(定量可用性测试和访谈)眼动这两者的成本都高得令人望而却步)。
这些结果为设计项目中令人惊讶的高频率定量研究提供了一些背景。在报告每个项目至少使用一次定量研究的受访者中，74%的人也表示“经常”使用分析(117人中有86人)。
分析数据可以在用户体验设计中扮演着重要的角色．不幸的是，在这个调查中，我们没有确切的指示如何受访者在他们的项目中使用了分析。
很有可能，很多偏重分析的受访者，每个项目至少使用一次定量研究，或者有时使用定量研究，以有意义的方式使用分析数据来指导他们的设计项目——例如，帮助他们识别产品中的问题区域。
然而，也有可能那些简单地报告他们的团队是公正的收集分析每个项目中的数据，并不是说它对他们的工作有任何真正的意义。我们的应答者的一些开放文本字段评论支持了这种可能性。
“我们没有资金用于更先进的定量研究方法(除了点击测试、调查等)。”
“我的公司最初是一家A/B测试和CRO公司，除了转换率之外，他们的想法并没有改变。”
“我的经理可以使用分析数据，衡量我们产品/网站流量的成功程度，而不是通过解读数据来获取有意义的见解。”
“它们是我们能够接触到的唯一参数。我们不收集任何使用数据，所以销售和收入完全是产品决策的驱动力。”
成功的标准
用户研究(不仅是定量的，而且也是定性的)可以帮助我们确定我们的设计是否如我们所愿，以及我们是否达到了我们的目标。
我们在调查中询问受访者，他们如何知道一个设计项目是成功的。在多选模式中，玩家可以从5个选项中选择:
- 基于使用指标和定量研究(如定量可用性测试、NPS和分析)的计算改进
- 基于通过定性研究(如定性可用性测试和访谈)观察到的改进
- 只要领导/主管满意，设计变更就算是成功
- 我们真的不知道
- 其他
在一个理想的世界里，成功将通过定性和定量的数据(观察和测量的结果)来评估。这将告诉我们，我们是否达到了我们的目标，让我们的用户高兴，这将使领导或利益相关者高兴，作为一个自然的结果。
不幸的是，这并不是我们发现的结果:只有24%的受访者进行了检查这两个定量分析的选择和定性研究。超过40%的受访者优先考虑量化和质量数据，快乐的高管/利益相关者也是如此。此外,一个令人沮丧的18%的受访者承认他们“真的不知道”不管他们的设计改变是否真的是改进。
定量研究的挑战
我们经常听到UX团队抱怨他们想要做更多的量化研究，但有太多不可逾越的障碍。为了在我们的调查中捕捉到这一点，我们要求受访者从我们最常听到的9个问题的多选列表中选择他们的量化研究挑战，再加上一个“其他”自填字段。
- 定量研究太昂贵了
- 定量研究太费时间了
- 难以为大样本招募足够的参与者
- 团队缺乏关于如何进行或分析定量研究的知识
- 对于定量研究是什么，什么时候使用它，或者方法是什么，团队缺乏知识
- 缺乏对定量研究价值的认识
- 缺乏对研究总体价值的理解——不仅仅是定量研究
- 难以解释或报告定量研究结果
- 组织中的另一个小组负责定量研究，用户体验不包括在内
- 其他
- 我不确定
难以获得大量样本是最受欢迎的回答(37%)。一些受访者表示，他们很难收集到大量样本，因为他们的最终用户被看门人屏蔽了。例如，一名研究企业产品的受访者解释说:“我们依靠产品管理来决定何时可以联系或不能联系那些可能不愿提供员工时间的客户。”
在招募困难之后，其他选项的选择率相当相似(16-29%)。在429名受访者中，只有2名表示每个项目至少进行了一项定量研究，而且没有重大担忧。这里的主要结论似乎是几乎每个人都在某种程度上与定量研究作斗争——甚至是那些经常做定量研究的人。
无知是障碍
值得注意的是，缺乏量化方法和分析量化数据的知识排在了榜单的首位。量化研究可能会让UX专业人士、他们的团队或他们的利益相关者感到害怕，无知是一个巨大的障碍。
“我们的挑战尤其在于A/B测试背后的高级数学。”
“缺乏数据科学家(目前1人)，定性研究人员的量化技能(或培训)有限。当有更好的人来纠正你的时候，可能会令人不快;)”
一些在咨询公司或机构工作的受访者抱怨称，他们很难让客户“接受”量化研究。
“我们的用户体验团队理解它的价值，以及如何/何时使用它。然而，组织中其他部门的产品团队则是另一回事……”
“业主不认为定量研究有什么价值。疯了,我知道。”
尽管存在这些挑战，但这些结果也有一些好消息:只有16%的受访者认为量化UX研究过于昂贵。显然，某件东西是否被认为“昂贵”取决于三个因素:成本、成本效益比和可用的预算。(即使是成本效益比很好的研究，如果成本超过了可用的预算，也会过于昂贵。)
十年前，用户体验领域的普遍理解是定量研究很昂贵并保留给大公司里资金充足的奢侈项目。我们一直提倡折扣可用性，而不是豪华可用性方法，以使用户研究得到更广泛的应用。
然而,尽管廉价的方法仍然是伟大的定量方法不像过去那样是一种负担不起的奢侈，原因有三:
- 成本降低了，由于诸如远程研究服务(如UserZoom)和自动数据收集。
- 成本效益比更有利，因为定量结果不仅仅被用作虚荣心统计——相反，它们经常被用于纵向跟踪、展示ROI，以及用定性结果进行三角分析。
- 用户研究预算总体上在增长，随着越来越多的公司向更高的用户体验的成熟度．
你的量化分析师待办事项清单
基于这些发现，我们有以下建议供您在下一个项目中考虑。
- 你可能负担得起做一些定量研究，所以要做好计划。即使这意味着从更便宜或更轻量级的方法(如分析)开始，也没关系。让你的团队或客户从量化研究开始是很重要的，你可以在积累专业知识的同时扩展量化方法。
- 尽早考虑如何获得必要的样本量，因为这是阻碍大多数团队前进的问题，不应该留到最后一刻。如果你在与阻止你访问用户的看门人斗争，这可能需要一些人际关系来说服他们你的研究的重要性。如果招聘对你的团队来说是一个持续的障碍(而你有资源)，考虑在公司内部安排一个兼职或全职招聘人员来完成这项工作。
- 甚至在项目开始之前，让你自己和你的团队学习可用的量化方法，每种方法的适当使用，以及如何解释发现把它们变成行动项目。不要让“缺乏知识”成为你前进的障碍。
- 不要只使用最流行的方法，但是要考虑什么时候一些更专业的方法对回答特定的设计问题更有价值。
- 结合的方法．特别是，使用定量研究和定量研究相结合的方法来相互告知，从而提高两者的有效性。
- 计划你将如何判断你的设计是否成功一开始，最好结合定量数据和定性观察。这样你就能成为24%的UX从业者中的精英。
要了解定量研究、定量方法的价值，以及如何在它们之间做出选择，请查看我们全天的研讨会，测量用户体验和ROI．
分享这篇文章: