“不是所有能计数的东西都有价值，也不是所有能计数的东西都有价值。”

–（归于）阿尔伯特·爱因斯坦

一个相当普遍的反对定性的用户体验研究(尤其是从有统计知识的观众那里)小样本导致轶事证据或一些人的主观评估，而不是数据适当的。许多在医疗保健、自然科学、甚至只是“数据驱动”组织领域工作的uxer可能会发现，建立买入以进行小型交易是困难的n首先是研究;即使他们能够进行测试，通常也很难对结果得出的建议建立可信度。

常见的反对意见包括：

  • 5个或10个用户研究中设计选项的比较没有统计学意义(这是真的)。
  • 小样本量意味着我们不能自信地概括诸如完成任务的时间或小型研究的成功率(也是如此)。
  • 因为我们没有测量因此，我们对事物的解释本质上是主观的(这确实是一种潜在的危险，但需要适当的方法和优秀的研究人员来解释)。

虽然有些反对意见是正确的(这也是为什么我们不推荐从定性研究中报告数据的原因)，但断言定性研究是道听途说或缺乏严谨性是一个很大的飞跃。事实很简单定性研究是一种相当不同的模式调查的目的。

如果你是一个正面临这种挫折的UXER，请考虑向你的同事提出以下几点。

定性方法是定量测量的必要补充

受过科学教育的人通常熟悉使用的实验精心控制的定量测量作为一种评估假设的方法;这通常被称为证明的研究。对于有这种背景的人来说，与一小部分人交谈(甚至可能每次都稍微改变研究程序!)作为得出结论的手段，从本质上看似乎不科学，容易产生偏见，不太可能适用于所有人。

但定性研究的目标是不同的:我们不是试图证明一个假设是错误的，而是试图详细了解问题的本质。定性的研究并没有试图对整个目标受众做出量化的断言。例如，10人研究中的6人能够轻松使用应用中的某个功能，但这并不意味着60%的人都会有类似的体验。但是，在这项研究中，我们可以确定其他4个人遇到的问题(以及其他6个人努力克服的问题)，并了解问题背后的原因，目标是解决这些问题。(这些问题是我们只能推测如果我们只看一个定量研究或分析数据...）

不同的目标需要不同的调查方法当前位置要知道有多少人有问题，需要大量的样本才能确信我们测量的数字没有问题随机失真,但知道一个问题可能发生和为什么要求我们观察用户的行为，引出用户的想法。最重要的是,如何要重新设计UI以解决问题，需要这些定性的见解。

定性研究的目标是收集驱动决策的洞见，特别是当测量是不可行的或不可能的。当然，我们可以想出一些测量工具满意，情绪状态，及其他攻的现象这些工具不会告诉我们为什么用户此时此刻的感觉我们如何才能更好地支持他们的需求．

定性研究是严谨和系统的

然而，一个重要的问题是:我们如何知道定性研究是否严谨和可靠，给我们关于用户的真实见解?

定量研究的严谨性被视为由以下几个主要属性组成:

  1. 有效性-我们正在测量的东西是我们所关心的东西的一个很好的代表吗？我们的结论能概括到这个实验之外吗？
  2. 可靠性——如果我们重复研究，我们会得到相似的结果吗?
  3. 客观性——我们是否有办法确保我们的观察不被我们的偏见所蒙蔽？

这些特征对于定量研究来说是相对直接的，但对于大多数样本量小的研究来说是不容易确定的。

社会科学家Yvonna Lincoln和Egon Guba为定性研究创造了一套平行的特征，这已经成为评估严重度的标准方法:

  1. 可信度:我们是否准确描述了我们所观察到的情况?
  2. 可移植性:我们的结论是否适用于其他情况?
  3. 可靠性:我们的发现是否一致和可重复?
  4. 可证实性：我们在分析中是否避免了偏见？

我们可以通过系统化来满足这些标准。这就是我们收集数据的原因数据，而不是偶然发生的轶事。如果首席执行官从朋友那里听说公司的应用程序看起来过时了，那就是一个轶事——没有一个系统的过程来收集这些观察结果，它是偶然发生的，只是一个人的主观意见。如果用户体验研究人员系统地招募了5名参与者，其中几名参与者是了解导航中的品牌术语，即数据。

优秀的定性研究人员会采取许多步骤来确保他们的工作是系统性的:

  • 他们将自己的工作与基于证据的理论联系起来框架关于UI应该如何设计以及如何与认知心理学和人机交互——关于用户如何使用的知识体系感知世界，并在精神上处理它，的行为，并从事特定相互作用用各种形式的技术。
  • 他们制定具体的研究问题在选择合适的方法之前。
  • 他们仔细地取样招募的参与者这代表了不同的视角，所以他们可以了解未知的未知。
  • 它们使用开放式的提示以最小的偏见引出参与者的想法和反应，并跟踪参与者有趣的不完整陈述，而不带任何偏见无意识地向他们暗示如何回应．
  • 他们不只是拿走用户的表面观点-他们建立了一种理解为什么用户可以请求一个功能或配置为什么例如，有些东西看起来可能不吸引人。
  • 他们分析我们的数据系统地编码洞察力(再次利用启发式的总体理论框架，已知的最佳实践，等等）。编码通常是使用从扎根理论方法学中借用的归纳推理技术来完成的——主题是在自下而上的分析中从数据中产生的，而不是从一系列代码开始，然后强制匹配数据。然后，他们试图在数据中编码的结果之间建立概念上的联系寻找模式．
  • 当他们遇到不寻常或不寻常的事情时，他们使用三角测量以确保我们的结论得到支持(即，他们通过不同的方法调查相同的事情，或者他们让其他训练有素的研究人员独立分析相同的数据)。毕竟，非凡的主张需要非凡的证据。

小样本大小是可以的，这取决于你在看什么

但是，你可能会说，那么那些小样本呢?他们难道没有内在的对异常值的敏感性？也许你观察到的问题是真实存在的，但很罕见，你可能会由于样本少，夸大了它的重要性．

这些都是真正的问题。那么，如何解决呢做定性研究人员在我们的结论中防止对罕见事件的过度描述?

再一次，我们可以指出一个强健的理论框架我们在用户体验中充满了关于用户如何感知、思考、行为和与技术交互的基于证据的原则。如果我们观察到哪怕只有一个人有问题，这就是一个例子已知的原则上，我们有理由相信这是一个真正的问题。当然，我们仍然不能准确地说有多少人会遇到这个问题。

如果受问题影响的人数是我们需要考虑的一个真正的因素（例如，如果问题需要花费很大的代价，并且需要大量的资源），那么，我们可能需要做一些定量实验来解决这个问题。另一方面，简单地解决设计问题而不量化问题的严重程度通常更便宜（也更明智），如果我们确认它在设计过程的早期．

例如，如果我设计了一个供消费者使用的炸油锅，我将(希望)在出售它之前进行一些安全测试。如果第一个测试者不小心在炒菜篮上烫伤了自己，因为手柄正好在加热元件上方，我可能不会用大样本继续测试，以弄清楚到底有多少用户也会烫伤自己，然后起诉我。在本例中，我发现了样本容量为1的一个主要问题。现在，这个例子显然是非常简化的，一个小的样本量将不适合每一个研究问题，但这种方法将经常资源的最佳利用尤其是当我们在寻找主要阻滞剂的时候。

这是我们一直坚持的主要原因之一推荐的小样本研究早做(和重复几次迭代的设计)：他们是一个相对独立的群体廉价的这是一种发现和解决主要可用性问题的方法，否则如果我们不进行测试就发布产品，我们就会从愤怒的客户那里了解到这些问题。在许多参与者中确认设计中的主要缺陷是浪费时间和资源的，特别是如果我们在一个快速发展的敏捷团队中工作。

一个合理的问题可能会被问到:为什么不简单地使用更大的样本量进行定性研究，以便更有信心，例如，我们的研究参与者表达的期望和需求是常见的，而不是异常的异常值?从根本上说，这归结为成本:招募更多的参与者，并主持研究会议。激发用户的内心想法通常需要熟练的主持人他们可能需要在每次会议期间进行一些即兴创作，以适应每个研究参与者的具体情况。此外，由于每次会议的协议都会略有不同，我们无法合理地比较和汇总所有会议的数据，因为每次“试验”可能会有所不同。在实践中，定性研究人员通常根据研究结果达到饱和点所需的参与者数量确定特定的样本量（即，他们以小批量的方式继续研究，直到他们不太可能学习到足够的新核心见解，从而值得项目的额外延迟）。尤其是对于面试，领域的研究，以及其他形式的发现导向研究，这是目标，而不是试图确定如何常见的核心调查结果如下。

同理心和人性并不容易计算，但它们很重要

最后，但绝对重要的是，定性研究可以让我们建立一个真实的，移情作用的理解作为人类的使用者。当我们主要通过用户粘性、跳出率或任务执行时间等参数来看待人类与技术的互动时，我们并不太关心用户的福祉。(这可能是我们的潜意识，但肯定不是首要考虑的因素。)科技行业才刚刚开始考虑道德并意识到我们的产品设计对很多很多人的生活产生了真正的影响。

主持定性研究要求我们与其他人（甚至不降额研究仍然涉及观察人)。我们通常需要建立某种形式的融洽的关系让参与者能够自如地表达他们的内在思维过程。我们经常发现，他们对世界的体验与我们不同——有细微之处，也有巨大之处。这些研究提供了机会同情他们。

我不想在这里夸大定性研究的力量。它不会自动产生对用户的同情——我肯定看到过团队在看着用户挣扎时大笑。做定性研究并不能解决商业模式中的伦理问题。定性研究肯定不会取代你的团队对公正和包容的招聘实践的关键需求，以确保决策是由具有各种背景和生活经验的人做出的。

另一方面，我也不想抛售同理心的价值是通过这类研究建立起来的——例如，仅仅通过注意到一个用户有多么沮丧，并倾听他们不经意地质疑他们是否愚蠢因为他们无法想出一个令人困惑的设计。这种(不幸的是司空见惯的)反应告诉我，问题是真实存在的，需要优先解决它，即使我没有一个庞大的样本量。

总结

定性研究是严谨和系统的，但它的目标与定量测量不同。它用人类经验的数据——期望、心理模型、痛点、困惑、需求、目标和偏好——阐明了一个问题空间。样本规模通常小于定量实验，因为目标不是表明我们的样本参与者将按比例代表整个总体;相反，我们正在寻找问题，确定需求，并改进设计。用户体验研究是一门混合方法的学科，因为这两种方法是互补的:测量多少钱？和理解为什么两者都能帮助我们构建更好的产品，这是任何用户体验研究的主要目标．

参考文献

朱丽叶·柯尔宾和安塞姆·施特劳斯，1990。扎根理论研究:程序、准则和评价标准。定性的社会学,1990年第13卷第1期

Yvonna Lincoln和Egon Guba, 1985年。自然主义调查．Sage, Newbury Park, CA

Saunders, B.， Sim, J.， Kingstone, T。et al。2018.质性研究的饱和:探讨其概念化与运作化。定性定量52，1893 - 1907。https://doi.org/10.1007/s11135-017-0574-8

迈克·休斯》2011。可用性测试中的可靠性和可靠性，检索自:https://www.uxmatters.com/mt/archives/2011/06/reliability-and-dependability-in-usability-testing.php