“并非所有可以计数的一切，而不是可以计算的所有重要信息。”

——(归功于)爱因斯坦

一个相当普遍的反对定性的用户体验研究(尤其是从有统计知识的观众那里)小样本大小结果是轶事证据或少数人的主观评价，而不是数据恰当的。许多在域中工作的uxers，如医疗保健，自然科学，甚至只是“数据驱动的”组织可能会发现很难建立买入小 -n首先研究;即使他们能够进行测试，它往往很难建立关于结果导致的建议的可信度。

常见的反对意见包括：

  • 5个或10个用户研究中设计选项的比较没有统计学意义(这是真的)。
  • 小样本量意味着我们不能自信地概括诸如完成任务的时间或小型研究的成功率(也是如此)。
  • 因为我们不是测量事物，我们的解释是本质上的主观（实际上是一个潜在的危险，而是一个适当的方法和良好的研究人员占该危险）。

虽然有些反对意见是正确的(这也是为什么我们不推荐从定性研究中报告数据的原因)，但断言定性研究是道听途说或缺乏严谨性是一个很大的飞跃。事实很简单定性研究是一种相当不同的模式的调查。

如果你是一名UXer，正面临着这种阻力，考虑向你的同事提出以下几点。

定性方法是定量测量的必要补充

受过科学教育的人通常熟悉使用的实验精心控制的定量测量作为评估假设的一种方式;这通常被称为提供证据的研究。对于有这种背景的人来说，与一小部分人交谈(甚至可能每次都稍微改变研究程序!)作为得出结论的手段，从本质上看似乎不科学，容易产生偏见，不太可能适用于所有人。

但定性研究的目标是不同的:我们不是试图证明一个假设是错误的，而是试图详细了解问题的本质。定性研究并没有试图对整个目标受众做出量化的断言。例如，10人研究中的6人能够轻松使用应用中的某个功能，但这并不意味着60%的人都会有类似的体验。但是，在这项研究中，我们可以确定其他4个人遇到的问题(以及其他6个人努力克服的问题)，并了解问题背后的原因，目标是解决这些问题。(这些问题是我们只能推测如果我们只看a定量研究或分析数据...）

不同的目标要求不同的调查方法:要知道有多少人有问题，需要一个大的样本量来确信我们测量的数字没有问题随机失真,但知道可能是一个问题发生和为什么要求我们观察行为和引出用户的想法。最重要的，如何重新设计UI以解决问题需要这些定性的洞察力。

定性研究的目标是收集驱动决策的洞见，特别是当测量是不可行的或不可能的。当然，我们可以想出一些测量工具满意度，情绪状态，和其他的我攻的现象这些工具不会告诉我们为什么用户在此刻或此感到这种方式我们如何才能更好地支持他们的需求．

定性研究是严谨和系统的

尽管如此，一个重要的问题是：我们如何知道定性研究是否严格，可靠地为我们提供对我们的用户的真实洞察？

定量研究的严谨性被视为由以下几个主要属性组成:

  1. 有效性-我们测量的东西能很好地代表我们所关心的东西吗?我们的结论是否可以推广到这个实验之外?
  2. 可靠性——如果我们重复研究，我们会得到相似的结果吗?
  3. 客观性——我们是否有办法确保我们的观察不被我们的偏见所蒙蔽?

这些特征对于定量研究来说是相对直接的，但对于大多数样本量小的研究来说是不容易确定的。

社会科学家Yvonna Lincoln和Egon Guba为定性研究创造了一套平行的特征，这已经成为评估严重度的标准方法:

  1. 可信度:我们是否准确描述了我们所观察到的情况?
  2. 可转移性：我们的结论是否适用于其他环境？
  3. 可靠性:我们的发现是否一致和可重复?
  4. 可证实性:我们在分析中避免了偏见吗?

我们可以通过系统化来满足这些标准。这就是我们收集数据的原因数据，而不是偶然发生的奇闻轶事。如果CEO从一个朋友那里听说公司的应用程序看起来过时了，那只是一件轶事——没有一个系统的过程来收集这些观察，这只是偶然发生的，只是一个人的主观意见。如果用户体验研究人员系统地招募了5个参与者，其中有几个人很难理解导航中的品牌术语，那就是数据。

优秀的定性研究人员会采取许多步骤来确保他们的工作是系统性的:

  • 他们将自己的工作与基于证据的理论联系起来框架关于ui应该如何设计，以及关于用户如何使用的认知心理学和人机交互知识体系感知世界，并在精神上处理它，的行为，从事具体的交互用各种形式的技术。
  • 他们制定了具体的研究问题在选择合适的方法之前。
  • 他们仔细地取样招募的参与者这代表了不同的视角，所以他们可以了解未知的未知。
  • 他们通过使用开放式提示以最小的偏见引出参与者的想法和反应，并跟踪参与者有趣的不完整的陈述无意识地向他们暗示如何回应．
  • 他们不只是带上用户表面观点-他们建立了一种理解为什么用户可以请求一个特性或为什么例如，有些东西可能看起来并不吸引人。
  • 他们分析了我们的数据系统地编码洞察力（再次绘制了启发式的总体理论框架，已知最佳实践， 等等）。编码通常使用从接地理论方法借用的归纳推理技术进行 - 主题从自下而上分析中的数据中出现，而不是通过从数据的代码列表开始，然后强制适合数据。然后，他们尝试在数据中的编码调查结果之间建立概念性连接寻找模式．
  • 当他们遇到不寻常或不寻常的事情时，他们会使用三角测量以确保我们的结论得到支持(即，他们通过不同的方法调查相同的事情，或者他们让其他训练有素的研究人员独立分析相同的数据)。毕竟，非凡的主张需要非凡的证据。

小样本大小是可以的，这取决于你在看什么

但是，你可能会说，那么那些小样本呢?他们没有固有的对异常值的敏感性？也许你观察到的问题是真实存在的，但很罕见，你可能会由于样本少，夸大了它的重要性．

这些都是切实存在的问题。所以,如何做定性研究人员在我们的结论中防止对罕见事件的过度描述?

再一次，我们可以指出一个强健的理论框架我们在用户体验中充满了关于用户如何感知、思考、行为和与技术交互的基于证据的原则。如果我们观察到哪怕只有一个人有问题，这就是一个例子已知的原则，我们能够合理地确信这是一个真正的问题。当然，我们仍然无法准确地说有多少人会遇到这个问题。

如果受问题影响的人数是我们需要考虑的一个真实因素(例如，如果解决这个问题的成本很高，并且需要大量资源)，那么是的，我们可能需要做某种形式的定量实验来解决这个问题。另一方面，简单地解决设计问题而不量化它有多糟糕通常更便宜(也更明智)，如果我们已经确定了它在设计过程的早期．

例如，如果我设计了一个供消费者使用的炸油锅，我将(希望)在出售它之前进行一些安全测试。如果第一个测试者不小心在炒菜篮上烫伤了自己，因为手柄正好在加热元件上方，我可能不会用大样本继续测试，以弄清楚到底有多少用户也会烫伤自己，然后起诉我。在本例中，我发现了样本容量为1的一个主要问题。现在，这个例子显然是非常简化的，一个小的样本量将不适合每一个研究问题，但这种方法将经常资源的最佳利用，特别是当我们正在寻找主要的阻拦者时。

这是我们一直坚持的主要原因之一推荐小样本量研究，早期完成（和重复几次迭代的设计):他们是相对的便宜的如果我们在没有测试的情况下发货，我们会发现和解决我们将从愤怒客户学习的主要可用性问题的方法。这将是浪费时间和资源，以便在与许多参与者中确认设计中的主要缺陷，特别是如果我们正在努力在快速移动的敏捷团队中。

可能会询问合理的问题：为什么不使用简单的更大的样本大小进行定性研究，以便更自信，例如，我们的研究参与者表达的期望和需求是普遍的，而不是不寻常的异常值？从根本上说，这会降低成本：招募更多参与者，也招募更多的研究会议。引出用户的内心思想通常需要一个熟练的主持人他们可能需要在每个阶段做一些即兴创作，以适应每个研究参与者的具体情况。此外，由于每次治疗方案都会有一点不同，我们无法对所有治疗方案的数据进行合理的比较和汇总，因为每个“试验”都是不同的。在实践中,定性研究者常常落在一个特定的样本大小根据有多少参与者需要达到一个饱和的结果(例如,他们继续研究在小批量,直到他们可能学习足够的新核心见解值得添加延迟项目)。特别是对于面试，领域的研究，以及其他形式的当事人的研究这是我们的目标，而不是试图确定如何去做常见的核心发现是。

同理心和人性并不容易计算，但它们很重要

最后，但绝对重要的是，定性研究可以让我们建立一个真实的，移情作用的理解用户作为人类。当我们通过诸如参与，反弹率或任务时间的时间镜头来查看与技术的人类交互时，我们并不是对用户的福祉。（它可能在我们的脑海中，但肯定不是主要的考虑因素。）技术行业刚刚开始估计道德并意识到我们的产品设计对很多很多人的生活产生了真正的影响。

主持定性研究要求我们与他人互动(甚至不加节制的研究仍然涉及观察人)。我们通常需要建立某种形式的关系让参与者能够自如地表达他们的内在思维过程。我们经常发现，他们对世界的体验与我们不同——有细微之处，也有巨大之处。这些研究提供了机会同情他们。

我不想夸大这里的定性研究的力量。它不会自动为用户生成同理心 - 我当然目睹了在观看用户斗争时笑的笑。做定性研究不会将道德问题烘焙到商业模式。定性研究当然不会取代对您的团队的公正和包容性招聘实践的关键需求，以确保人们由各种背景和生活经历所作。

另一方面，我也不想抛售同理心的价值是通过这类研究建立起来的——例如，仅仅通过注意到一个用户有多么沮丧，并倾听他们不经意地质疑他们是否愚蠢因为他们无法想出一个令人困惑的设计。这种(不幸的是司空见惯的)反应告诉我，问题是真实存在的，需要优先解决它，即使我没有一个庞大的样本量。

总结

定性研究是严谨和系统的，但它的目标与定量测量不同。它用人类经验的数据——期望、心理模型、痛点、困惑、需求、目标和偏好——阐明了一个问题空间。样本规模通常小于定量实验，因为目标不是表明我们的样本参与者将按比例代表整个总体;相反，我们正在寻找问题，确定需求，并改进设计。用户体验研究是一门混合方法的学科，因为这两种方法是互补的:测量有多少和理解为什么都能帮助我们打造更好的产品，这是任何用户体验研究的主要目标．

参考文献

朱丽叶·柯尔宾和安塞姆·施特劳斯，1990。扎根理论研究:程序、准则和评价标准。定性社会学，1990年第13卷第1期

Yvonna Lincoln和Egon Guba, 1985年。自然的调查．Sage, Newbury Park, CA

Saunders, B.， Sim, J.， Kingstone, T。et al。2018.质性研究的饱和:探讨其概念化与运作化。定性定量52.，1893-1907。https://doi.org/10.1007/S11135-017-0574-8

迈克·休斯》2011。可用性测试中的可靠性和可靠性，检索自:https://www.uxmatters.com/mt/archives/2011/06/reliability-and-dependability-in-usability-testing.php