当您想要在一项研究中比较多个用户界面时，有两种方法可以将您的测试参与者分配到这些多个条件：
- 主题之间（或团体之间)研究设计：不同的人测试每个条件，这样每个人只接触一个用户界面。
- 试(或重复测量)研究设计：同一个人测试所有条件（即所有用户界面）。
(注意，这里我们用“设计”这个词来指实验设计，而不是网站设计。）
例如，如果我们想通过观察参与者如何在每个站点预订汽车来比较两个汽车租赁站点A和B，我们的研究可以采用两种不同的方式进行设计，这两种方式都是完全合法的：
- 受试者之间：每个参与者都可以测试一个汽车租赁网站，并且只能在该网站上预订一辆汽车。
- 在受试者范围内：每个参与者都可以测试两个汽车租赁网站，并在每个网站上预订一辆汽车。
任何类型的用户研究如果涉及到不止一个测试条件，就必须决定是被试之间还是被试内部。然而，这种区别对于定量研究来说尤其重要。
定量研究中的实验设计
与定性研究不同，定量可用性研究目的是得出统计上可能适用于整个用户群体的结果。如何分析这些研究的数据取决于研究的设计方式(也就是说，研究的实验设计)．
通常，定量可用性研究的主要目标是比较——一个网站与其竞争对手，两个不同的设计迭代，或者两个不同的用户组(如专家vs.新手)。就像我们想要发现因果关系的任何科学实验一样，定量研究涉及到两类变量:
- 独立变量，由研究人员直接操纵
- 因变量，已测量（预计因自变量操纵而变化）
（如果研究结果具有统计学意义，那么我们可以说自变量的变化引起因变量的变化。）
让我们回到最初的汽车租赁例子。如果我们想要衡量两个地点，A或B，哪个更适合预订汽车，我们可以选择网站（具有两个可能的值或水平- A和B)作为自变量，任务执行时间和预订汽车的准确性可以作为因变量。这项研究的目的是看看当我们改变位点时，因变量(时间和准确性)是会改变还是保持不变。(如果它们保持不变，那么没有一个网站比另一个更好。)
为了规划我们的研究，我们需要回答的下一个问题是，研究设计应该是在受试者之间还是在受试者内部——也就是说，研究参与者应该暴露在我们研究中自变量的所有不同条件下（受试者内部），还是只暴露在一种条件下（受试者之间）。实验设计的选择将影响对数据进行统计分析的类型。
实验设计可能同时存在于受试者内部和受试者之间。例如，假设在我们的租车研究中，我们也想知道30岁以下的受试者与年龄较大的受试者相比表现如何。在这种情况下，我们有两个自变量：
- 年龄，分为两级:30岁以下，30岁以上
- 网站，分为A级和B级
对于这项研究，我们将在每个年龄组招募同等数量的参与者。假设我们决定每个参与者，无论年龄在30岁以下还是30岁以上，都将在站点a和站点B进行租车预订。在这种情况下，该研究在自变量的受试者范围内网站（因为每个人都可以看到该变量的两个级别，即站点A和站点B）。然而，这项研究是在受试者之间进行的年龄:一人只能属于同一年龄组(30岁以下或30岁以上，不能同时属于这两组)。(好吧，从技术上讲，你可以选择一组30岁以下的人，等到他们30岁时再让他们测试这些网站，但这种设置对于大多数现实世界的情况是非常不切实际的。)
一些独立变量可能会影响设计的选择。年龄是其中之一，如上所示。其他的是专业知识（如果我们想比较专家和新手），用户类型(如果我们想比较不同的用户群体或角色，例如，商务旅行者和休闲旅行者)，或者性别(假设一个人不能同时拥有多个性别)。在可用性之外，药物试验是一个常见的受试者之间设计的案例:参与者只接触一种治疗方法:要么是正在测试的药物，要么是安慰剂，而不是两者兼而有之。有时候，操纵本身会改变参与者的状态:例如，如果你想知道两种课程中哪一种对教授阅读更有效，你不可能让同一个学生同时接触这两种课程，因为一旦她学会了阅读，她就无法忘记它。
哪一个更好：学科间还是学科内？
不幸的是，这个问题没有简单的答案。如上所述，有时自变量会决定实验设计。但在许多情况下，这两种设计都是可能的。
- 学科间的学习和跨学科的迁移最小化。当一个人在汽车租赁网站上完成了一系列任务后，她会比以前更加了解这个领域。例如，她现在可能知道租车网站对21岁以下的司机收取额外费用，或者什么是碰撞损害豁免。这些知识可能会帮助她在第二个租车网站上更有效率，尽管第二个网站可能与第一个网站非常不同。
在受试者之间的设计中，这种知识转移不是一个问题——参与者从未接触过同一自变量的多个层次。
- 学科间研究的时间比学科内研究的时间短。测试一个租车网站的参与者将比测试两个租车网站的参与者花费更短的时间。对于用户来说，较短的会话不那么累人(或无聊)，而且更适合远程未审核的测试(特别是像UserZoom这样的工具通常需要相当短的会话长度)。
- 受试者之间的实验更容易设置，特别是当你有多个独立变量时。当研究在受试者范围内时，你必须使用随机的刺激来确保没有顺序效应。例如，在我们的租车研究中，我们需要确保参与者不总是从站点A开始，然后转移到站点B。每个参与者的站点顺序需要是随机的。只有两个站点就很容易做到这一点：随机分配50%的用户从每个站点开始。但是，随着自变量数量和自变量级别的增加，随机化在一些现有的定量可用性测试平台中变得更加困难。
- 主题内设计需要更少的参与者，运行成本更低。要检测两种情况之间的统计显著差异，通常需要相当数量的数据点（通常超过30个）在每种情况下。如果你有一个受试者内设计，每个受试者将为每一水平的自变量提供一个数据点。对于我们的租车研究，30名受试者将为两个站点提供数据点。但是如果研究是在受试者之间进行的，你将需要两倍的数据点才能获得相同数量的数据点。这意味着两倍于他花了很多钱。
- 受试者内部设计尽量减少随机噪声。也许主体内设计最重要的优势是，它们使你的条件之间存在的真正差异不太可能不被发现或被随机噪声掩盖。
个体参与者将自己的历史、背景知识和背景带入测试。一个人可能在一整夜的聚会后感到疲惫，另一个人可能感到无聊，还有一个人可能在学习前收到了一个好消息并感到快乐。如果同一参与者与某个变量的所有级别交互，她将以相同的方式影响它们。快乐的人在两个网站上都会快乐，疲惫的人在两个网站上都会疲惫。但是，如果研究是在两个受试者之间进行的，那么快乐的参与者只会与一个站点进行交互，并且可能会影响最终结果。你必须确保在另一组中有一个同样快乐的参与者来抵消她的影响。
在实践中，研究人员无法评估参与者之间的这种差异——尽管他们可能与不同群体的性别、经历和年龄相匹配，但很难预测或检测每个参与者特有的其他因素。
随机化：这两种设计都很重要
无论你的实验设计是在受试者内部还是在受试者之间，你都必须关注随机化，尽管方式略有不同。
上面，我们讨论了为什么随机化在主题内部设计中很重要:它抵消了可能的顺序效应，并最小化了跨条件的迁移和学习。
对于受试者之间的设计，您必须确保参与者随机分配到不同的条件，因为您希望确保参与者的分配不会影响您的研究结果。因此，如果研究人员决定所有他喜欢的参与者都应该与站点a互动，然后他发现站点a的表现优于站点a站点B，他不知道自己是否发现了站点之间的真正差异，或者结果是否仅仅反映了他的任务（例如，因为感觉自己被喜欢的人倾向于回报，并且在测试期间可能更有耐心或有积极的心态）。
即使没有个人偏好这样明显的偏见，随机化也很容易出错。假设你进行了一项为期四天的研究，从周六到周二。你可能会决定让前一半的测试用户从站点A开始，让后一半用户从站点b开始。然而，这不是真正的随机化，因为很有可能，某些类型的人更有可能同意在周末学习，而其他类型的人更有可能报名参加你的工作日测试。
结论
用户研究可以是受试者之间的研究，也可以是受试者内部的研究(或两者都是)，这取决于每个参与者是只接触一种条件，还是在研究中接触各种条件。每种类型的实验设计都有其优缺点;内实验对象设计需要更少的参与者，并增加发现你的条件之间真正差异的机会;受试者之间的设计最小化了不同条件下的学习效果，缩短了学习时间，可能更容易设置和分析。
分享这篇文章：