在设计优化方法的世界中，A/B测试备受关注。多变量测试是其不太为人所知的替代方法，通常被认为太耗时而不值得等待。虽然这种方法有其局限性，但其优点抵消了这些局限性，而仅使用A/B测试是不容易实现的。

多变量测试(测试)

让我们假设您想要优化一个实时产品细节页面的设计以实现最大化转换用于将商品添加到用户的购物车。你正在考虑几个可能的改变:

  • 使用产品的视频而不是图像
  • 更改主操作调用按钮的标签立即购买来添加到购物车

一个多元测试可以帮助您决定这些设计选择的哪种组合将优化转换。

让我们首先澄清一些术语:

  • 变量：具有多个设计版本的UI元素(如图像或标题)

    在我们的电子商务示例中，变量是产品的视觉表示和呼叫操作按钮的标签。

  • 变体:变量的每个设计版本

    产品图像和产品视频分别代表视觉表示变量的两个变量;的添加到购物车和立即购买标签是号召行动的变体。

  • 变化：结果设计包含每个变量的变量，与其他变量进行比较

    在我们的示例中，将有4种设计变体，对应于变量变体的所有可能组合：image×添加到购物车、图像×立即购买视频×添加到购物车,视频×立即购买．

定义:多变量测试(MVT)是一种设计优化方法，其中指定变量的多个变体在用户界面中进行测试，目标是最大限度地转换(主要的转换，如完成订单，或微观转换例如与页面上的功能交互）。此方法确定哪种变体组合会产生最高性能的设计（根据指定的转换目标）。

图中显示了两个变量的两个变体的UI。
在多元测试中，测试2个或更多的设计元素(变量)。每个变量都可以有多个变体。例如，在上面的页面中，我们可以测试2个变量:产品的视觉表示(有2个变体:图像或视频)和主要行动呼吁的标签(有2个变体:立即购买或添加到购物车)．

多元测试与A/B测试的区别

多变量测试通常被认为是一种A/B测试，尽管它的设置和优势有所不同。以下是它们之间的异同:

  • 这两种方法都是通过将现场站点(或应用程序)流量划分到不同的变量来测试不同的设计变量。
  • 两者都衡量了哪种设计方案(即变化)能够为特定目标带来最高的转换率。
  • 在A/B测试中，所测试的变量可能是完全不同的，而不是操纵一组变量的结果。例如，您可以有两个具有完全不同的布局、不同的副本、不同的导航、不同的视觉设计等的页面。A/B测试的结果将表明一种变体比另一种表现得更好，但你不知道这是因为你的副本更好，视觉设计更好，布局更好(或组合)。

相反，如果您使用MVT，您通常可以将信用分配给一个特定的变体或变体组合。因此，例如，你可能会发现一个产品视频比改变按钮标签对你的转换产生更大的影响，这可以给你提供进一步的策略和设计见解(例如，它可能会告诉你投资制作好的产品视频是值得的)。

MVT度量元素之间的交互

让我们回到最初的电子商务例子。您可能想知道两个连续的A/B测试是否会产生与MVT相同的结果。具体来说，让我们假设您首先运行A/B测试来比较视频和图像——假设视频胜出。接下来，在获胜的变体(如视频)中，你将在两个可能的按钮标签之间进行另一次A/B测试立即购买标签被证明是更好的。这个结果不是和MVT测试一样吗?

答案是:不一定。最优组合可能是图像×立即购买，但你不会测试那个版本。

运行多元测试而不是a /B测试的主要优势是确定页面上各种元素如何交互的能力彼此之间。只有通过测试各种变体的每个组合，您不仅可以发现VisualA的性能优于VisualB，按钮C的性能优于按钮D，而且还可以发现最佳组合这些整体。

测试的局限性

各种变异组合所产生的变异就像兔子一样不断繁殖。即使是我们这个相当简单的电子商务例子，也有4种设计变体可供比较，对应于这两个变量之间的所有可能组合。为调用行动变量增加一个变体(例如，购买)将创建另外2个变体—通过将该变体与视觉表示变量的另外2个变体相结合生成。(一般情况下，变量数乘以每个变量的变量数即可得到;所以如果你有两个变量，一个有2个变量，另一个有3个变量，你会得到2×3=6个变量)

显示4种变体组合的图表
在多变量实验中，两个变量各有2个变量导致4个设计变量，以表示这些变量的所有可能组合。

在多元测试中需要测试的大量变量导致了该方法的最大限制:much运行多变量测试通常需要更多的流量与A/B测试进行比较，以达到统计显著性。这是因为添加到比较中的每一个变化都会导致实时流量被分成更小的部分，因此为每个设计方案收集足够的数据点也需要很长时间。(但是，请记住，运行测试所需的时间不仅取决于总体流量，还取决于实验目标的预期转化率变化，因为更大的改进比微小的差异更容易衡量。)一般来说，将实时流量分配到更多的变体中会导致运行时间更长。

MVT的另一个限制是所有变体的组合都必须有意义在一起。例如,当测试变异的形象和页面上的一个标题,不要写标题,指的是图像的细节变体(如“大温泉度假”和“伟大的海滩度假”与相应的照片),因为每个标题会伴随每个图像的差异测试。这种类型的实验最好设置为A/B测试，这样组合才能得到更好的控制。

使用MVT来改进设计，而不是完全改变它

多元测试是一种很好的测试方法对设计进行渐进的改进，而不是戏剧性的重新设计。因为它需要您在页面上识别某些感兴趣的元素来测试该变量的多个变体，所以您无法轻松地比较变体之间的根本性变化。

图中显示了A/B测试的基本页面重新设计与MVT的增量改进。
对于重大的重新设计，在原始版本和新版本之间进行A/B测试，找出哪个更好。然后，使用多元测试来提炼获奖设计的各个元素。总是重复!

如果您的目标是进行实质性的重新设计（如主要布局的重新设计），那么a/B测试将此新设计与当前设计进行比较比MVT更合适。一旦发现了高性能的设计，使用多元测试来进一步细化特定元素在获胜的布局中。