手机应用使用多种不同的方法来吸引新用户:教程、界面导览、游戏化的内置服务、情境帮助等等。但是，这些方法有效吗?换句话说，它们是否对用户的表现和界面使用的成功有影响?接下来，设计和开发这些工具是否值得?

我们进行了一项定量可用性测试拥有70个用户和4个移动应用过去副牌教程作为车载用户的一种手段。这一特定类型的登录之所以被选为本研究的重点，是因为它在移动应用程序中很受欢迎。

卡片组教程包含帮助或提示屏幕，提供如何使用界面的说明，通常在首次启动移动应用程序时显示。

Movesum应用中的一副纸牌教程:注意指导内容，比如从左向右滑动可以浏览不同的食物，向上滑动可以设置卡片上的每日目标。

方法论

的这项研究是作为一个整体进行的学科间，远程不加节制的定量可用性测试．我们使用用户分析作为我们的测试平台和参与者招募。

应用

我们选择了以下应用程序进行测试:Movesum、Brainsparker、LaunchCenter Pro和Sketch.Book。所有的应用都是iPhone应用。这些应用程序不是高度复杂的应用程序，不需要专门的专业知识或高级培训才能使用。

之所以选择这些手机应用，是因为1)在研究期间，它们都有教程，2)它们允许用户跳过或关闭教程，3)这些应用并不广为人知(这使得招募更容易，避免了用户提前接触应用)。

参与者

参与者在年龄、地点和种族上存在差异。除了参与者的多样性，我们招募参与者的最重要因素是，他们之前没有使用或下载过正在测试的四个应用程序中的任何一个。所有参与者都是以前的iOS用户。因此，可以期望这些用户了解移动应用程序使用的一般基础知识，但不了解研究中应用程序的具体使用情况。（注：参与者注册了“移动应用程序研究”，但在招募时并未告知研究目的。）

参与者被分配到两组中的一组：

  • A组始终参与本教程。
  • B组总是跳过教程。

总共有70名参与者，每组35人。

任务

对于每个应用程序，要求用户执行以下操作（按此顺序）：

  1. 从应用商店下载应用程序，完成或跳过教程（基于他们的组）。
  2. 如果参与者成功完成了第一个动作（即下载应用程序），那么他们将收到一个应用程序内任务，这是我们测量的主要任务。这个任务一直是教程“教”用户的。

例如，以下是Movesum应用程序的说明:

A组：卡片组教程

  1. 初始说明：从应用商店下载Movesum应用程序。启动应用程序并通读概述。
  2. 任务：设定6500步的目标。

B组：跳过教程

  1. 初始说明：从应用商店下载Movesum应用程序。启动应用程序并跳过概述（通过单击右上角的X）。
  2. 任务：设定6500步的目标。

在本研究中，Userlytics没有提供随机化，因此我们手动随机化测试应用程序的顺序，以避免顺序效应。这是通过将组A和组B拆分为6个独立的子组来手动完成的，我们为这些子组创建了单独的测试，并手动重新排序了正在测试的应用程序。（如果所有用户都按照相同的顺序测试应用程序，那么由于参与者的学习，我们可能会在本课程稍后测试的应用程序中看到更好的性能。）

过程

参与者被要求大声思考，并提及他们遇到的任何让他们感到卡住或不确定如何继续的事情。但是，要求用户尽可能快速准确地完成这4项任务。

主要发现

我们收集任务成功，单一缓解问卷（SEQ）和任务完成时间对于每个主要任务，这些是因变量在我们的实验中，自变量是参与或不参与教程。我们排除了那些参与者无法下载应用程序或完成初始说明的试验。我们总共删除了13个试验(占总试验的5%)。

类似的成功率

我们观察到这两种情况下的任务成功率相当. 测试的四个应用程序的任务成功率为91％对于那些阅读教程(n=35)和94％对于跳过本教程的学员（n=35）。这种差异无统计学意义（p=0.443）：基本上，无论人们是否观看了教程，他们仍然非常成功地完成了主要任务。

成功率高的部分原因可能是移动应用程序中的任务往往相当简单。A组的一名参与者说：“对我来说，我甚至不用看教程，但我想如果你需要的话，它就在那里。”

阅读教程的A组平均任务成功率为91%，而跳过教程的B组平均任务成功率为94%。

参与者跳过教程时更容易完成的任务

在完成每个应用程序的第二个任务后，我们询问参与者“总的来说，完成这项任务有多困难或容易？1（非常困难）到7（非常容易）。”在所有的应用程序中，阅读教程的A组（n=35）的平均顺序为4.92而B组跳过了辅导（n=35），平均得分为5.49. 这一差异具有统计学意义（p=0.047）。换句话说,，阅读教程的参与者认为任务（在教程中有解释）比跳过教程的参与者更难。在1-7的评分标准中，0.5分是相当大的差距。

阅读教程的A组可能报告说这些任务更难，因为教程会使应用程序看起来过于复杂。我们也观察到这种效应教练标记和教学叠加在移动应用程序中。用户可能希望为复杂的应用程序编写教程，但对于移动应用程序，特别是那些被标记为“简单”或“直观”的应用程序，教程可能会改变用户的看法，使他们认为应用程序比实际更复杂。

通读教程的A组的平均易用性评分为4.92，而跳过教程的B组的平均易用性评分为5.49。

任务完成时间没有差异

在接下来的内容中，我们报告任务完成时间——即用户能够成功完成任务的试验时间。(我们进行了包括所有试验的分析，结果是相同的。)

在所有的应用程序中，阅读教程的A组的平均任务完成时间为93.49秒，而跳过教程的B组的平均任务完成时间为85.17秒。这种差异没有统计学意义(p > 0.1):也就是说，阅读教程并不能让用户更快地完成教程中描述的任务。

（因为任务时间倾向于向右倾斜，我们没有使用算术平均值——传统的“平均值”——来描述数据集，而是使用几何平均数．下面报告的置信区间也是基于几何平均值。为了理解几何平均值是什么，什么时候应该使用它，以及如何计算以它为中心的置信区间，请参阅我们的课程用户体验统计．)

注意，这里所报告的任务完成时间并不包括在使用应用前阅读教程的时间(例如，对于MoveSum应用，它们反映的是使用应用设置6500个步骤的目标所需的时间)。如果添加了阅读时间，那么显然阅读教程的用户的总时间要比没有阅读教程的用户高得多。由于教程阅读时间是一次性的花费，将其包含在每个任务的时间度量中是不合理的，但从总体用户负担的角度来看，这仍然是教程的一个缺点。

对于应用内任务，阅读教程的A组的平均任务完成时间为93.49秒，而跳过教程的B组的平均任务完成时间为85.17秒。

研究局限性

这项研究集中在4个iOS应用程序上。因此，技术上有可能：

  1. 它可能不会推广到Android应用程序。
  2. 这可能不适用于其他iOS应用(特征可能略有不同)，因为包含的应用数量较少。(换句话说，有可能这4个教程并不是特别有效。)

这些反对意见是有效的。然而，近年来，我们观察到Android和iOS设备的UI趋于融合，因此几乎没有理由相信Android应用程序教程会产生不同的效果。

结论

为简单应用程序创建教程时要三思。教程需要花费时间和精力来设计和开发，而这些时间和精力最好花在使UI变得简单上使用这样一来，一开始就不需要教程了。我们已经知道，许多参与者在首次下载应用程序时会跳过教程。但现在我们发现，阅读教程的参与者认为任务更难，并且与跳过教程的人相比，他们在成功率或任务完成时间方面没有任何优势。如果，即使人们阅读了这些教程，它们也没有产生积极的影响，那么这些教程值得构建吗？

代替一个像抛光手册那样的教程，考虑一下你是否需要正式的登机，如果你需要的话，请考虑这样的交互方法，比如上下文相关的帮助．