如今,当涉及到远程用户研究时,我们的选择太多了。在许多不同的价格点可以获得的大量工具可以压倒⁠-特别是因为许多工具的描述实际上是难以区分的。

每一种远程研究工具都承诺为用户提供见解,但它们是以非常不同的方式实现的。如果你正在尝试选择一个工具,这个列表可以帮助你确切地了解你得到的是什么,并确保你选择的服务是一个很好的适合你的研究需求。

本文中比较的所有用户研究工具都允许您进行以下研究:

  • 远程:参与者可以在任何地方,整个研究是在线完成的。
  • 不加节制的:参与者在没有研究人员指导的情况下自行完成研究。
  • 基于任务的:参与者收到完成特定任务的指示。
  • 行为:该工具会记录用户的行动,这样你就可以知道人们做了什么,以及他们是否成功地完成了任务。
  • 互动:参与者可以在现场或交互式原型上进行测试,而不仅仅是看到静态图像。
  • 自己动手:您可以计划并进行自己的研究,而不使用该工具的研究咨询服务。

总之,这些品质使你能够进行类似于面对面可用性测试的研究,但没有主持人单独与每个参与者会面。当您的时间或预算有限时,无节制的测试通常是一个不错的选择或者当用户在地理上分散时。

无节制可用性测试中的2种数据类型

理解这一点很重要不同类型的数据可以用各种工具收集。一些工具记录视频记录形式的非结构化定性数据;一些工具收集高度结构化的定量数据关于任务,一些工具可以收集这两个这些类型的数据。

类型的数据 气喘吁吁的 定量的
如何收集 录像捕捉测试参与者的场景活动和自言自语的叙述 韵律学记录的维度包括花费的时间、成功率、满意度和感知的困难
它揭示了什么 参与者做了什么,为什么这么做 某些问题、行为和观点在参与者中有多普遍
挑战 观看和分析非结构化视频非常耗时。 指标不能揭示行为的原因;低参与者动机或不准确的自我报告数据可能导致误导性指标
当你需要…
  • 了解问题发生的原因,并找到解决问题的方法
  • 当您不知道用户可能会遇到什么问题时,请评估新设计
  • 激发团队或组织内用户的同理心
  • 跟踪可用性
  • 快速准确地评估问题的频率
  • 快速评估一大群参与者的主观反应
  • 说服那些喜欢定量数据的利益相关者

确保你清楚地知道你希望通过你的研究达到什么目的。然后你就可以决定是需要定性的记录,定量的数据,还是两者兼而有之。

工具和数据类型

下表列出了15种不同的工具,可用于进行无减额可用性测试。此图表中每个工具的位置指示工具收集的数据类型和工具存在的时间。一般来说,可用时间更长的工具更成熟,具有更强大的功能。而且,虽然从来没有任何保证,但在你的学习中,更持久的服务不太可能被破坏,并使任何已经收集到的数据都消失在云层的一个丢失的角落。

维恩图显示了最古老和最新的工具,根据它们是否收集定性数据(Dscout, Lookback, Userbrain, UserBob, UserInsights)或定量数据(KonceptApp和Maze),或两者(UserZoom, UserTesting, Userlytics, Loop11, TryMyUI, Userfeel, PlaybookUX, SoundingBox)进行分组。

上图显示了几种结合了这两种数据收集类型的未降额测试工具。为这些工具列出的功能非常相似,因此很难通过阅读它们的描述来区分它们。尽管表面上有这些相似之处,但这些服务之间还是有一些重要的区别,如果您了解每个系统的历史,就更容易理解这些区别。UserZoom和Loop11最初专注于定量指标,后来增加了定性记录;而UserTesting、Userlytics和Userfeel最初专注于视频录制,后来又增加了量化指标。正如您所期望的,这些工具的原始功能往往更加健壮,而较新的功能则更加有限。(在上图中,这些区别通过每个工具名称的位置表示,该名称的位置更接近其原始数据类型。)

值得注意的是,这张图表中所包含的参数工具Maze和KonceptApp都是用于测试原型的,并不适合测试在线网站或应用程序。尽管它们可以模拟交互,比如让测试参与者单击链接并移动到另一个屏幕,但这种行为需要您实际构建或导入一个交互原型。

特征比较

一旦确定了要收集的数据类型,请检查正在考虑的工具的精确功能。下表列出了一些可能对你的研究设计很重要的特征。

招聘 研究设计与设置 定性数据 定量数据
  • 参与者小组
  • 为不同类型的用户设置配额
  • 自定义筛选问题(年代)
  • 多种语言
  • 吸引自己的用户
  • 外部面板集成
  • 测试网站(桌面、移动和原型)
  • 测试本地移动应用程序
  • 测试静态线框或屏幕
  • 每个任务都有单独的说明
  • 对任务指令的持久访问
  • 自定义欢迎和最终屏幕
  • 复制过去的研究
  • 分支(跳过逻辑)来个性化任务
  • 随机任务订单
  • 提供专业研究服务
  • 共享项目用于团队协作
  • 支持主持测试
  • 录音屏幕和音频
  • 记录的脸
  • 时间戳的笔记
  • 导出个别会议记录
  • 导出所有项目说明
  • 下载个人录音
  • 下载整个项目
  • 通过url共享录音
  • 制作视频集锦
  • 自动转录
  • 浏览视频缩略图
  • 简单的评价问题
  • 自定义评分和书面问题
  • 任务时间
  • 过滤掉超速者和骗子
  • 任务放弃率
  • 数据导出(csv或xls)
  • 数据虚拟化图表
  • 按url或单击位置列出的成功率
  • 单击热图
  • Clickpath在屏幕

选择远程无节制的可用性测试软件时可能需要考虑的特性

作为比较的起点,我们准备了一个工具和功能的列表,我们可以确认每个工具。这电子表格提供了15种工具的详细特性比较用于未经审核的用户测试。

何时不使用这些工具

本文关注的是用于无节制的可用性测试的工具,但这并不总是正确的研究方法。例如,适度的可用性测试(无论是亲自或遥远的)更适合于评估早期原型,或识别界面的可用性问题,或复杂的任务,需要提供个性化的方向,并提出后续问题,以充分了解用户的行为。此外,所有非节制研究的参与者都是那些愿意并能够安装浏览器扩展或应用程序并进行相当复杂的在线交互的人。如果你的目标受众包括许多不愿意参与这类研究的用户,你就需要使用其他方法来找到并观察这些人。

最后,一些研究问题最好用完全不同的研究类型来回答,例如A/B测试,5秒测试,采访,野外研究,卡类树的测试.(一些服务——最著名的是UserZoom——支持广泛的此类研究方法。)你应该一直弄清楚哪种研究方法最能解决你的问题在选择任何工具之前。

全日制远程研究研讨会

要了解详细的帮助计划、执行和分析远程无节制用户测试,请查看我们的全天研讨会:远程可用性测试。