为研究性研究招募参与者是一项困难的任务:你必须吸引感兴趣的参与者,为研究安排会面时间,提醒他们来参加研究,然后希望他们来参加预定的会议。更糟糕的是,有时参加研究的参与者并不是研究的好候选人,因为他们根本就没有相关的生活经验来提供有意义的反馈或见解,即使他们尽了最大的努力。次优研究参与者会对你的研究质量和设计决策产生负面影响。
检查调查(也称为“筛选者”)是收集求职者经历信息的问卷,目的是:
- 快速识别并优先选择最适合你的目标受众的候选人
- 排除任何可能不是“很适合”您的研究研究的候选人
在这篇文章中,我们讨论了筛选在用户研究招聘过程中的重要性,以及如何将其纳入你的招聘策略。
有偏见的抽样
首先,对于任何用户研究,你都要确保你招募的人能够代表你的用户。为了做到这一点,你需要意识到一个事实,即招聘过程可能会偏向于某些类型的参与者。
例如,当你在使用远程测试平台包括它自己的参与者小组,你可能会遇到专业的测试人员——那些通过参与不同类型的用户研究而获得很大一部分收入的人。虽然这些参与者对研究来说并不是天生的“坏”,但他们的动机可能会导致扭曲研究结果的行为。例如,有些人可能会在未经审核的测试中非常快速地回答问题或执行任务(或根本不执行),而不是诚实地以现实的方式去做。其他人可能知道研究人员在用户测试中寻找什么,并故意加剧反馈,以回应感知到的研究需求。
虽然没有万无一失的方法来逃避专业的测试人员,你可以通过进一步审查筛选调查的答案来缓解这个问题,以确定它们是否合理和诚实(例如,参与者没有键入“abc”而不是一个有意义的句子)。需要明确的是,筛查调查的目的是为了减轻压力一些但仍然需要一些努力(无论是研究人员还是专业招聘人员),以确保高质量的候选人被选中。
同样,如果你依靠你的个人网络来招募参与者(一个“便利”样本),这些人可能已经和你有某种关系,可能不愿意给诚实的负面反馈。测试与同事也可能导致结果偏差,因为他们可能熟悉项目、组织,甚至熟悉不同类型的用户研究和他们的目标。
一般来说,你还应该筛选出UX专业人士(或者那些对界面设计感兴趣的“UX邻接者”),因为他们对UX问题过于敏感,更有可能提供专家审查而不是真实的用户反馈。
即使你的客户就是“每个人”(也就是说,他们从普通观众中抽取,涵盖了性别和年龄的混合),你需要确保你的研究有外部效度-也就是说,你的参与者要符合你的听众的目标和兴趣。例如,不喜欢运动或徒步旅行的人可能不会太有动力在户外设备网站上购物。
如何筛选参与者
1.定义的合格标准。
首先,您和您的团队应该确定研究的参与者标准。同时考虑你的目标用户群体和它的目标是他们使用你的产品。(要了解这个过程的详细情况,请查看我们的免费报告如何招募可用性研究的参与者.)这些标准将决定你的招聘策略和你的筛选者.
如果你使用自动招聘平台,要注意不要使用多余的排除标准来过度限制你的调查。例如,假设你很关心专业测试人员,你提出了一个排他的问题,比如“你最近一次参加研究是什么时候?”你可能会排除更多不必要的参与者,比如在同一个月碰巧参加了完全不同类型的研究的第二次参与者。
类似地,在尝试招聘营销专业人员时,您可能会选择只接受那些愿意选择的个人广告和市场营销他们的行业。然而,营销专业人员并不仅限于广告和营销机构,他们通常在非营销组织(如杂货店或服装商店)中担任营销职能。因此,从多个行业中接受在职位名称或描述中有“营销”一词的人会更有成效。
2.构建你的过滤网。
当写你的问题,可以考虑使用开放式或多项选择题为了避免泄露研究的目的。
例如,一个是/不是的问题你玩电子游戏吗?暗示这项研究可能与电子游戏有关,而理想的答案是是的.但是,如果你把问题写成你在过去4周内做过哪些活动?有一个选项列表,比如徒步旅行,阅读,购物,视频游戏,那么研究的目的就不那么明显了。有干扰性的答案可以让受访者保持诚实,防止他们在问卷中耍花招。
把你最重要的排除标准放在调查开始的地方,这样你就可以迅速排除明显不适合的人,而不会浪费他们的时间。
调查逻辑可以加快筛选过程,所以请考虑选择一个具有强大分支功能的调查工具。
3.选择招募参与者的策略。
你可以通过许多不同的方式找到你的研究的参与者。每种方法都有其优缺点,这取决于你的学习研究问题,你可能想要从多个来源招募。
- 专业招聘机构
有许多专业招聘人员的唯一目的是帮助用户体验或市场研究人员找到合格的研究候选人;大多数人甚至会接手一些与潜在和最终参与者互动的工作(例如,日程安排、沟通、支付)。这些机构在招募“普通受众”参与者(例如,性别、背景、经济状况和年龄的混合)方面有相对广泛的能力。
它们对于解决高度专业化的招聘需求或寻找专门的用户群体(即,寻找有某种残疾的参与者,或具有非常特定类型的背景或背景的人)特别有用。他们通常会提前审查参与者,这种做法导致了较低的缺席率。因此,它们通常比自动化工具或利用现有用户池的成本更高。 - 自动化招聘平台
市场上有许多在线用户研究平台,其中一些提供自动筛选功能或招聘服务。如果你的目标是“普通受众”,那么这种方法可能是有益的,因为它的成本相对较低,能够外包一些招聘工作,而且它的周转相对较快(由于自动化)。
然而,使用自动化招聘平台,招聘“专业测试人员”的风险更大,有时筛选配置选项(如调查分支和逻辑)在工具中受到限制。 - 现有用户的内部面板
许多公司会选择从他们现有的用户基础中招募,并建立一个自愿的志愿者池,他们要么愿意尝试新功能(例如,A/B分离测试或beta测试)或参与一般的研究机会。这种方法对于招聘特定产品的有经验的用户或获取关于面向员工的产品的见解非常有用。
这种方法降低了立即招聘成本(包括金钱和时间方面的成本):候选人已经是半合格的,而且没有外部招聘费用。然而,你最常需要的为参与者提供一些补偿-货币或其他类型的,如产品-为他们的时间。还有创建和维护用户面板的成本,以及安排和协调参与者的工作。一些较大的公司有专门的内部研究招聘人员——雇佣员工来创建和维护用户小组,并根据需要对各种内部研究需求作出回应。
内部小组的范围仅限于那些已经熟悉你的品牌和产品的参与者。最有可能的情况是,使用这样的招聘池,您将无法捕捉到新用户的视角。由于参与者已有的品牌忠诚度,也可能存在一些抽样和确认偏差——因为他们已经与该品牌建立了关系,他们可能已经喜欢上了该品牌,并提供了积极的反馈 - 网上论坛和小组(例如,讨论板、专业网络小组或其他社交媒体小组)
当现有的用户基础和自动化面板无法提供所需的专业化程度时,求助于在线小组和论坛可以确定哪些参与者有特定的经验、兴趣或背景。这些组织可以让你以比招聘机构或招聘平台更低的成本解决专门的招聘需求。
虽然这些可以帮助提供一组高度积极的参与者,但覆盖范围也很狭窄,仅限于这些群体的成员,这并不总是代表目标受众中的所有个人。特别是当群体本身有某些主导观点或直言不讳的社区成员,有较高的可能性抽样偏差或群体思维.此外,还需要花更多的时间和精力与参与者沟通,并确定他们的资格。如果你决定联系某个网络群组或社交媒体平台的成员,一定要提前向群组管理员申请许可。 - 拦截的研究走廊(或“招聘”)
如果你曾经听过或读过“你愿意花5分钟参与一个快速调查吗?”“你知道拦截的研究是多少。这些类型的研究可以通过虚拟的方式进行弹出或模态对话框),通过电话(通过交互式语音应答(IVR)系统),或亲自(在购物中心、办公室走廊或咖啡店)。它们非常适合于招募访客或现有客户,以及寻找头脑中有特定目标或任务的参与者(比如使用特定功能)。因此,对于未经审核的研究或调查,招聘可以自动进行。
不幸的是,这些研究也会浪费研究人员的一些时间(对于有节制的或面对面的会议,研究人员必须随时待命,无论是否找到参与者)。根据您需求的特殊性,他们可能有更大的周转时间——例如,可能很难招募100名参与者来对订阅时事通讯的人进行定量研究。与内部小组一样,这类研究(尤其是在线研究)可能会受到抽样和确认偏差的影响,因为它们涉及的客户已经决定与品牌进行互动。
招聘方法 |
达到 |
成本 |
努力 |
时间 |
偏见的风险 |
专业的招聘人员 |
宽 |
高 |
低 |
地中海 |
低 |
自动化招聘平台 |
宽 |
地中海 |
Low-Med |
低 |
低 |
内部用户面板 |
狭窄的 |
低 |
地中海 |
低 |
Med-High |
网上论坛和小组 |
狭窄的 |
低 |
高 |
地中海 |
Med-High |
拦截的研究 |
狭窄的 |
低 |
高 |
地中海 |
地中海 |
招聘方法 |
成本 |
努力 |
时间 |
偏见 |
专业的招聘人员 |
高 |
低 |
地中海 |
低 |
自动化平台 |
地中海 |
Low-Med | 低 |
低 |
内部用户面板 |
低 |
地中海 |
低 |
Med-High |
网上论坛和小组 |
低 |
高 |
地中海 |
Med-High |
拦截的研究 |
低 |
高 |
地中海 |
地中海 |
4.调整你的招聘策略和筛选调查,以吸引合适的参与者。
时间少或收入高的专业人士(如夜班或轮班工人、管理人员、医生或律师)可能需要高激励来证明工作或私人生活之外的时间是合理的。他们也不太可能花很多时间填写冗长的筛选调查。
5.如果你正在为这项研究招募两种或两种以上的用户群体……
你可以尝试对所有这些标准使用一个筛选调查,但也有权衡:
- 从好的方面来说,参与者不需要填写一次以上的调查,这增加了你获得足够样本的可能性。
- 你可能还需要一个非常复杂的分支筛选器,或者可能需要手动筛选应聘者,即使他们填写了筛选器
例如,假设你想招聘两种用户类型:电力用户不工作的技术部门和新手用户在技术工作。你可以调查逻辑路线科技专业人员通过新手资格标准和路线非科技类专业高级用户资格标准。或者,你可以问每个人,他们是否在技术领域工作,让他们回答高级用户和新手的问题;然后查看答案并手动决定它们是否符合您的要求组合。
6.在确定合格和不合格的参与者名单之前,检查合格和不合格候选人的调查回答。
(如果你与招聘机构合作,请他们提供所有的筛选者,或者至少是那些与你匹配的人。)
通过审查提交的调查回复,您可以确定任何适合的研究申请人,如果他们有大多数,您可能想考虑作为后备候选人,但不是所有你的目标受众的标准。
例如,如果你的目标受众是有多个孩子的父母,一个主要照顾孩子的阿姨或叔叔可能被取消资格,但在研究中是可以接受的。或者,一些参与者可能已经被筛选出来了,因为他们选择了几个可能的答案之一(例如,他们可能已经回答了安卓这个问题哪一个类型的电话做你自己的?尽管他们同时拥有Android和iPhone)。
7.如果你不确定合格的参与者是否真的适合这项研究(因为,例如,你的招聘对象非常具体)……
将研究分为两部分可能是值得的15分钟的面试筛选和一个30或60分钟的研究会议。这种筛选面试有两个目的:
- 评估候选人以澄清他们的筛选调查答复确认他们是否适合面试
- 为选定的参与者准备主要的学习环节通过审查关键的后勤细节(例如,同意表格,沟通方式,对参与的期望,设备要求,需要下载的应用程序,和其他设置工作,如帐户创建)。
8.最后,通知您完全合格和批准的参与者,并开始为您的研究安排会议。
除非你确定你会邀请他们参加研究,否则不要安排与不合格的候选人做任何事情。否则,一旦你承诺了一个职位,从技术上讲,如果你取消了约会,你有义务提供补偿。
结论
无论你的用户是谁,你都必须筛选研究参与者,以确保你明智地使用你的研究时间和预算。毕竟,设计决策的好坏取决于数据的好坏。通过招募有代表性的研究参与者,您的团队可以减少偏见,并为您的特定用户需求量身定制体验。
分享这篇文章: