在准备我们的新培训课程的时候分析和用户体验，我最近的研究发现使许多简单的网站度量方法无效．我惭愧地承认，我花了两年时间才理解这些结果，但这些论文是由我通常并不了解的经济学家撰写的。
尽管这项研究是由经济学家做的而不是可用性研究人员，它是最重要的是对网络用户行为的新见解自信息采集与信息气味．
基本的发现是用户的行为更加混乱比以前认可：对于任何给定的用户，异常高互联网活动的时期与低活动期交替。
所以，再一次，这意味着你不能断定暴露在特定刺激下会导致某种行为，即使你观察到暴露后这种行为出现的增加。就像我一直说的，相关性并不能证明因果关系因为隐藏的协变量可能存在。我们现在知道用户活动偏差就是这样一个协变量-而且它很坚固。
宣传视频会让人们访问网站吗?
在雅虎(Yahoo)，兰德尔·a·刘易斯(Randall a . Lewis)和他的同事进行了一项实验，要求亚马逊土耳其机器人(Mechanical Turk)服务的访客观看一段雅虎的宣传视频。以下图表显示了这些用户在观看视频当天是否访问了雅虎网络中的任何网站，以及在视频曝光前后的两周内是否访问了雅虎网络中的任何网站。
在Lewis等人发布的数据后重新插图。（见下面的参考文献）。
图表的沉重的蓝线显示用户随着时间的推移的行为观看了雅虎的宣传视频在访问亚马逊机械土耳其人的同时。第0天是用户看到视频的日子;显然，他们在那一天大大可能访问雅虎。
鉴于前两周的用户的平均行为，数据在他们看到这一网站的促销视频时，他们在雅虎访问中显示了144％的精彩升力。甚至更好，视频的影响与用户有一段时间：用户访问以下日期的更多温度43％（日+1）。
一个在naïve上读过这类分析报告的人现在会得出结论，这段宣传视频是一个极好的营销工具。显然，该公司应该大力投资，让这段视频在更大范围内播放。
没有那么快。仔细观察图表也会发现，过去几天的访问量有所上升之前用户观看了促销视频。在第1天，雅虎拜访36％的升力。怎么可能？除非你相信时间旅行，否则促销视频如何让用户在他们看过那段视频之前访问一个网站？
更糟糕的是，看看图表橙色的细线．这条线显示了访问过Amazon的Mechanical Turk服务的用户的行为显示了一个不相关的视频但没有提到雅虎。如图表所示，这些用户基本上同样的行为模式作为看过宣传视频的用户。
因此，在对照组观看不相关视频的那一天，他们访问雅虎的愿望也大大提升了。这些额外的雅虎访问也持续了一段时间。
它认为认为一个从未提到雅虎的视频将增强观众对雅虎品牌的印象。显然，观看无关的视频没有导致雅虎网站访问;鉴于这两个视频基本上具有相同的效果，我们可以得出结论，促销视频并没有激励雅虎的访问。
然而，雅虎的访问量却大幅上升。如果这不是因为宣传视频，是什么导致了额外的访问?刺激组和对照组的使用者都很简单他们在看视频的那天在互联网上更加活跃．
这种现象被称为活动的偏见：有些时候，人们在网上做很多事;其他日子，他们做得很少。
在非常活跃的日子里，人们更有可能同时做活动A和活动B，不管A或B是什么。(在这个实验中，“A”正在访问Mechanical Turk看视频，“B”正在访问雅虎。)
至关重要的是，即使a和b之间没有关系，你也是如此观察用户做A意味着他们可能会有一个更活跃的日子因此也更有可能选择B。
搜索广告让人买吗？
eBay的Thomas Blake和他的同事在谷歌和Bing上的搜索引擎广告实验中进一步说明了活动偏差效应。
在试验之前，eBay已经运行了大量搜索广告，并记录了良好的点击率和对点击广告的用户的可观销售额。这是否意味着这些广告值得运行呢?不一定。
现在我们知道了活动偏差，我们认识到用户点击eBay广告的事实意味着这些用户可能正处于他们的高活动日。(在低活跃度的日子里，人们搜索更少，点击广告更少。)在高活跃度的日子里，用户也更有可能在eBay上购买东西。
因此，只要因为广告点击和产品购买发生在同一天并不意味着广告导致销售。这两个事件也可能是由具有特别活跃的一天的用户引起的，并且在网上做很多。
作为第一次实验，布莱克et al。简单的关闭所有品牌关键词的广告在Google和Bing。（品牌搜索是用户查询包含公司名称或其品牌之一的搜索 - 例如搜索“eBay鞋”而不是简单地“鞋子”或“买鞋”）
虽然由广告驱动的访问明显停止了，但人们仍然继续访问eBay。作者的分析只表明了这一点在Bing上的品牌搜索广告中的0.5％的点击次数丢失，而3％的谷歌点击丢失．无论哪种情况，绝大多数会点击广告的用户仍然通过其他方式来到eBay，通常是通过点击有机搜索结果。
记住，这些都是品牌搜索;用户已经决定考虑eBay，事实证明，他们在查询中包含了该公司的名称。所以，毫不奇怪，向那些已经决定访问该网站的人做进一步的广告是一种浪费。
（我相信一些公司经营着品牌搜索广告，以减少人们从竞争对手看到的广告数量，他们可能会在最后一分钟转移前瞻性客户。然而，这是一种非常昂贵的方式，可以抑制可能不值得的竞争for companies with a decent brand reputation. If people have decided they want to check your offers, they’re unlikely to be diverted by other companies’ ads.)
在另一项更详细的研究中，布莱克等．检验…的有效性非品牌关键字广告．在这个案例中，他们在美国随机选择的65个大城市停止了搜索广告。他们将这些地理区域与其他地理区域尽可能地匹配，从而创建了一组68个控制性都市区，在这些都市区中，搜索广告仍在继续。总的来说，作者估计支付搜索广告增加了0.4%的销售额而投资回报率如此接近零在统计上微不足道。
这并不是说只有0.4%的销售是针对那些点击了搜索广告的人;广告点击者的销售额要高得多(尽管eBay对实际数字保密)。然而，关键在于即使没有广告，也会发生许多这些销售．在那些投放搜索广告的地区，许多用户点击广告，因为这很容易，而且他们就在自己面前。从无数的可用性研究中我们知道，用户是懒惰的。但在那些没有广告的地区，用户通过其他方式访问网站，购买的数量几乎相同。
在另一项分析中，作者考虑了在eBay上购物的人是否在前一年在那里购买过东西。对于那些在那段时间内没有购买过东西的人来说，搜索广告增加的销售额远远超过了一般估计。对于那些购买了一个或两个在过去的一年里,也有一个小从搜索广告销售提升。但是,有三个或更多的客户购买在过去的一年中,从搜索广告销售提升统计太接近于零,是巨大的。
这一发现与品牌关键词研究的结果相吻合:搜索广告的好处来自与不认识或不记得你的客户的接触。了解该品牌的人不太可能被此类广告所左右。
这项研究的关键教训是什么?活动偏差再次困扰着营销经理，他们对广告的“归属销售”进行了简单的分析，假设销售是由用户的最后一次点击引起的。许多既点击广告又进行购买的用户即使没有看到广告，也会选择后者。对照实验是发现广告真实影响的唯一方法。
为什么存在活动偏差?
几个不同的实验发现了活动偏差的有力证据，这种偏差如此显著，以至于它极大地扭曲了人们从简单的网站分析观点中得出的结论。
为什么活动偏见如此明显的用户行为？我们不知道;需要进一步研究。但是，我肯定会推测。这里有一些活动偏差的可能原因：
•有些时候，人们有很多时间杀了在电脑上。其他时候，他们可能在度假或出差，有一个迫在眉睫的最后期限，或有其他原因来减少他们的在线时间。
•在电脑上可以迷人的就其本身而言。你坐下来检查一件事，当你抬头看的时候，一个小时过去了，你已经访问了20个其他网站。一件事接着一件事。其他时候，你需要检查一件事情，然后马上去和老板讨论。你永远没有时间被吸引到迷人的网络领域。
有时,外部因素——比如写一篇研究论文或计划一次度假——使人们大量使用网络。
•人的情绪影响网络使用;在良好的心情下，用户可能会对用户体验感到满意，否则他们可能会感到厌恶，并导致他们关闭网络世界。
•现实世界中活动推动或阻碍互联网的使用。从网络中断(零使用)到飓风(在人们被关起来的时候大量使用，假设他们可以连接)。
就像我说的，这里的原因是猜测。我们所知道的是，活动偏差是真实存在的，用户的在线行为是不稳定的。我们应该认识到这一点，尽可能在设计中利用这一点，并在使用分析数据时加以控制。
参考文献
Thomas Blake，Chris Nosko和Steven Tadelis：“消费者异质性和付费搜索效果：大规模的场实验”,国家经济研究局，数字化经济学会议(2013年3月8日)。
Randall A. Lewis, Justin M. Rao和David H. Reiley:这里，那里，到处都是:相关的网络行为可能导致高估广告的效果”,国际万维网会议论文集（2011年3月18日 - 2011年4月1日，印度海德拉巴）。
（警告：参考链接导致PDF格式的学术论文。）
分享这篇文章: