如何使用AB测试，提高产品效率？

　　[微风]引言 [微风]
　　AB测试是一个简单的对照实验，对用户进行随机测试来比较同一产品的两个版本，最后分析结果，来确定该产品的哪个版本效果最佳。
　　AB测试证明了潜在的变化能够提高效率，数据能够驱动决策，同时还能带来积极的影响。
　　现今的管理者们只有在证据确凿的情况下才愿意做出决定，别忘了，这年头全靠数据。
　　当然，这也是一件好事，因为当今获取信息的方式很多。
　　AB测试是最常见的方法之一（特别是在在线设置中）。
　　那我们如何才能准确地进行这个实验呢?
　　接下来，我会从AB测试的前、中、后期进行一一进行介绍。
　　​​[微风]AB测试前 [微风]
　　​[浮云]01 ​​ 选择要测试的变量（variable）
　　虽然你可能需要测试很多变量，但是，为了能够评估某个被修改的功能，
　　建议你分离出一个自变量(inindependent variable)，并对其性能进行测量，
　　不然，你无法确定到底是哪个变量导致了变化。
　　变量可以是一个新按钮，新布局或者一个新图像。
　　​[浮云]​​02  确定测试目标
　　很可能你会需要测量多个指标，但我还是建议你选择一个主要指标来关注，并把它作为因变量（dependent variable）。
　　同时，你需要思考在桶测试（the Bucket Test）结束后这个变量的结果。
　　甚至你还可以设置一个假设，并根据这个预测检验你的结果。
　　​[浮云]​​03  创建对照和变量
　　有了自变量，因变量（目标或指标）和所需结果，你就可以利用这些信息来设置对照组（control），通常是一个正在使用的产品。
　　如果你要测试的是一个网页，那么对照组就是现在没更改过的网页。
　　接着，还是以网页为例，设置网页的变量。比如一个新的布局，新的图像等…
　　​[浮云]​​04  随机划分样本组
　　对于那些你能更好控制用户的测试，最好是对两个或多个用户进行分类和定位，这样才能获得更有说服力的结果。
　　具体如何操作，取决于AB测试中你使用的技术和软件。
　　有些商业软件可以帮助你完成这些任务，比如，HubSpot会自动分流你的变体，
　　这样，每个变体都会获得一个随机访问者的样本。
　　​[浮云]​​05  确定样本容量
　　确定样本容量也取决于你用到的AB测试工具，以及运行的对比测试（Split Test）类型。
　　如果你要测试的对象不限数量（比如网络或应用程序），那么测试运行的时间会直接影响到样本容量。
　　所以，你需要让测试运行的时间足够长，才能获取大量数据，
　　否则很难判断＂对照＂（Control）和＂变体＂（Variation）之间是否存在明显的统计差异。
　　​​​[浮云]06  决定结果的显著性
　　一旦选择了目标指标（因变量），就要考虑变化的显著要达到多大，才会选择＂变体＂（Variation），而不是保持＂对照＂（Control）。
　　变化越剧烈，我们对过程中的科学性要求就越低。
　　而变化越具体(如改变按钮颜色、新图像等)，测试就应该越科学，因为这些变化可能不会对转换率产生显著的影响。
　　​
　　​[浮云]​​07  单次运行一个测试
　　同时测试的多个事项会让结果复杂化。
　　比如，如果你对一个登陆页面进行AB测试，
　　同时又对一个邮件活动进行对比测试（Split Test），
　　那你怎么能知道是哪个变化导致了潜在用户的增加呢?
　　​
　　​​[微风]AB测试中 [微风]
　　​[浮云]08  使用AB测试工具
　　要想在网页或邮件中做AB测试，你需要用到工具。
　　其中，最受欢迎的两个是HubSpot Enterprise和Google Analytics。
　　​[浮云]​09  同时测试两种变量
　　当你运行对比测试（Split Test）时，需要同时运行＂对照＂（Control）和＂变体＂（Variation），否则你可能会怀疑你的结果。
　　但也有例外，比如在你测试的时候，想找到最佳发送电子邮件的时间，这就不需要同时进行。
　　​​[浮云]10  保证测试时间充足
　　确保测试的运行时间足够长，才能够获取充足的样本容量。
　　否则很难判断这两个版本是否存在明显统计差异。
　　获得有统计学意义的结果可能需要几小时、几天或几周。
　　而获得这一结果所耗的时间，很大程度上取决于有多少流量，或者有用户在使用你的网页或应用。
　　​[浮云]11  征求真实用户的反馈
　　AB测试与定量数据之间有很大关系，但这对于理解人们的行为并不会有太大帮助。
　　征求他人意见最好的方法，就是通过投票或民意调查。
　　你可以在自己的网站上添加一个离站调查（exit survey），询问用户为什么没有点击某个行动召唤（call to action），
　　或者在感谢页面上添加一个调查，调查用户为什么会点击某个按钮或填写表格。
　　​[微风]AB测试后 [微风]
　　​[浮云]​​​12  专注于你的目标指标
　　虽然你可能会测量多个指标，但是在进行分析时，还是要把重点放在主要的目标指标上。
　　​[浮云]​​13  衡量结果的显著性
　　分析数据，并确定哪个变体的效果更好，＂对照＂（Control）还是＂变量＂（Variation）。
　　之后，再评估你的结果有没有统计意义。
　　换句话说，就是它们能够充分证明变体的合理性吗？
　　​​[浮云]14  视结果量力而行
　　如果一种变量比另一种变量更有统计学优势，那么你就达到了目的。
　　之后，可以在平台中通过禁用丢失变量（losing variation）来完成测试。
　　如果两种变量都没有在统计上达到很好的效果，你就会明白你测试的变量并不会影响结果，这时，一定要把测试标记为不确定。
　　在这种情况下，坚持测试对照组，或运行其他测试。
　　你可以使用这些失败的数据来帮助你确定新测试中的迭代。
　　​[浮云]​15  计划下一次AB测试
　　刚刚完成的对比测试（Split Test）可能会帮助你发现一些提升营销内容、网页或应用效率的新方法，
　　但是，不要止步于此，因为你还有很多提升空间。
　　要留心并把握机会，提高转化率、增加潜在客户。
　　你需要确保你设置的测试是合理的，也要知道如何去评估测试的结果，
　　这样才能自如运行AB测试，获得出色的结果。
　　感谢你的阅读！