100种分析思维模型(009号)

林骥
林骥
林骥
44
文章
0
评论
2021-08-2516:49:53 评论 21 1868字
摘要

你好,我是林骥。 假设你是某个 APP 的负责人,你的团队成员正在争论不休,因为一个页面的设计改版,现在面临一个选择难题:到底是选择 A 方案好?还是 B 方案好呢?

 

今天介绍的第 009 号分析思维模型:A / B 测试模型,能帮你做出更加科学的选择。

 

1. 模型介绍

A / B 测试,是指在同一时间段,给同类用户分别展示优化前和优化后的方案,并通过数据分析,判断是否符合预期的一种试验方法

广告界有一句经典的名言:

我知道在广告上的投资有一半是无用的,但问题是我不知道是哪一半。

这句话在传统的广告行业一直有效。

但是,随着互联网的发展,人们能够快速获取大量的用户行为数据,从而能够准确地衡量广告的效果,减少无效广告的投放,这背后的关键技术就是 A / B 测试模型。

互联网时代,细节决定成败。

谷歌、脸书、字节跳动等知名互联网公司,都在大量应用 A / B 测试,无论是颜色的调整,还是位置的摆放,或者是文案的设计,很多细节都会通过 A / B 测试来进行验证,从而实现产品的持续优化。

 

2. 应用举例

A / B 测试在互联网、医疗、金融等领域都有着广泛的应用, APP 设计方案的选择为例:

首先,要明确判断好坏的指标是什么,例如转化率高代表好。

其次,要合理地分割流量,保证 A 组和 B 组的用户特征基本一致,并且都具有代表性,能够代表总体用户特征。

如果总体流量比较大,为了减少测试可能造成的损失,在刚开始测试的时候,建议先小范围尝试,例如拿 2% 的流量,其中 1% 的用户作为 A 组,另外 1% 的用户作为 B 组。

当流量足够大时,还可以根据用户的特征(如年龄、性别等)切分出更细致的用户群体分别进行 A / B 测试,尽量排除其他因素的互相干扰。

然后,通过数据分析,对比测试结果,并做显著性检验。

你可以利用网上的AB测试结果分析工具,输入访问数和转化数,就能自动计算出转化率和统计显著性数值。

100种分析思维模型(009号)

假如检验结果不显著,那么有可能是因为样本量不足,建议加大测试的比例,以期得到更加明确的测试结果,这样才能指导下一步的决策行动。

最后,在大胆假设的基础上,一定要小心求证,考虑是否需要进行灰度发布,让一部分用户先试用新的版本,避免出现辛普森悖论那样的情形,否则可能造成不良影响。

辛普森悖论,是英国统计学家辛普森于 1951 年提出来的,即在某个条件下的两组数据,分别讨论时都会满足某种性质,可是一旦合并考虑,却可能导致相反的结论。

举个例子:
  • A 组有 1000 个男性和 200 个女性,转化率分别为 10% 和 75%;
  • B 组有 200 个男性和 1000 个女性,转化率分别为 5% 和 50%;

100种分析思维模型(009号)

如果把男性和女性分开来看,A 组转化率分别都明显高于 B 组,10% 高于 5%,75% 高于 50%。

但是,如果把男性和女性合并到一起,A 组转化率却只有 20.8%,还不到 B 组转化率 42.5% 的一半。

所以,我们在做 A / B 测试的过程中,需要特别注意分组的权重,消除分组基数差异所造成的影响,让测试的样本能够真实反映整体的分布。

因为量与质不是等价的,然而由于量更加容易测量,所以人们总是习惯用量来评定好坏,但结果却可能是没有抓住重点。

从辛普森悖论中,我们可以得到一点启示:甲做了很多不重要的小事,而乙做了少量非常重要的大事,最终甲取得的成就可能会远不如乙。

这也是为什么我们要牢记二八法则,用 20% 的高效时间,重点去做好那些能产生 80% 效果的重要的事。

 

最后的话

应用 A / B 测试模型,也要遵循要事优先的原则,运用全局思维,优先去做那些对业务影响比较大的测试,而不是不分轻重缓急,眉毛胡子一把抓。

我们从小经历过各种各样的考试,大致都有这样的体会:从 0 分到 90 分,从 90 分到 99 分,再从 99 分到 100 分,这三者所花的时间是差不多的。分数越高,难度越大,效率越低。

在计算机软件开发领域,有一种「九九定律」,也称为 90-90 法则

前 90% 的代码要花费 90% 的开发时间,剩余的 10% 的代码要再花费 90% 的开发时间。

在做 A / B 测试之前,我们可以先花少量的时间,快速定位正确的方向,先把细枝末节放一放(后面如果有必要再做优化也不迟),这样就能实现快速迭代,形成良性循环,从而获得更好的结果。

数学有超越现实的美,而现实中人类的行为和想法太过复杂,就像投资经常失败的牛顿所说的:

我可以预测天体的运动,却无法预测人类的疯狂。

在用数据化解难题的过程中,一种分析思维模型的应用,可以增进自己对另一种模型的理解,这是我学习总结 100 种分析思维模型的额外收获。

 

 

End.

爱数据网专栏作者:林骥

作者介绍:数据赋能者,专注数据分析 10 多年。

个人公众号:林骥(linjiwx)

本文为挖数网专栏作者原创文章,未经允许禁止转载,需要转载请微信联系授权(微信号:lovedata0520)

更多文章前往爱数据社区网站首页浏览http://www.itongji.cn/

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: