数据分析中,为什么1+1不等于2?

数据分析学习社
数据分析学习社
数据分析学习社
348
文章
0
评论
2021-07-2110:29:06 评论 98 1870字
摘要

我们经常听说A部门说自己大盘增量贡献了100W的收入,B部门说自己贡献了200W,都没有说谎,但是大盘却只有250W的增长。这是为什么呢?

数据分析中,为什么1+1不等于2?

本文将就这类问题详细讨论,下面展示工作中遇到的案例。

 

------ 案例 ------

 

产品迭代的策略A和策略B

 

1、小流量实验的时候,策略A可提升某指标20%,策略B可提升30%;

 

2、此时分别加大流量,仅保留小流量对照组,此时策略A提升30%,策略B提升40%;

 

3、大盘仅仅上涨了60%;

 

我们发现:

 

1、加大流量后,为什么策略A策略B的增量贡献变化了?

 

2、大盘涨幅60%,为什么超过小流量阶段的策略A策略B增量之和(即20%+30%=50%),但低于大流量阶段的增量之和?

 

为突出本文的重点,我们暂首先排除一些确有可能的原因,如用户结构变化、外部因素等,同时我们经过反复论证大盘的涨幅60%确实由这2个策略带来。

 

AB实验量化的结果,按理说应该是准确的,但为什么会出现上述情况呢?

 

其实AB实验虽准确,但会涉及到策略之间的叠加效应

 

------ 叠加效应 1+1>2 ------

 

数据分析中,为什么1+1不等于2?

 

以某个信息流产品,举个例子来说:

 

1、A是推荐团队,在算法方面不断迭代优化,为大盘的总时长贡献

 

2、B是增长团队,在产品承接用户迭代作出的贡献

 

3、Y是推荐、增长团队相互放大促进增长的贡献(当然,实际Y不一定是上图中一样是A、B等比例乘积的)

 

所以:

 

1、小流量实验,因为策略A策略B的实验是近似独立的,同时作用2个策略的用户非常少,相互促进的作用(Y)没有充分体现

 

2、大流量实验,大部分用户同时作用了2个策略,相互促进的Y有得到充分体现,1+1>2的就体现出来了

 

3、计算各个策略的贡献,会重复计算Y部分

 

一般情况下,1+1>2是我们鼓励的方向,这说明大家在合作共赢,至于在大流量实验时重复计算收益的问题,我们可以核算机制解决

 

------ 抑制效应 1+1 < 2 ------

 

上面提到相互促进,有个疑问,有没有策略A策略B相互抑制的情况呢?

 

当然存在,并且实际工作中还很普遍,如下图示

 

数据分析中,为什么1+1不等于2?

 

以某增长业务为例,举个例子来说:

 

1、策略A,刷红包视频,领视频红包

 

2、策略B,看视频,攒时间换金币

 

上面2个策略同时上线,

 

1、多个策略,确实可能存在相互促进部分Y

 

2、小流量阶段,A的贡献是A+Z部分,B的贡献是B+Z部分,AB共同作用较少,所以相互抑制部分不大

 

3、大流量阶段,因产品形态雷同,本质上都是看视频获得奖励,2个活动交叠贡献Z就会比较大,体现的是相互抑制较大,而不是相互促进

 

4、所以当两个策略进入大流量阶段后,会体现为1+1<2

 

一般情况下,1+1<2是我们不鼓励的方向,这说明大家在做雷同的事情。

 

------ 联合实验 ------

 

实际上,大多数时候,从产品理解,都会同时存在「相互促进」和「相互抑制」这2部分,从结果角度,其实我们只需要关心「整体交叠影响」即可。

 

真实存在的只有「整体交叠影响」,并不真实存在「相互促进」和「相互抑制」这2部分,拆分只是为了方便理解。

 

为了清晰量化「整体交叠影响」,我们可以通过A实验层域模型,进行联合实验,清晰量化交叠贡献。

 

简单来说,就是在大流量阶段,我们保留1个实验组,即不受策略A影响,也不受策略B影响。

 

数据分析中,为什么1+1不等于2?

 

详细可参看文章《浅谈AB Test实验设计(二)——同时多实验并行和长期实验

 

------ 论功行赏的问题 ------

 

从大局视角出发,关注大盘指标就可以了。

 

但对于具体业务,如何分配业绩也很重要,当交叠贡献时,如何论功行赏。

 

例如,

 

1、负责新增用户的团队,今日引入新用户10W人,当前用户生命周期为10天,新增团队贡献100W日活跃天

 

2、负责留存的团队,将大盘用户生命周期提高2天,大盘用户100W,留存团队贡献200W日活跃天

 

那么这里引入一个问题,新用户和留存共同作用的部分,如何计算?

 

这里一般可以采用边际收益量化,即:

 

1、新增用户的活跃天收益,按照留存提高前的增量贡献计算

 

2、留存团队的的贡献,用户数按照不含近期的新增用户计算

 

3、每过一段时间,再重新制定基数

 

总的来说,论功行赏的问题方法不一定唯,不同的核算机制会牵引业务朝着不同的方向发展,一般情况下需要根据管理者希望的牵引方向而制定。

 

------ 小结 ------

 

1+1不等于2,时常存在。

 

关键在于我们如何调整分工、组织,使得团队之间相互合作、促进,做更多1+1大于2的工作。

 

 

End.

作者:刘健阁

本文为转载分享,如果涉及作品、版权和其他问题,请联系我们第一时间删除(微信号:lovedata0520)

更多文章前往首页浏览http://www.itongji.cn/

 

  • 我的微信公众号
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: