天天看点

短视频之数据分析:为什么1+1不等于2?

| 导语 在腾讯微视的数据分析中,为什么经常遇到“1+1不等于2”的情况?这个问题在很多业务场景非常普遍,我们经常听说A部门说,我为大盘增量贡献了100W的收入,B部门说,我贡献了200W,两个部门都没有说谎,但是大盘却只有250W的增长。这是为什么呢?本文将就这类问题详细讨论。

数据分析中,为什么1+1不等于2?

这个问题在很多业务场景非常普遍,我们经常听说A部门说,我为大盘增量贡献了100W的收入,B部门说,我贡献了200W,两个部门都没有说谎,但是大盘却只有250W的增长。

这是为什么呢?

先抛一张图

短视频之数据分析:为什么1+1不等于2?

本文将就这类问题详细讨论,下面个我工作中遇到的案例。

案例

产品迭代(以下称Driver)Driver A 和 Driver B

  • 在小流量实验阶段,Driver A可提升某指标 20%,Driver可提升 30%;
  • 此时分别加大流量,仅保留小流量对照组,此时Driver A提升 30%,Driver B提升 40%;
  • 大盘某指标上涨了55%;

(这里为了说明问题,数值上略有夸张)

我们发现上述实验有个问题:

  • 加大流量后,为什么Driver A和Driver B的增量贡献变化了?
  • 大盘涨幅60%,为什么超过小流量阶段的Driver A和Driver B增量之和(按线性加法和乘法计算均可,即20%+30%=50%,或1.2*1.3-1=56%),但低于大流量阶段的增量之和?

为了突出重点,我们首先排除一些确有可能的原因,例如用户结构发生变化,外部因素干扰,同时我们经过反复论证大盘的涨幅60%确实由这2个Driver带来。

AB Test量化的结果,按理说应该不涉及重复计算,为什么有上述的问题?

其实AB Test虽然不涉及重复计算,但会涉及到Driver之间的叠加效应

叠加效应:1+1>2

短视频之数据分析:为什么1+1不等于2?

以短视频产品 微视,举个例子来说:

  • A是 推荐 团队,通过在算法层面不断迭代优化,为大盘的总使用时长作出的贡献;
  • B是 增长 团队,通过在端内产品迭代作出的贡献;
  • Y是 推荐、增长团队相互放大促进增长的贡献(当然,Y不一定是像图示中一样是与A、B单独贡献等比例乘积的)

所以,

  • 小流量实验时,因为Driver A和Driver B的实验是独立的,同时作用2个Driver的用户非常少,相互促进的作用(Y)没有充分体现
  • 大流量实验时,大部分用户同时作用了2个Driver,相互促进的Y有得到充分体现,1+1>2的效果就体现出来了
  • 此时计算各个Driver的贡献,会重复计算Y部分

一般情况下,1+1>2是我们鼓励的方向,这说明各个团队在做合作共赢的事情,至于在大流量实验时重复计算收益的问题,我们可以通过核算修正解决

抑制效应:1+1 < 2

上面提到了相互促进,那么有没有Driver A和Driver B相互抑制的情况呢?

当然存在,并且在显示中还特别普遍,如下图示

短视频之数据分析:为什么1+1不等于2?

以微视的任务福利中心,举个例子来说:

·Driver A是,刷红包视频,领视频红包

·Driver B是,看视频,赞时间换金币

上面2个活动同时上线,

  • 多个活动,确实能存在相互促进部分Y
  •     小流量阶段,A的贡献是A+Z部分,B的贡献是B+Z部分,AB共同作用较少,所以相互抑制部分不大
  •     大流量阶段,因为产品形态较雷同,本质上都是看视频获得奖励,2个活动交叠贡献Z就会比较大,体现的是相互抑制较大,而非相互促进
  • 所以当两个Driver进入大流量阶段后,会体现为1+1<2

一般情况下,1+1<2是我们不鼓励的方向,这说明各个团队在为同一个产品做趋近相同用户价值。

联合实验

实际上,绝大多数时候,从产品角度理解,都会同时存在「相互促进」和「相互抑制」这2部分,从结果角度,其实我们只需要关心「整体交叠影响」即可。

真实存在的只有「整体交叠影响」,并不真实存在「相互促进」和「相互抑制」这2部分,只是为了方便从产品视角的的理解。

为了清晰量化「整体交叠影响」,我们可以通过AB Test的层域模型,进行联合实验,清晰量化交叠贡献。

简单来说,就是在大流量阶段,我们保留1个实验组,即不受Driver1影响,也不受Driver2影响。如下例:

短视频之数据分析:为什么1+1不等于2?

详细可参看《浅谈AB Test实验设计和数据分析(二)——层域模型的设计》

(https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg)

论功行赏的问题

从大局视角出发,关注大盘指标就好。

但对于具体业务同学,如何分配业绩也很重要,当交叠贡献时,如何论功行赏。

例如,

  • 负责新增用户的团队,今日引入新用户10W人,当前用户生命周期为10天,新增团队贡献100W日活跃天
  • 负责留存的团队,将大盘用户生命周期提高2天,大盘用户100W,留存团队贡献200W日活跃天

那么这里引入一个问题,新用户和留存共同作用的部分,如何计算?

这里一般可以采用边际收益量化,即

  • 新增用户的活跃天收益,按照留存提高前的增量贡献计算
  • 留存团队的的贡献,用户数按照不含近期的新增用户计算
  • 每过一段时间,再重新制定基数

总的来说,发放不一定唯一,论功行赏的问题,往往计算方式,会牵引业务朝着不同的方向发展,对业务发展有牵引作用,一般情况下需要根据管理者希望的牵引方向而制定。

小结

1+1不等于2,时常存在,

关键在于我们如何调整分工、组织,使得团队之间相互合作、促进,做更多1+1大于2的工作。

短视频之数据分析:为什么1+1不等于2?
短视频之数据分析:为什么1+1不等于2?

从0到1实现一款轻量级大数据分析系统

短视频之数据分析:为什么1+1不等于2?

腾讯的组织能力是什么

短视频之数据分析:为什么1+1不等于2?

“秒开”浏览器实现起来有多难?

短视频之数据分析:为什么1+1不等于2?