天天看點

短視訊之資料分析:為什麼1+1不等于2?

| 導語 在騰訊微視的資料分析中,為什麼經常遇到“1+1不等于2”的情況?這個問題在很多業務場景非常普遍,我們經常聽說A部門說,我為大盤增量貢獻了100W的收入,B部門說,我貢獻了200W,兩個部門都沒有說謊,但是大盤卻隻有250W的增長。這是為什麼呢?本文将就這類問題詳細讨論。

資料分析中,為什麼1+1不等于2?

這個問題在很多業務場景非常普遍,我們經常聽說A部門說,我為大盤增量貢獻了100W的收入,B部門說,我貢獻了200W,兩個部門都沒有說謊,但是大盤卻隻有250W的增長。

這是為什麼呢?

先抛一張圖

短視訊之資料分析:為什麼1+1不等于2?

本文将就這類問題詳細讨論,下面個我工作中遇到的案例。

案例

産品疊代(以下稱Driver)Driver A 和 Driver B

  • 在小流量實驗階段,Driver A可提升某名額 20%,Driver可提升 30%;
  • 此時分别加大流量,僅保留小流量對照組,此時Driver A提升 30%,Driver B提升 40%;
  • 大盤某名額上漲了55%;

(這裡為了說明問題,數值上略有誇張)

我們發現上述實驗有個問題:

  • 加大流量後,為什麼Driver A和Driver B的增量貢獻變化了?
  • 大盤漲幅60%,為什麼超過小流量階段的Driver A和Driver B增量之和(按線性加法和乘法計算均可,即20%+30%=50%,或1.2*1.3-1=56%),但低于大流量階段的增量之和?

為了突出重點,我們首先排除一些确有可能的原因,例如使用者結構發生變化,外部因素幹擾,同時我們經過反複論證大盤的漲幅60%确實由這2個Driver帶來。

AB Test量化的結果,按理說應該不涉及重複計算,為什麼有上述的問題?

其實AB Test雖然不涉及重複計算,但會涉及到Driver之間的疊加效應

疊加效應:1+1>2

短視訊之資料分析:為什麼1+1不等于2?

以短視訊産品 微視,舉個例子來說:

  • A是 推薦 團隊,通過在算法層面不斷疊代優化,為大盤的總使用時長作出的貢獻;
  • B是 增長 團隊,通過在端内産品疊代作出的貢獻;
  • Y是 推薦、增長團隊互相放大促進增長的貢獻(當然,Y不一定是像圖示中一樣是與A、B單獨貢獻等比例乘積的)

是以,

  • 小流量實驗時,因為Driver A和Driver B的實驗是獨立的,同時作用2個Driver的使用者非常少,互相促進的作用(Y)沒有充分展現
  • 大流量實驗時,大部分使用者同時作用了2個Driver,互相促進的Y有得到充分展現,1+1>2的效果就展現出來了
  • 此時計算各個Driver的貢獻,會重複計算Y部分

一般情況下,1+1>2是我們鼓勵的方向,這說明各個團隊在做合作共赢的事情,至于在大流量實驗時重複計算收益的問題,我們可以通過核算修正解決

抑制效應:1+1 < 2

上面提到了互相促進,那麼有沒有Driver A和Driver B互相抑制的情況呢?

當然存在,并且在顯示中還特别普遍,如下圖示

短視訊之資料分析:為什麼1+1不等于2?

以微視的任務福利中心,舉個例子來說:

·Driver A是,刷紅包視訊,領視訊紅包

·Driver B是,看視訊,贊時間換金币

上面2個活動同時上線,

  • 多個活動,确實能存在互相促進部分Y
  •     小流量階段,A的貢獻是A+Z部分,B的貢獻是B+Z部分,AB共同作用較少,是以互相抑制部分不大
  •     大流量階段,因為産品形态較雷同,本質上都是看視訊獲得獎勵,2個活動交疊貢獻Z就會比較大,展現的是互相抑制較大,而非互相促進
  • 是以當兩個Driver進入大流量階段後,會展現為1+1<2

一般情況下,1+1<2是我們不鼓勵的方向,這說明各個團隊在為同一個産品做趨近相同使用者價值。

聯合實驗

實際上,絕大多數時候,從産品角度了解,都會同時存在「互相促進」和「互相抑制」這2部分,從結果角度,其實我們隻需要關心「整體交疊影響」即可。

真實存在的隻有「整體交疊影響」,并不真實存在「互相促進」和「互相抑制」這2部分,隻是為了友善從産品視角的的了解。

為了清晰量化「整體交疊影響」,我們可以通過AB Test的層域模型,進行聯合實驗,清晰量化交疊貢獻。

簡單來說,就是在大流量階段,我們保留1個實驗組,即不受Driver1影響,也不受Driver2影響。如下例:

短視訊之資料分析:為什麼1+1不等于2?

詳細可參看《淺談AB Test實驗設計和資料分析(二)——層域模型的設計》

(https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg)

論功行賞的問題

從大局視角出發,關注大盤名額就好。

但對于具體業務同學,如何配置設定業績也很重要,當交疊貢獻時,如何論功行賞。

例如,

  • 負責新增使用者的團隊,今日引入新使用者10W人,目前使用者生命周期為10天,新增團隊貢獻100W日活躍天
  • 負責留存的團隊,将大盤使用者生命周期提高2天,大盤使用者100W,留存團隊貢獻200W日活躍天

那麼這裡引入一個問題,新使用者和留存共同作用的部分,如何計算?

這裡一般可以采用邊際收益量化,即

  • 新增使用者的活躍天收益,按照留存提高前的增量貢獻計算
  • 留存團隊的的貢獻,使用者數按照不含近期的新增使用者計算
  • 每過一段時間,再重新制定基數

總的來說,發放不一定唯一,論功行賞的問題,往往計算方式,會牽引業務朝着不同的方向發展,對業務發展有牽引作用,一般情況下需要根據管理者希望的牽引方向而制定。

小結

1+1不等于2,時常存在,

關鍵在于我們如何調整分工、組織,使得團隊之間互相合作、促進,做更多1+1大于2的工作。

短視訊之資料分析:為什麼1+1不等于2?
短視訊之資料分析:為什麼1+1不等于2?

從0到1實作一款輕量級大資料分析系統

短視訊之資料分析:為什麼1+1不等于2?

騰訊的組織能力是什麼

短視訊之資料分析:為什麼1+1不等于2?

“秒開”浏覽器實作起來有多難?

短視訊之資料分析:為什麼1+1不等于2?