| 導語 在騰訊微視的資料分析中,為什麼經常遇到“1+1不等于2”的情況?這個問題在很多業務場景非常普遍,我們經常聽說A部門說,我為大盤增量貢獻了100W的收入,B部門說,我貢獻了200W,兩個部門都沒有說謊,但是大盤卻隻有250W的增長。這是為什麼呢?本文将就這類問題詳細讨論。
資料分析中,為什麼1+1不等于2?
這個問題在很多業務場景非常普遍,我們經常聽說A部門說,我為大盤增量貢獻了100W的收入,B部門說,我貢獻了200W,兩個部門都沒有說謊,但是大盤卻隻有250W的增長。
這是為什麼呢?
先抛一張圖
本文将就這類問題詳細讨論,下面個我工作中遇到的案例。
案例
産品疊代(以下稱Driver)Driver A 和 Driver B
- 在小流量實驗階段,Driver A可提升某名額 20%,Driver可提升 30%;
- 此時分别加大流量,僅保留小流量對照組,此時Driver A提升 30%,Driver B提升 40%;
- 大盤某名額上漲了55%;
(這裡為了說明問題,數值上略有誇張)
我們發現上述實驗有個問題:
- 加大流量後,為什麼Driver A和Driver B的增量貢獻變化了?
- 大盤漲幅60%,為什麼超過小流量階段的Driver A和Driver B增量之和(按線性加法和乘法計算均可,即20%+30%=50%,或1.2*1.3-1=56%),但低于大流量階段的增量之和?
為了突出重點,我們首先排除一些确有可能的原因,例如使用者結構發生變化,外部因素幹擾,同時我們經過反複論證大盤的漲幅60%确實由這2個Driver帶來。
AB Test量化的結果,按理說應該不涉及重複計算,為什麼有上述的問題?
其實AB Test雖然不涉及重複計算,但會涉及到Driver之間的疊加效應
疊加效應:1+1>2
以短視訊産品 微視,舉個例子來說:
- A是 推薦 團隊,通過在算法層面不斷疊代優化,為大盤的總使用時長作出的貢獻;
- B是 增長 團隊,通過在端内産品疊代作出的貢獻;
- Y是 推薦、增長團隊互相放大促進增長的貢獻(當然,Y不一定是像圖示中一樣是與A、B單獨貢獻等比例乘積的)
是以,
- 小流量實驗時,因為Driver A和Driver B的實驗是獨立的,同時作用2個Driver的使用者非常少,互相促進的作用(Y)沒有充分展現
- 大流量實驗時,大部分使用者同時作用了2個Driver,互相促進的Y有得到充分展現,1+1>2的效果就展現出來了
- 此時計算各個Driver的貢獻,會重複計算Y部分
一般情況下,1+1>2是我們鼓勵的方向,這說明各個團隊在做合作共赢的事情,至于在大流量實驗時重複計算收益的問題,我們可以通過核算修正解決
抑制效應:1+1 < 2
上面提到了互相促進,那麼有沒有Driver A和Driver B互相抑制的情況呢?
當然存在,并且在顯示中還特别普遍,如下圖示
以微視的任務福利中心,舉個例子來說:
·Driver A是,刷紅包視訊,領視訊紅包
·Driver B是,看視訊,贊時間換金币
上面2個活動同時上線,
- 多個活動,确實能存在互相促進部分Y
- 小流量階段,A的貢獻是A+Z部分,B的貢獻是B+Z部分,AB共同作用較少,是以互相抑制部分不大
- 大流量階段,因為産品形态較雷同,本質上都是看視訊獲得獎勵,2個活動交疊貢獻Z就會比較大,展現的是互相抑制較大,而非互相促進
- 是以當兩個Driver進入大流量階段後,會展現為1+1<2
一般情況下,1+1<2是我們不鼓勵的方向,這說明各個團隊在為同一個産品做趨近相同使用者價值。
聯合實驗
實際上,絕大多數時候,從産品角度了解,都會同時存在「互相促進」和「互相抑制」這2部分,從結果角度,其實我們隻需要關心「整體交疊影響」即可。
真實存在的隻有「整體交疊影響」,并不真實存在「互相促進」和「互相抑制」這2部分,隻是為了友善從産品視角的的了解。
為了清晰量化「整體交疊影響」,我們可以通過AB Test的層域模型,進行聯合實驗,清晰量化交疊貢獻。
簡單來說,就是在大流量階段,我們保留1個實驗組,即不受Driver1影響,也不受Driver2影響。如下例:
詳細可參看《淺談AB Test實驗設計和資料分析(二)——層域模型的設計》
(https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg)
論功行賞的問題
從大局視角出發,關注大盤名額就好。
但對于具體業務同學,如何配置設定業績也很重要,當交疊貢獻時,如何論功行賞。
例如,
- 負責新增使用者的團隊,今日引入新使用者10W人,目前使用者生命周期為10天,新增團隊貢獻100W日活躍天
- 負責留存的團隊,将大盤使用者生命周期提高2天,大盤使用者100W,留存團隊貢獻200W日活躍天
那麼這裡引入一個問題,新使用者和留存共同作用的部分,如何計算?
這裡一般可以采用邊際收益量化,即
- 新增使用者的活躍天收益,按照留存提高前的增量貢獻計算
- 留存團隊的的貢獻,使用者數按照不含近期的新增使用者計算
- 每過一段時間,再重新制定基數
總的來說,發放不一定唯一,論功行賞的問題,往往計算方式,會牽引業務朝着不同的方向發展,對業務發展有牽引作用,一般情況下需要根據管理者希望的牽引方向而制定。
小結
1+1不等于2,時常存在,
關鍵在于我們如何調整分工、組織,使得團隊之間互相合作、促進,做更多1+1大于2的工作。
從0到1實作一款輕量級大資料分析系統
騰訊的組織能力是什麼