本文将深入探讨如何進行有效的上線測試，確定每一步都為最終的産品成功貢獻力量。繼續閱讀，了解測試的核心名額、圍欄名額以及三種主要的測試方法，讓你的産品在競争激烈的市場中脫穎而出。
有了一個自己能夠靈活使用的體系之後，接下來需要考慮的問題就是如何上線測試了，測試的方法看上去很複雜，其實隻要了解了核心，理順了思路，測試，易如反掌。
01 核心名額和圍欄名額
首先，測試重點在于要測什麼，要測的這一項，就是本次測試的“核心名額”，在測試中要特别注意控制核心名額的數量，一次測試中原則上隻有一個核心名額，但實際操作中在特殊情況下允許靈活變通。
比如當一個版本中同時修改了資料備份和磁盤格式化，在兩個點關聯度很低，可以在同一個版本中作為分别兩個不同的核心名額來記錄資料波動情況，并結合後續的資料進行分析。
核心名額的表現往往決定了本次測試的成功與否，它的資料波動也反應了本次修改帶給使用者實際的感受以及對産品最終的影響。
産品上的一個修改影響的往往不隻修改點本身，這樣就需要關注更多的次級名額，也就是“圍欄名額”。
雖然不鼓勵這樣做，但在測試的時候确實可以直接将産品最終的收益情況，如轉化率或者平均使用者價值，作為圍欄名額。每次測試中可以有多個圍欄名額，它們可能是與核心名額密切相關的，也可能僅僅是因為在産品中有着重要的地位。
圍欄名額一般并不能直接反應測試結果，但它們對于資料異常記錄，或核心名額波動的說明以及資料支撐方面都是必要的存在。
02 測試方法
确定好了測試測什麼之後，就要看具體怎麼測了，目前在工作中比較常用的有三種測試方法。
1. 直接上線，前後對比
對于中小規模的産品來說，這種方法可能是最常用的，在日常工作中，使用這種方式往往是因為進行測試的這個産品樣本量有限或者本次測試的重要程度較低。
因為如何嚴謹的按照A/B對比測試進行的話，這些産品所需要的測試時間可能往往會在幾個月甚至幾年，這在實際工作中是不現實的。但這種測試得到的結果其準确程度并不是百分百确定的，因為時間段的不同意味着除了産品本身，很有可能存在着其它的變量。
舉個例子：在聖誕節或者大型促銷季時進行前後時間段對比測試的話，一般來說意義就不大了，因為随着促銷季的到來，使用者的轉化意願和轉化能力都有可能出現非常大的變化，這期間的資料波動很有可能并不是産品變化引起的或者資料波動的主要原因并不是産品的變化。
是以，如果使用直接上線，前後對比的方式進行測試，首先要确定這個時間段能不能測試，然後要控制好時間和變量，要收集到足夠的樣本量才能進行計算，避免偶發情況；其次，在測試結束後，仍然需要在一定時間内繼續對資料進行跟蹤，确認測試結果。
2. A/B對比測試
A/B對比測試相對來說是一種更準确的測試方式，即在同一時間分别上線A和B兩個版本，将使用者按照1:1的比例随機配置設定給兩個版本，然後觀察A和B兩個版本分别的表現情況。
這種測試方式對參與測試的樣本量是有一定要求的，因為要将所有參與測試的樣本平均分成兩份，如果資料量較小的情況下仍然A/B，很有可能導緻測試過程中出現過多的偶發情況；一般來說樣本量越大，測試的結果也就越準确。
在測試前我們可以在專業網站（比如evanmiller.org）上先計算一下所需的樣本量，以此為參考，再對自己需要樣本量做到心中有數。即使我們無法完全達到需要的樣本量也沒有關系，因為可以根據核心名額的表現情況，結合圍欄名額共同進行判斷。
3. 灰階測試
在擔心本次修改會對使用者或市場造成較大的沖擊，無法确定使用者或市場反應時，灰階釋出是一個不錯的選擇。灰階釋出的重點在于如何控制上線節奏，把握使用者比例。一般情況下不提倡邊走邊看，最好是先設定時間段，比如首先計劃好第一周上線30%，第二周提升至上線50%，第三周70%，第四周100%，在比例調整前要注意觀察資料，為比例調整提供充足的判斷依據。
這種測試方式比較特别，如果可以的話，在測試期間需要特别注意收集使用者回報和評價的變化，可以是被動地等待使用者送出回報，也可以主動地向使用者詢問意見和建議，然後再根據資料波動和回報情況，看是否需要進行調整。
03 測試結果
總的來說，測試結果一般有以下幾種：
- 若核心名額與圍欄名額皆為正向，且超出預期，則說明需要進行預期管理優化；
- 若核心名額與圍欄名額皆為正向，且符合預期，則說明該項目具有實際價值和意義，開啟複盤梳理上線流程，可以推廣至其它産品分别進行測試；
- 若核心名額與圍欄名額表現不一緻，測試結果存在異常，則需要詳細分析資料情況，如果确有異常，需要找出異常點，進行調整并重新測試，如果是其它原因，也需要對其進行具體分析和調整。
- 若核心名額與圍欄名額，或皆為負向，則需要考察具體原因，确定後考慮繼續推進或調整重測或放棄測試進行復原。
04 特别注意事項
産品測試的坑還是挺多的，這裡列出比較重要的幾個點，需要特别注意。
1. 上線驗證
一定一定一定要确認，是不是真的上線了。這一點特别重要！
2. 資料跟蹤
在測試前就要做好相關的資訊收集和事件埋點工作，隻有資料跟蹤準備充足，拿到了資料，才能得出一個準确的測試結果。
3. 修改點的控制
并不是所有的修改都要進行測試，也并不是一次測試就要把所有的點全修改了拿過來測。一般情況下，修改的點越少，測試的結果越準确。
如果一次修改中修改了幾個互相關聯的點，那麼在測試的資料分析中需要格外的慎重，不可輕易下結論。
4. 效果不好怎麼辦
上線之前要給測試“留後路”，要提前準備好撤回或者回退的機制。不過，這并不是說有一點風吹草動就要取消測試了，每次測試盡量觀測完整的周期，這個周期長度需要在測試前就确認好，可以是一周或者兩周。
産品營運的主體階段基本就已經結束了，剩下最後的内容就是複盤了，下一篇具體說明一下，産品營運方案上線之後的複盤工作。
作者：吳桐，公衆号：二喵的蠢奴才
本文由 @吳桐 原創釋出于人人都是産品經理。未經作者許可，禁止轉載。
題圖來自Unsplash，基于CC0協定。
該文觀點僅代表作者本人，人人都是産品經理平台僅提供資訊存儲空間服務。