AB Testing在軟體工程領域是一個耳熟能詳的詞，大家都知道AB Test的重要性。當産品經理提出的需求不合裡（太難做）時，程式員們心理總是os，你怎麼知道客戶到底要什麼，不也是拍腦袋想的嗎，這時候我們可能會提出另一種作法，并要求他（她）去做一個AB Test來驗證哪一個作法更好。
但是，大家可能不知道，要做一個成功的AB Test實驗，它背後的成本是非常巨大的。首先，你必須做許多的分析，了解使用者習慣與需求，然後做出合理的假設并決定變數（variation），接著，需要工程部門協助将AB Test進行實作并采集相關資料，有了資料之後，産品經理需要根據假設建立模型來驗證假設，不斷疊代最後獲得一個結論。這個成本在B2B中尤其龐大，影響因素非常的多，包含取樣率、使用者特性等，這也使得許多B2B領域的産品經理對AB Test望而怯步。
那麼，到底在B2B領域中要不要做AB Test呢？本篇大哉問就要帶大家來探讨下這個問題了！
什麼是AB Test
在開始大哉問之前，想先跟大家科普一下何謂AB Test，也讓我們在後續讨論時能有更多的共鳴。
AB Test是一種以統計為導向的測試方法，在一個頁面中，針對某一場景進行兩種或以上的假設，并在同一時間内對不同的使用者進行測試，以觀察使用者的反應。
AB Test通常包含以下的流程：
首先，在進行AB測試之前，産品經理需要先針對場景進行研究，并建立假說。接著，從假說當中歸納出變數，來決定實驗如何進行，有了這些前置步驟後，就能進入到真正的測試環節，将兩種假說實作到産品當中并投放給不同的人群進行使用以蒐集資料。最後，産品經理需要針對這些回報資料進行分析，以獲得實驗結果并确立方案。
我們用幾個真實的案例來描述一個AB Test是如何進行的。
真實案例：form表單設計
第一個案例是某雲計算産品相關公司的報價單産生系統。産品經理在設計階段調研了自家産品目前使用者的報價習慣與流量，歸納出了A與B兩種報價單的設計假說。其中A版本是一份詳細的報價單，裡面涉及了詳細的配置與規格，設計上給人一種專業感，沒有過多的點綴。B版本是一份看起來比較平易近人的報價單，需要填寫的資料相對較少。這兩種設計分别表示了兩種假設，第一種假設是一份詳細的報價單能凸顯專業度，使使用者相信專業并願意來填寫報價單，另一個則假設簡單的填寫表格能讓使用者更有意願來填寫。在變數上，包含了填寫的難易程度、美觀性、送出按鈕的顯易程度等等。
經過假說與變量控制後，最後落地的就是上圖兩個版本的表單，産品經理分别在同一時間對不同使用者投放并蒐集資料。經過持續觀察語分析，最後B表單勝出，流量差距高達385%。證明了平易近人的表單設計更受使用者喜愛。
真實案例：DHL折扣廣告
第二個案例是國際知名快遞公司DHL的折扣廣告。産品經理在設計廣告時設立了兩個假說，女性的廣告代言人更加吸引群眾的目光，以及，男性的廣告代言人更加吸引群眾的目光。是以，這裡的變量就很明顯，角色的性别對流量的影響。經過投放測試後發現，女性的廣告代言人更加的吸引人，轉化率比男性代言人高了8個百分比，說明對群眾來說，女性代言人更具親和力且更願意點選購買，是不是很有趣？
可以把B2C領域的經驗直接套用到B2B領域嗎？
答案是不行的，兩個領域特性相差太大。如同前面所說的，一個成功的AB Test大概會經曆幾個階段。包含研究、建立假說、建立與執行實驗、評估結果并驗證假說等。
在實驗過程中，實驗結果通常有兩種可能，第一是實驗結果具有強有力的統計論證以證明假說的正确性，二是實驗結果不具有足以證明假說的證據（在AB Test中這很常發生）。如果你的實驗具有強有力的證據支撐每一個假說并且實驗的過程是很快的，那麼這樣的AB Test将會非常有效率。在B2C場景中，假說相對容易形成，因為資料量大，所蒐集的資料具備統計意義，更友善産品經理形成假說，也是以做AB Test相對來說更有效率。然而，在B2B領域中就不是這麼一回事了。因為B2B的客戶面相的是公司，在取樣率上遠遠比不上C端使用者，這也導緻B2B領域的統計特性薄弱，假說也相對難以形成。
另一個不行的原因在于流量。在B2C領域中，流量與收益常常是成正比關系，越多的流量就能帶來越多的收益，是以在進行變量控制時，流量總是會随機地配置設定到一個或數個變量當中。然而，在B2B領域中，流量不全然正比于收益，通路B2B網站的使用者中，可能很大一部分是遊客，他們可能是透過廣告或搜尋進到網頁當中進行調研。他們并不會花錢，因為他們可能隻是企業員工的一員，沒有決定采購的權力。這使得許多在B2C領域中已經耳熟能詳的決策模型變得毫無用武之地。
AB Test在B2B領域中的挑戰
B2B領域的産品經理們現在面臨了三個AB Test的挑戰：- 難以制定最佳的KPI名額
- 需要大量的資源來進行AB Test
- 需要很長的時間才能得到結果
1. 難以制定最佳的KPI名額
在B2B場景中，我們所關注并且希望達到的結果往往是收入。理想上，我們在做實驗時，應以收入為主要考量因子。在實際場景中，許多的B2B産品經理會将目标細化成使用潛在客戶的轉化率（如中長尾客戶）、管道機會（如客戶合作等）與市場影響收入（如産品市場占有額）等評估目标，在SaaS中，可能會以LTV（生命周期總價值）作為主要的衡量名額。
如果你沒辦法測量這些名額，那就意味著你沒辦法最佳化它。現在市面上大多數的AB Test工具都是針B2C場景，這意味著你沒辦法直接套用這些工具，因為他們所使用的量測名額沒辦法滿足B2B的場景。
2. 需要大量的資源來進行AB Test
假設我們要做一場最節省成本的AB Test實驗，那我們至少需要UED相關的設計師、前端開發工程師與資料分析工程師投入到這場實驗當中。投入的時間也不是短暫的（一兩個禮拜），因為一場成功的實驗，必須長時間的觀察以擷取有效的樣本數及避免落入「錯誤測試」當中。在B2C領域中，測試的時間相對較短，因為樣本數可以很容易地被滿足，同時取樣本身基本符合常态分布。但在B2B領域中測試的時間相對會被拉長，除了樣本數的原因外，另一個重要因素是取樣偏差，因為在B2B領域中可能大多數的流量皆是訪客，隻有少部分人能成為真正帶來收益的使用者。是以，同樣的人力資源在B2B的實驗場中需要停留的時間就更久，需要分析的資料也更加複雜且可能無意義。
3. 需要很長的時間才能得到結果
如同2中所述，在B2B領域中因為樣本數不足與樣本偏差問題，會導緻整體實驗時間被拉長。然而，耗費的時間可能還不止于此。一般來說，AB Test是一個周期性并且疊代的一個過程，因為我們需要根據實驗的結果來修正假說或重新定義變數，這會使得本來花費時間就長的實驗變本加厲。也是以要獲得結果的時間會比B2C領域長的更多。
那B2B領域還需要做AB Test嗎？
看了上面那麼多的挑戰，我們還需要在B2B領域中做AB Test嗎？我的答案是肯定的。因為AB Test所能帶來的收益也是巨大的。我認為的優點：
1. AB Test可以幫助B2B産品更好的獲得業務回報B2B産品雖然在使用者體系上與B2C産品截然不同（客戶不一定是使用者），然而，我們依然可以透過服務好使用者來影響客戶的方式，來間接的增加收益。是以，怎麼從AB Test當中擷取使用者的回報來改進産品是很重要的。2. AB Test可以幫助B2B産品增加流量
流量雖然在B2B産品中不是主要的衡量名額（因為與收益不一定成正比），然而，它的邊際效益卻能間接的達成收益的目的。例如上面所提到的市場影響收入、管道機會等等。是以，透過AB Test，我們可以更好地改善産品來提升流量以達成收益的目的。3. AB Test可以幫助B2B産品更好的探索市場
有時候，我們會有許多的新需求與新想法，但我們卻不知道市場能不能接受它，這時候就能發揮AB Test真正的價值。4. AB Test可以幫助B2B産品更好地增進使用者體驗
如上所述，使用者與客戶雖然在B2B場景中不是同一個人，但是有時候我們可以透過服務好使用者來進階的影響客戶決策。例如在Dataworks産品中，良好的一個編輯體驗與産品流程可以增加使用者的工作效率，并間接的影響客戶對Dataworks産品的評價。5. AB Test可以幫助B2B産品漸進的來疊代産品
透過AB Test，我們可以了解使用者對新功能或新版本的回報，進而增進産品進行優化與疊代。
雖然在B2B領域中AB Test的成本相對來說高很多，但它的優勢卻是無法取代的！
怎麼用正确的方式在B2B領域中做AB Test？
這裡總結了幾個在B2B領域中做AB Test的一些技巧。
1. 應該将重點放在大的變化上而不是小的細節中
為什麼将重點放在大的變化上？一般來說，AB Test是一種統計學的實驗方式，并且像其他的統計實驗一樣，它的可信度取決于樣本數的多寡。什麼叫做足夠的樣本數取決于以下三個因素：
- 基礎轉化率
- 欲達到的轉化率提升情況
- 信賴區間
一般情況下，我們在做AB Test時會以95%來做為信賴區間，這也意味著有5%的情況會發生例外的情況。這也表示，當我們有足夠多的樣本數時，例外發生的可能性也越低。
根據一份報告指出，若我們希望在2%的基礎轉化率下再增加10%，那我們至少需要39488份樣本數才能達到95%的信賴區間; 同樣地，若我們希望在2%的基礎轉化率上再增加50%，則隻需要1871個樣本數就能達到95%信賴區間。這之間差了21倍的樣本數。是以，
越大的轉化率提升可以減少所需要的樣本數。
因為這些原因，B2B産品應該考慮在一些大的改變上進行AB Test，而不是一些小的改動，例如按鈕的顔色變化、或是增加一段注釋文字等。
例如上圖，根據AB 測試，版本B的轉化率提升了整整1.07倍，像這樣的測試基本上不需要太多的樣本數就能夠達到統計學上的意義。
2. 從個性化開始
「大的變化」的其中關鍵一點是從買家個性化訂制開始。
多數的B2B網站應該為不同的買方提供一些個性化訂制的次元。一般AB Test的變數考量可以從端客戶、領域别或是商業模式來著手。
舉個例子，在某一個專業軟體網站中便用了個性化試驗。試驗中他們使用考量了三個主要的領域客戶：醫療、教育與金融。在分桶上，有50%的使用者配置設定到了個性化頁面，另外50%的使用者則維持原來标準的頁面。最後實驗發現：
- 透過個性化推薦的方式使業務增長了7%
- 個性化推薦的首頁增加了30%的點選率
- 個性化推薦的頁面增加了10%的PV
- 周期同比增加了4%的業績
個性化訂制的收益不言而喻。
3. 用正确的工具做正确的事
在選擇工具時，我們應該正視到一點，我們做的是B2B業務而非B2C業務。若依然按照B2C的方式來做測試
隻會徒勞無功。
現今市面上許多的AB Test産品多半面向的是B2C的場景。雖然測試的方法與理論并無差别，但在實驗變量與衡量實驗結果的方法上卻天差地别，造成這個情況的主要原因有：
- 實驗樣本數的差異
- 實驗周期長短的差異
- 實驗結果解讀的差異
在B2B當中，因為天生的樣本數劣勢，導緻我們做起事來礙手礙腳的。為了彌補短版，我們應該選擇一個合适的工具，這個工具能夠提供我們合适的算法來解讀實驗結果，例如一些不需要大量樣本數的統計學方法。另外，能夠為B2B場景提供更多的實驗變數。
結語
AB Test在B2B場景中雖然充滿挑戰，但我認為仍有做的必要，因為它帶來的效益是沒有其他方法能夠取代的。為了更舒适的在B2B場景中進行AB Test，我們應該将重點放在大的變化上，使測試結果更具意義且節省成本開銷，此外，我們應該從個性化開始，為不同的客戶「定制化」他的網頁。最後，我們應該選用正确的工具來進行AB Test。
參考文獻
- B2B marketers should stop A/B testing in 2018 ( https://www.funnelenvy.com/blog/b2b-marketers-stop-b-testing-2018/ )
- 7 Reasons that make A/B testing important for B2B ( https://www.mockingfish.com/blog/7-reasons-that-make-ab-t...rtant-for-b2b-sites/
- How to approach A/B testing & CRO for a B2B website ( https://scandiweb.com/blog/ui-ab-testing-for-conversion-optimisation
- A/B Testing: what B2B business need to do differently ( https://paymotion.com/ecommerce-blog/a-b-testing-what-b2b-businesses-need-to-do-differently/
- A/B Tests for B2B which Results That Surprise You ( https://oroinc.com/orocrm/blog/9-ab-testing-for-b2b-with-results-that-will-surprise-you/
- Why A/B Testing is Falling Short for B2B ? ( http://www.aioptify.com/ab-tetsing-b2b.php
- A/B Split Testing for B2B: Everything You Need to Know ( https://www.bizprospex.com/a-b-split-testing-for-b2b-everything-you-need-to-know/