AB Testing在軟體工程領域是一個耳熟能詳?shù)脑~，大家都知道AB Test的重要性。當產品經理提出的需求不合里（太難做）時，程序員們心理總是os，你怎么知道客戶到底要什么，不也是拍腦袋想的嗎，這時候我們可能會提出另一種作法，并要求他（她）去做一個AB Test來驗證哪一個作法更好。
但是，大家可能不知道，要做一個成功的AB Test實驗，它背后的成本是非常巨大的。首先，你必須做許多的分析，了解用戶習慣與需求，然后做出合理的假設并決定變數(shù)（variation），接著，需要工程部門協(xié)助將AB Test進行實作并采集相關數(shù)據，有了數(shù)據之后，產品經理需要根據假設建立模型來驗證假設，不斷迭代最后獲得一個結論。這個成本在B2B中尤其龐大，影響因素非常的多，包含取樣率、用戶特性等，這也使得許多B2B領域的產品經理對AB Test望而怯步。
那么，到底在B2B領域中要不要做AB Test呢？本篇大哉問就要帶大家來探討下這個問題了！

什么是AB Test

在開始大哉問之前，想先跟大家科普一下何謂AB Test，也讓我們在后續(xù)討論時能有更多的共鳴。
AB Test是一種以統(tǒng)計為導向的測試方法，在一個頁面中，針對某一場景進行兩種或以上的假設，并在同一時間內對不同的用戶進行測試，以觀察用戶的反應。

AB Test通常包含以下的流程：

首先，在進行AB測試之前，產品經理需要先針對場景進行研究，并建立假說。接著，從假說當中歸納出變數(shù)，來決定實驗如何進行，有了這些前置步驟后，就能進入到真正的測試環(huán)節(jié)，將兩種假說實現(xiàn)到產品當中并投放給不同的人群進行使用以蒐集數(shù)據。最后，產品經理需要針對這些反饋數(shù)據進行分析，以獲得實驗結果并確立方案。
我們用幾個真實的案例來描述一個AB Test是如何進行的。

真實案例：form表單設計

第一個案例是某云計算產品相關公司的報價單產生系統(tǒng)。產品經理在設計階段調研了自家產品目前用戶的報價習慣與流量，歸納出了A與B兩種報價單的設計假說。其中A版本是一份詳細的報價單，里面涉及了詳細的配置與規(guī)格，設計上給人一種專業(yè)感，沒有過多的點綴。B版本是一份看起來比較平易近人的報價單，需要填寫的資料相對較少。這兩種設計分別表示了兩種假設，第一種假設是一份詳細的報價單能凸顯專業(yè)度，使用戶相信專業(yè)并愿意來填寫報價單，另一個則假設簡單的填寫表格能讓用戶更有意愿來填寫。在變數(shù)上，包含了填寫的難易程度、美觀性、提交按鈕的顯易程度等等。
經過假說與變量控制后，最后落地的就是上圖兩個版本的表單，產品經理分別在同一時間對不同用戶投放并蒐集數(shù)據。經過持續(xù)觀察語分析，最后B表單勝出，流量差距高達385%。證明了平易近人的表單設計更受用戶喜愛。

真實案例：DHL折扣廣告

第二個案例是國際知名快遞公司DHL的折扣廣告。產品經理在設計廣告時設立了兩個假說，女性的廣告代言人更加吸引民眾的目光，以及，男性的廣告代言人更加吸引民眾的目光。因此，這里的變量就很明顯，角色的性別對流量的影響。經過投放測試后發(fā)現(xiàn)，女性的廣告代言人更加的吸引人，轉化率比男性代言人高了8個百分比，說明對民眾來說，女性代言人更具親和力且更愿意點擊購買，是不是很有趣？

可以把B2C領域的經驗直接套用到B2B領域嗎？

答案是不行的，兩個領域特性相差太大。如同前面所說的，一個成功的AB Test大概會經歷幾個階段。包含研究、建立假說、建立與執(zhí)行實驗、評估結果并驗證假說等。

在實驗過程中，實驗結果通常有兩種可能，第一是實驗結果具有強有力的統(tǒng)計論證以證明假說的正確性，二是實驗結果不具有足以證明假說的證據（在AB Test中這很常發(fā)生）。如果你的實驗具有強有力的證據支撐每一個假說并且實驗的過程是很快的，那么這樣的AB Test將會非常有效率。在B2C場景中，假說相對容易形成，因為數(shù)據量大，所蒐集的數(shù)據具備統(tǒng)計意義，更方便產品經理形成假說，也因此做AB Test相對來說更有效率。然而，在B2B領域中就不是這么一回事了。因為B2B的客戶面相的是公司，在取樣率上遠遠比不上C端用戶，這也導致B2B領域的統(tǒng)計特性薄弱，假說也相對難以形成。
另一個不行的原因在于流量。在B2C領域中，流量與收益常常是成正比關系，越多的流量就能帶來越多的收益，因此在進行變量控制時，流量總是會隨機地分配到一個或數(shù)個變量當中。然而，在B2B領域中，流量不全然正比于收益，訪問B2B網站的用戶中，可能很大一部分是游客，他們可能是透過廣告或搜索進到網頁當中進行調研。他們并不會花錢，因為他們可能只是企業(yè)員工的一員，沒有決定采購的權力。這使得許多在B2C領域中已經耳熟能詳?shù)臎Q策模型變得毫無用武之地。

AB Test在B2B領域中的挑戰(zhàn)

B2B領域的產品經理們現(xiàn)在面臨了三個AB Test的挑戰(zhàn)：

難以制定最佳的KPI指標

需要大量的資源來進行AB Test

需要很長的時間才能得到結果

1. 難以制定最佳的KPI指標

在B2B場景中，我們所關注并且希望達到的結果往往是收入。理想上，我們在做實驗時，應以收入為主要考量因子。在實際場景中，許多的B2B產品經理會將目標細化成使用潛在客戶的轉化率（如中長尾客戶）、渠道機會（如客戶合作等）與市場影響收入（如產品市場占有額）等評估目標，在SaaS中，可能會以LTV（生命周期總價值）作為主要的衡量指標。?
如果你沒辦法測量這些指標，那就意味著你沒辦法最佳化它。現(xiàn)在市面上大多數(shù)的AB Test工具都是針B2C場景，這意味著你沒辦法直接套用這些工具，因為他們所使用的量測指標沒辦法滿足B2B的場景。

2. 需要大量的資源來進行AB Test

假設我們要做一場最節(jié)省成本的AB Test實驗，那我們至少需要UED相關的設計師、前端開發(fā)工程師與數(shù)據分析工程師投入到這場實驗當中。投入的時間也不是短暫的（一兩個禮拜），因為一場成功的實驗，必須長時間的觀察以獲取有效的樣本數(shù)及避免落入「錯誤測試」當中。在B2C領域中，測試的時間相對較短，因為樣本數(shù)可以很容易地被滿足，同時取樣本身基本符合常態(tài)分布。但在B2B領域中測試的時間相對會被拉長，除了樣本數(shù)的原因外，另一個重要因素是取樣偏差，因為在B2B領域中可能大多數(shù)的流量皆是訪客，只有少部分人能成為真正帶來收益的用戶。因此，同樣的人力資源在B2B的實驗場中需要停留的時間就更久，需要分析的數(shù)據也更加復雜且可能無意義。

3. 需要很長的時間才能得到結果

如同2中所述，在B2B領域中因為樣本數(shù)不足與樣本偏差問題，會導致整體實驗時間被拉長。然而，耗費的時間可能還不止于此。一般來說，AB Test是一個周期性并且迭代的一個過程，因為我們需要根據實驗的結果來修正假說或重新定義變數(shù)，這會使得本來花費時間就長的實驗變本加厲。也因此要獲得結果的時間會比B2C領域長的更多。

那B2B領域還需要做AB Test嗎？

看了上面那么多的挑戰(zhàn)，我們還需要在B2B領域中做AB Test嗎？我的答案是肯定的。因為AB Test所能帶來的收益也是巨大的。我認為的優(yōu)點：

1. AB Test可以幫助B2B產品更好的獲得業(yè)務反饋

B2B產品雖然在用戶體系上與B2C產品截然不同（客戶不一定是用戶），然而，我們依然可以透過服務好用戶來影響客戶的方式，來間接的增加收益。因此，怎么從AB Test當中獲取用戶的反饋來改進產品是很重要的。

2. AB Test可以幫助B2B產品增加流量

流量雖然在B2B產品中不是主要的衡量指標（因為與收益不一定成正比），然而，它的邊際效益卻能間接的達成收益的目的。例如上面所提到的市場影響收入、渠道機會等等。因此，透過AB Test，我們可以更好地改善產品來提升流量以達成收益的目的。

3. AB Test可以幫助B2B產品更好的探索市場

有時候，我們會有許多的新需求與新想法，但我們卻不知道市場能不能接受它，這時候就能發(fā)揮AB Test真正的價值。

4. AB Test可以幫助B2B產品更好地增進用戶體驗

如上所述，用戶與客戶雖然在B2B場景中不是同一個人，但是有時候我們可以透過服務好用戶來進階的影響客戶決策。例如在Dataworks產品中，良好的一個編輯體驗與產品流程可以增加用戶的工作效率，并間接的影響客戶對Dataworks產品的評價。

5. AB Test可以幫助B2B產品漸進的來迭代產品

透過AB Test，我們可以了解用戶對新功能或新版本的反饋，進而增進產品進行優(yōu)化與迭代。

?

雖然在B2B領域中AB Test的成本相對來說高很多，但它的優(yōu)勢卻是無法取代的！

怎么用正確的方式在B2B領域中做AB Test？

這里總結了幾個在B2B領域中做AB Test的一些技巧。

1. 應該將重點放在大的變化上而不是小的細節(jié)中

為什么將重點放在大的變化上？一般來說，AB Test是一種統(tǒng)計學的實驗方式，并且像其他的統(tǒng)計實驗一樣，它的可信度取決于樣本數(shù)的多寡。什么叫做足夠的樣本數(shù)取決于以下三個因素：

• 基礎轉化率
• 欲達到的轉化率提升情況
• 信賴區(qū)間

一般情況下，我們在做AB Test時會以95%來做為信賴區(qū)間，這也意味著有5%的情況會發(fā)生例外的情況。這也表示，當我們有足夠多的樣本數(shù)時，例外發(fā)生的可能性也越低。
根據一份報告指出，若我們希望在2%的基礎轉化率下再增加10%，那我們至少需要39488份樣本數(shù)才能達到95%的信賴區(qū)間; 同樣地，若我們希望在2%的基礎轉化率上再增加50%，則只需要1871個樣本數(shù)就能達到95%信賴區(qū)間。這之間差了21倍的樣本數(shù)。因此，越大的轉化率提升可以減少所需要的樣本數(shù)。

因為這些原因，B2B產品應該考慮在一些大的改變上進行AB Test，而不是一些小的改動，例如按鈕的顏色變化、或是增加一段注釋文字等。

例如上圖，根據AB 測試，版本B的轉化率提升了整整1.07倍，像這樣的測試基本上不需要太多的樣本數(shù)就能夠達到統(tǒng)計學上的意義。

2. 從個性化開始

「大的變化」的其中關鍵一點是從買家個性化訂制開始。
多數(shù)的B2B網站應該為不同的買方提供一些個性化訂制的維度。一般AB Test的變數(shù)考量可以從端客戶、領域別或是商業(yè)模式來著手。
舉個例子，在某一個專業(yè)軟件網站中便用了個性化試驗。試驗中他們使用考量了三個主要的領域客戶：醫(yī)療、教育與金融。在分桶上，有50%的用戶分配到了個性化頁面，另外50%的用戶則維持原來標準的頁面。最后實驗發(fā)現(xiàn)：

• 透過個性化推薦的方式使業(yè)務增長了7%
• 個性化推薦的首頁增加了30%的點擊率
• 個性化推薦的頁面增加了10%的PV
• 周期同比增加了4%的業(yè)績

個性化訂制的收益不言而喻。

3. 用正確的工具做正確的事

在選擇工具時，我們應該正視到一點，我們做的是B2B業(yè)務而非B2C業(yè)務。若依然按照B2C的方式來做測試
只會徒勞無功。
現(xiàn)今市面上許多的AB Test產品多半面向的是B2C的場景。雖然測試的方法與理論并無差別，但在實驗變量與衡量實驗結果的方法上卻天差地別，造成這個情況的主要原因有：

• 實驗樣本數(shù)的差異
• 實驗周期長短的差異
• 實驗結果解讀的差異

在B2B當中，因為天生的樣本數(shù)劣勢，導致我們做起事來礙手礙腳的。為了彌補短版，我們應該選擇一個合適的工具，這個工具能夠提供我們合適的算法來解讀實驗結果，例如一些不需要大量樣本數(shù)的統(tǒng)計學方法。另外，能夠為B2B場景提供更多的實驗變數(shù)。

結語

AB Test在B2B場景中雖然充滿挑戰(zhàn)，但我認為仍有做的必要，因為它帶來的效益是沒有其他方法能夠取代的。為了更舒適的在B2B場景中進行AB Test，我們應該將重點放在大的變化上，使測試結果更具意義且節(jié)省成本開銷，此外，我們應該從個性化開始，為不同的客戶「定制化」他的網頁。最后，我們應該選用正確的工具來進行AB Test。

?

原文鏈接
本文為阿里云原創(chuàng)內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的2020-08-24的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。