點(diǎn)擊▲關(guān)注 “中生代技術(shù)”? ?給公眾號標(biāo)星置頂

更多精彩技術(shù)內(nèi)容 第一時間直達(dá)

2019年5月6日，美團(tuán)正式推出新品牌“美團(tuán)配送”，發(fā)布了美團(tuán)配送新愿景：“每天完成一億次值得信賴的配送服務(wù)，成為不可或缺的生活基礎(chǔ)設(shè)施。”現(xiàn)在，美團(tuán)配送已經(jīng)服務(wù)于全國400多萬商家和4億多用戶，覆蓋2800余座市縣，日活躍騎手超過70萬人，成為全球領(lǐng)先的分鐘級配送網(wǎng)絡(luò)。

本文從評估體系建設(shè)的原因開始入手，重點(diǎn)闡述了美團(tuán)配送技術(shù)團(tuán)隊(duì)在A/B評估體系構(gòu)建過程中的一些思考和具體的實(shí)踐，包括如何建立完備的指標(biāo)體系、如何建立科學(xué)權(quán)威的評估方式等等。希望能夠給大家一些啟發(fā)和幫助。

即時配送的三要素是“效率”、“成本”、“體驗(yàn)”，通過精細(xì)化的策略迭代來提升效率，降低成本，提高體驗(yàn)，不斷地擴(kuò)大規(guī)模優(yōu)勢，從而實(shí)現(xiàn)正向循環(huán)。但是，策略的改變，不是由我們隨便“拍腦袋”得出，而是一種建立在數(shù)據(jù)基礎(chǔ)上的思維方式，數(shù)據(jù)反饋會告訴我們做的好不好，哪里有問題，以及衡量可以帶來多少確定性的增長。

而A/B實(shí)驗(yàn)就是精細(xì)化迭代的一個“利器”，通過為同一個迭代目標(biāo)制定兩個或多個版本的方案，在同一時間維度，讓組成成分相同（或相似）的A/B群組分別采用這些版本，然后收集各群組的體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好的版本，幫助我們作出正確的決策，使迭代朝著更好的方向去演進(jìn)。基于此，構(gòu)建一個適用于配送業(yè)務(wù)的A/B平臺就應(yīng)運(yùn)而生了。

1. A/B平臺簡介

如上圖所示，A/B實(shí)驗(yàn)可以看作一個“無盡”的學(xué)習(xí)環(huán)，我們通過提出假設(shè)、定義成功指標(biāo)、檢驗(yàn)假設(shè)（A/B實(shí)驗(yàn)）、分析學(xué)習(xí)、發(fā)布、建立另一個假設(shè)，這就形成一個完整的閉環(huán)，通過多輪實(shí)驗(yàn)迭代，使策略趨于更優(yōu)。基于上述對A/B實(shí)驗(yàn)劃分的5個步驟，我們將A/B實(shí)驗(yàn)的完整生命周期分為三個階段：

• 實(shí)驗(yàn)前，提出該實(shí)驗(yàn)假設(shè)，定義實(shí)驗(yàn)成功的指標(biāo)，確定分流策略；
  

• 實(shí)驗(yàn)中，即驗(yàn)證假設(shè)的階段，根據(jù)配置階段的分流策略進(jìn)行分流和埋點(diǎn)上報；
  

• 實(shí)驗(yàn)后，進(jìn)行實(shí)驗(yàn)分析與學(xué)習(xí)，并基于實(shí)驗(yàn)報告決定是否發(fā)布。

按照功能劃分，我們將A/B平臺分為三個模塊，實(shí)驗(yàn)配置管理模塊、分流以及埋點(diǎn)上報模塊和在線分析模塊，分別對應(yīng)于A/B實(shí)驗(yàn)生命周期的實(shí)驗(yàn)前、實(shí)驗(yàn)中和實(shí)驗(yàn)后三個階段。

在實(shí)驗(yàn)配置模塊，用戶可以基于實(shí)驗(yàn)前提出的假設(shè)、定義的成功指標(biāo)快速創(chuàng)建實(shí)驗(yàn)，并基于特定的分流策略完成分流配置；分流以及埋點(diǎn)上報模塊，提供JAR包接入的形式，異步獲取實(shí)驗(yàn)配置進(jìn)行本地分流計算和埋點(diǎn)上報；在線分析模塊，依據(jù)用戶在實(shí)驗(yàn)配置管理模塊選取的用于說明實(shí)驗(yàn)效果的指標(biāo)、分流埋點(diǎn)上報模塊記錄的日志，自動地產(chǎn)生各實(shí)驗(yàn)的實(shí)驗(yàn)報告，供實(shí)驗(yàn)觀察者使用，然后根據(jù)實(shí)驗(yàn)效果幫助他們作出正確的決策。具體流程如下圖所示：

2. 為什么要強(qiáng)調(diào)評估體系建設(shè)

2.1 分流業(yè)務(wù)場景需要

業(yè)界的A/B平臺建設(shè)基本以《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》這篇論文為藍(lán)本進(jìn)行展開， 引入分層模型以及在分流算法中加入層編號因子來解決“流量饑餓”和“正交”問題，并且通過引入域的概念，支持域和層之間的相互嵌套，使分層實(shí)驗(yàn)?zāi)Ｐ透屿`活，進(jìn)而滿足多種場景下的A/B訴求。如下圖所示，將流量通過Hash取模的方式即可實(shí)現(xiàn)流量的均勻劃分。

這種是面向C端用戶進(jìn)行流量選擇的傳統(tǒng)A/B實(shí)驗(yàn)，采用上述的分流方式基于這樣的假設(shè)：參與實(shí)驗(yàn)的流量因子是相互獨(dú)立的、隨機(jī)的，服從獨(dú)立同分布。但是，配送業(yè)務(wù)場景下的A/B實(shí)驗(yàn)，涉及到用戶、騎手、商家三端，請求不獨(dú)立，策略之間相互影響并且受線下因素影響較大。

傳統(tǒng)A/B實(shí)驗(yàn)的分流方式，無法保證分出的兩個群組實(shí)驗(yàn)組和對照組的流量都是無差別的，無法避免因流量分配不平衡而導(dǎo)致的A/B群組差異過大問題，很容易造成對實(shí)驗(yàn)結(jié)果的誤判。為滿足不同業(yè)務(wù)場景的訴求，我們的A/B平臺建設(shè)采取了多種分流策略，如下圖所示：

針對策略之間的相互影響、請求不獨(dú)立場景下的A/B實(shí)驗(yàn)，我們采取限流準(zhǔn)入的分流方式，針對不同的實(shí)驗(yàn)，選取不同的分流因子。在實(shí)驗(yàn)前，我們通過AA分組，找出無差別的實(shí)驗(yàn)組和對照組，作為我們實(shí)驗(yàn)分流配置的依據(jù)，這種分流方式要求我們要有一套完整刻畫流量因子的指標(biāo)體系，只要刻畫流量因子的指標(biāo)間無統(tǒng)計顯著性，我們就認(rèn)為分出的實(shí)驗(yàn)組和對照組無差別。

2.2 業(yè)務(wù)決策的重要依據(jù)

在實(shí)驗(yàn)后的效果評估環(huán)節(jié)，通常允許實(shí)驗(yàn)者用自定義的指標(biāo)來衡量不同策略帶來的影響。但這樣做會帶來如下兩個問題：

• 首先，由實(shí)驗(yàn)者來負(fù)責(zé)實(shí)驗(yàn)效果的評估，很難做到客觀。同時也無法避免實(shí)驗(yàn)者僅僅選擇支持自己假設(shè)的指標(biāo)，來證明自己的實(shí)驗(yàn)結(jié)論；
  

• 其次，所有的策略迭代都是為業(yè)務(wù)服務(wù)，如果實(shí)驗(yàn)者用自定義的、與業(yè)務(wù)認(rèn)知不一致的指標(biāo)，來說明實(shí)驗(yàn)效果、推動業(yè)務(wù)灰度，這種方式往往難以被采納。

因此，權(quán)威的評估體系對于對齊大家認(rèn)知，并幫助我們在策略迭代方面作出正確的決策，尤為重要。

3. A/B評估體系構(gòu)建

A/B評估體系的構(gòu)建，要解決A/B平臺兩個核心問題：第一，要有一套用于刻畫流量因子（區(qū)域、騎手、商家）的權(quán)威的、完備的指標(biāo)體系，幫助實(shí)驗(yàn)者完成實(shí)驗(yàn)前的AA分組和實(shí)驗(yàn)后的效果評估；第二，要建立一套科學(xué)的評估方法，幫助實(shí)驗(yàn)者作出正確的決策。

3.1 權(quán)威完備的指標(biāo)體系

指標(biāo)的權(quán)威性體現(xiàn)在：刻畫分流因子，用于實(shí)驗(yàn)前AA分組和證明實(shí)驗(yàn)假設(shè)的指標(biāo)，必須經(jīng)過治理且業(yè)務(wù)認(rèn)知一致，這樣才能對齊認(rèn)知，使得實(shí)驗(yàn)結(jié)果更具說服力；指標(biāo)的完備性體現(xiàn)在：評估體系中的指標(biāo)，不僅要有經(jīng)過第三方獨(dú)立生產(chǎn)治理且各業(yè)務(wù)方認(rèn)知一致的治理指標(biāo)，而且還要有實(shí)驗(yàn)者為了更全面的分析，描述實(shí)驗(yàn)過程，自定義的探索指標(biāo)。

整體架構(gòu)

治理指標(biāo)強(qiáng)調(diào)的是指標(biāo)的權(quán)威性和生產(chǎn)的規(guī)范性，而探索性指標(biāo)強(qiáng)調(diào)的是指標(biāo)的多樣性和生產(chǎn)的靈活性。在評估體系中要實(shí)現(xiàn)這兩類指標(biāo)的統(tǒng)一，既要包含用于說明實(shí)驗(yàn)效果的治理指標(biāo)，又要包含幫助實(shí)驗(yàn)者更好迭代實(shí)驗(yàn)所需的探索指標(biāo)。

為實(shí)現(xiàn)上述的統(tǒng)一，指標(biāo)層面要有分級運(yùn)營的策略：治理指標(biāo)按照業(yè)務(wù)認(rèn)知一致性和算法內(nèi)部認(rèn)知一致性分別定級為P0、P1，這一類指標(biāo)在生產(chǎn)前必須要有嚴(yán)格的注冊、評審，生產(chǎn)環(huán)節(jié)需要交給獨(dú)立的第三方團(tuán)隊(duì)（數(shù)據(jù)團(tuán)隊(duì)）生產(chǎn)，保證指標(biāo)的權(quán)威性，產(chǎn)出后打通指標(biāo)與字段的映射關(guān)系，對用戶屏蔽底層實(shí)現(xiàn)邏輯；對于探索性指標(biāo)，定級為P2，強(qiáng)調(diào)的是生產(chǎn)的靈活性和快速實(shí)現(xiàn)，因此，它的生產(chǎn)就不宜帶有指標(biāo)注冊和評審等環(huán)節(jié)。

為保證其快速實(shí)現(xiàn)，希望基于物理表和簡單的算子配置就可以實(shí)現(xiàn)效果分析時即席查詢使用。基于如上的問題拆解，我們進(jìn)行了如下的架構(gòu)設(shè)計：

數(shù)據(jù)集成

為了支持監(jiān)控和分析，在數(shù)據(jù)集成環(huán)節(jié)，我們集成了實(shí)驗(yàn)配置數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)和染色數(shù)據(jù)，以便實(shí)驗(yàn)者在效果評估環(huán)節(jié)不僅可以查看流量指標(biāo)（PV、UV和轉(zhuǎn)化率），也可以深入探索策略變動對業(yè)務(wù)帶來的影響。

對于那些在實(shí)驗(yàn)配置環(huán)節(jié)不能確定流量是否真正參加實(shí)驗(yàn)的場景（例如：選擇了特定區(qū)域進(jìn)行實(shí)驗(yàn)，該區(qū)域產(chǎn)生的單只有滿足特定條件時才能觸發(fā)實(shí)驗(yàn)），我們不能直接通過限制確定的區(qū)域來查看業(yè)務(wù)指標(biāo)。因?yàn)榇藭r查看的指標(biāo)并不是真正參與實(shí)驗(yàn)的流量所對應(yīng)的指標(biāo)。因此在數(shù)據(jù)集成環(huán)節(jié)，我們同時將實(shí)驗(yàn)前的實(shí)驗(yàn)配置數(shù)據(jù)和實(shí)驗(yàn)中的染色數(shù)據(jù)（針對每個參與實(shí)驗(yàn)的流量，每次操作所產(chǎn)生的數(shù)據(jù)，都會打上實(shí)驗(yàn)場景、實(shí)驗(yàn)組以及具體的分組標(biāo)記，我們該數(shù)據(jù)為染色數(shù)據(jù)）同步到數(shù)倉。

在數(shù)據(jù)基建環(huán)節(jié)，將業(yè)務(wù)數(shù)據(jù)模型和染色數(shù)據(jù)模型通過流量實(shí)體作為關(guān)聯(lián)條件進(jìn)行關(guān)聯(lián)，構(gòu)建實(shí)驗(yàn)粒度模型。

數(shù)據(jù)基建

在數(shù)據(jù)基建層，我們基于指標(biāo)分級運(yùn)營的思路，由數(shù)據(jù)團(tuán)隊(duì)和算法團(tuán)隊(duì)分別構(gòu)建實(shí)體粒度（區(qū)域、騎手、GeoHash）和實(shí)驗(yàn)粒度的實(shí)體寬表模型，以滿足P0/P1指標(biāo)和P2指標(biāo)的訴求；為實(shí)現(xiàn)指標(biāo)的規(guī)范化建設(shè)和靈活建設(shè)的統(tǒng)一，在物理模型和對外提供應(yīng)用的指標(biāo)池之間，我們提供了元數(shù)據(jù)管理工具和模型配置工具，從而實(shí)現(xiàn)離線數(shù)據(jù)快速接入評估體系的指標(biāo)池。

由數(shù)據(jù)團(tuán)隊(duì)建設(shè)的實(shí)體寬表模型，對應(yīng)著治理指標(biāo)（P0/P1指標(biāo)），必須在生產(chǎn)后通過元數(shù)據(jù)管理工具完成指標(biāo)與物理字段的映射，將指標(biāo)的加工口徑封裝在數(shù)據(jù)層，對用戶屏蔽物理實(shí)現(xiàn)，確保治理指標(biāo)的一致性。由算法團(tuán)隊(duì)獨(dú)立建設(shè)的實(shí)體寬表模型，對應(yīng)著挖掘指標(biāo)（P2指標(biāo)），為確保其接入評估體系指標(biāo)池的靈活性和方便性，我們在數(shù)據(jù)基建環(huán)節(jié)，通過標(biāo)簽的形式對指標(biāo)口徑做部分封裝，在模型配置環(huán)節(jié)完成指標(biāo)邏輯的最終加工。

元數(shù)據(jù)管理

元數(shù)據(jù)管理層，是實(shí)現(xiàn)指標(biāo)權(quán)威性的關(guān)鍵。治理指標(biāo)在本層實(shí)現(xiàn)注冊、評審，達(dá)到業(yè)務(wù)認(rèn)知一致性和算法內(nèi)部認(rèn)知一致性的目的。同時，本層還完成了治理指標(biāo)與數(shù)據(jù)基建層物理模型之間的綁定，為后續(xù)的模型配置建立基礎(chǔ)。

模型配置

模型配置工具，是打通物理模型與評估指標(biāo)池的橋梁，它通過輸入組件、操作組件和應(yīng)用組件，將離線數(shù)據(jù)接入到評估體系中，滿足實(shí)驗(yàn)前AA分組和實(shí)驗(yàn)后AB評估的需求。首先，輸入組件可以對應(yīng)不同的數(shù)據(jù)源，既可以接入治理的離線指標(biāo)，也可以接入特定庫下的物理表。其次，操作組件提供了分組操作、算子操作、過濾操作和測試操作，通過分組操作，確定模型包含的維度；通過算子操作，將算子作用在指標(biāo)或標(biāo)簽字段上，在取數(shù)環(huán)節(jié)實(shí)現(xiàn)指標(biāo)的二次計算；通過過濾操作，實(shí)現(xiàn)數(shù)據(jù)的過濾；通過測試操作，保證模型配置質(zhì)量。最后，應(yīng)用組件可以將配置的模型注冊到不同的應(yīng)用上，針對A/B場景主要是AA分組和AB評估。具體接入流程如下圖所示：

3.2 科學(xué)權(quán)威的評估方式

評估報告的可靠和權(quán)威性主要體現(xiàn)在兩個方面：一是評估指標(biāo)的可靠性和權(quán)威性；二是評估方式的科學(xué)性。在上一節(jié)中，我們重點(diǎn)討論了如何構(gòu)建可靠權(quán)威的指標(biāo)體系。在這一節(jié)，我們重點(diǎn)討論如何進(jìn)行科學(xué)的評估。

在討論科學(xué)評估之前，我們再重溫一下A/B實(shí)驗(yàn)的定義：A/B實(shí)驗(yàn)，簡單來說，就是為同一個目標(biāo)制定兩個版本或多個版本的方案，在同一時間維度，分別讓組成成分相同（相似）的A/B群組分別采用這些版本，收集各群組的體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好版本，正式采用。其中A方案為現(xiàn)行的設(shè)計（稱為控制組）， B方案是新的設(shè)計（稱為實(shí)驗(yàn)組）。分析A/B實(shí)驗(yàn)的定義，要實(shí)現(xiàn)科學(xué)權(quán)威的評估，最重要的兩點(diǎn)在于：

• 第一，確保在實(shí)驗(yàn)前分出無差別的實(shí)驗(yàn)組和對照組，避免因流量分配不平衡導(dǎo)致的AB群組差異過大，最終造成對于實(shí)驗(yàn)結(jié)果的誤判；

• 第二，確保對實(shí)驗(yàn)結(jié)果作出準(zhǔn)確的判斷，能夠準(zhǔn)確的判斷新策略相對于舊策略的優(yōu)勢是不是由自然波動引起的，它的這一優(yōu)勢能否在大規(guī)模的推廣中反映出來。

無論是實(shí)驗(yàn)前確保實(shí)驗(yàn)組和對照組流量無顯著性差異，還是實(shí)驗(yàn)后新策略較舊策略的指標(biāo)變動是否具有統(tǒng)計上的顯著性，無一例外，它們都蘊(yùn)含著統(tǒng)計學(xué)的知識。接下來，我們重點(diǎn)論述一下A/B實(shí)驗(yàn)所依賴的統(tǒng)計學(xué)基礎(chǔ)以及如何依據(jù)統(tǒng)計學(xué)理論做出科學(xué)評估。

假設(shè)檢驗(yàn)

兩個假設(shè)

A/B實(shí)驗(yàn)是一種對比試驗(yàn)，我們?nèi)Χㄒ欢ǖ牧髁窟M(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)束后，我們基于實(shí)驗(yàn)樣本進(jìn)行數(shù)據(jù)統(tǒng)計，進(jìn)而驗(yàn)證實(shí)驗(yàn)前假設(shè)的正確性，我們得出這一有效結(jié)論的科學(xué)依據(jù)便是假設(shè)檢驗(yàn)。假設(shè)檢驗(yàn)是利用樣本統(tǒng)計量估計總體參數(shù)的方法，在假設(shè)檢驗(yàn)中，先對總體均值提出一個假設(shè)，然后用樣本信息去檢驗(yàn)這個假設(shè)是否成立。我們把提出的這個假設(shè)叫做原假設(shè)，與原假設(shè)對立的結(jié)論叫做備擇假設(shè)，如果原假設(shè)不成立，就要拒絕原假設(shè)，進(jìn)而接受備擇假設(shè)。

兩類錯誤

對于原假設(shè)提出的命題，我們需要作出判斷，要么原假設(shè)成立，要么原假設(shè)不成立。因?yàn)榛跇颖緦傮w的推斷，會面臨著犯兩種錯誤的可能：第一類錯誤，原假設(shè)為真，我們卻拒絕了；第二類錯誤，原假設(shè)為偽，我們卻接受了。顯然，我們希望犯這兩類錯誤的概率越小越好，但對于一定的樣本量n，不能同時做到犯這兩類錯誤的概率很小。

在假設(shè)檢驗(yàn)中，就有一個對兩類錯誤進(jìn)行控制的問題。一般來說，哪一類錯誤所帶來的后果嚴(yán)重、危害越大，在假設(shè)檢驗(yàn)中就應(yīng)該把哪一類錯誤作為首要的控制目標(biāo)。在假設(shè)檢驗(yàn)中，我們都執(zhí)行這樣一個原則，首先控制犯第一類錯誤的概率。這也是為什么我們在實(shí)際應(yīng)用中會把要推翻的假設(shè)作為原假設(shè)，這樣得出的結(jié)論更具說服力（我們有足夠充分的證據(jù)證明原來確定的結(jié)論是錯誤的），所以通常會看到，我們把要證明的結(jié)論作為備擇假設(shè)。

T檢驗(yàn)

常見的假設(shè)檢驗(yàn)方法有Z檢驗(yàn)、T檢驗(yàn)和卡方檢驗(yàn)等，不同的方法有不同的適用條件和檢驗(yàn)?zāi)繕?biāo)。Z檢驗(yàn)和T檢驗(yàn)都是用來推斷兩個總體均值差異的顯著性水平，具體選擇哪種檢驗(yàn)由樣本量的大小、總體的方差是否已知決定。在樣本量較小且總體的方差未知的情況下，這時只能使用樣本方差代替總體方差，樣本統(tǒng)計量服從T分布，應(yīng)該采用T統(tǒng)計量進(jìn)行檢驗(yàn)。T統(tǒng)計量具體構(gòu)造公式如下圖所示，其中f是T統(tǒng)計量的自由度，S1、S2是樣本標(biāo)準(zhǔn)差。

T檢驗(yàn)的流程是，在給定的棄真錯誤概率下（一般取0.05），依據(jù)樣本統(tǒng)計量T是否落在拒絕域來判斷接受還是拒絕原假設(shè)。實(shí)際上在確定棄真錯誤概率以后，拒絕域的位置也就相應(yīng)地確定了。

使用T統(tǒng)計量進(jìn)行判斷的好處是，進(jìn)行決策的界限清晰，但缺陷是決策面臨的風(fēng)險是籠統(tǒng)的。例如T=3落入拒絕域，我們拒絕原假設(shè)，犯棄真錯誤的概率為0.05；T=2也落入拒絕域，我們拒絕原假設(shè)，犯棄真錯誤的概率也是0.05。事實(shí)上，依據(jù)不同的統(tǒng)計量進(jìn)行決策，面臨的風(fēng)險也是有差別的。為了精確地反映決策的風(fēng)險度，我們?nèi)匀恍枰狿值來幫助業(yè)務(wù)來做決策。

利用P值決策

P值是當(dāng)原假設(shè)為真時，所得到的樣本觀察結(jié)果或更極端的結(jié)果出現(xiàn)的概率。如果P值很小，說明這種情況發(fā)生的概率很小，但是在這次試驗(yàn)中卻出現(xiàn)了，根據(jù)小概率原理，我們有理由拒絕原假設(shè)，P值越小，我們拒絕原假設(shè)的理由越充分。P值可以理解為犯棄真錯誤的概率，在確定的顯著性水平下（一般取0.05），P值小于顯著性水平，則拒絕原假設(shè)。

基于假設(shè)檢驗(yàn)的科學(xué)評估

圍繞著科學(xué)評估要解決的兩個問題，實(shí)驗(yàn)前，針對圈定的流量使用假設(shè)檢驗(yàn)加上動態(tài)規(guī)劃算法，確保分出無差別的實(shí)驗(yàn)組和對照組；實(shí)驗(yàn)后，基于實(shí)驗(yàn)前選定的用于驗(yàn)證假設(shè)結(jié)論的指標(biāo)，構(gòu)造T統(tǒng)計量并計算其對應(yīng)的P值，依據(jù)P值幫我們做決策。

AA分組

首先看如何解決第一個問題：避免因流量分配不平衡，A/B組本身差異過大造成對實(shí)驗(yàn)結(jié)果的誤判。為解決該問題，我們引入了AA分組：基于實(shí)驗(yàn)者圈定的流量，通過AA分組將該流量分為無顯著性差異的實(shí)驗(yàn)組和對照組。我們這樣定義無顯著性差異這一約束：首先，實(shí)驗(yàn)者選取的用于刻畫實(shí)驗(yàn)流量的指標(biāo)，在實(shí)驗(yàn)組和對照組之間無統(tǒng)計上的顯著性（即上節(jié)所描述的基于均值的假設(shè)檢驗(yàn)）；其次，在所分出的實(shí)驗(yàn)組和對照組之間，這些指標(biāo)的差值最小，即一個尋找最優(yōu)解的過程。從實(shí)驗(yàn)者的實(shí)驗(yàn)流程看，在實(shí)驗(yàn)前，圈定進(jìn)入該實(shí)驗(yàn)的流量，然后確定用于刻畫實(shí)驗(yàn)流量的指標(biāo)，最后調(diào)用AA分組，為其將流量分成合理的實(shí)驗(yàn)組和對照組。

A/B效果評估

A/B效果評估是實(shí)驗(yàn)者在實(shí)驗(yàn)后，依據(jù)評估報告進(jìn)行決策的重要依據(jù)。因此，我們在實(shí)驗(yàn)后的效果評估環(huán)節(jié)，效果評估要達(dá)成三個目標(biāo)即權(quán)威、靈活性和方便。

首先，權(quán)威性體現(xiàn)在用于作出實(shí)驗(yàn)結(jié)論所依賴的指標(biāo)都是經(jīng)過治理、各方達(dá)成一致的指標(biāo)，并且確保數(shù)據(jù)一致性，最終通過假設(shè)檢驗(yàn)給出科學(xué)的實(shí)驗(yàn)結(jié)論，幫助實(shí)驗(yàn)者作出正確的判斷。其次，靈活性主要體現(xiàn)在采用列轉(zhuǎn)行的形式，按需自動生成報表告別“煙囪式”的報表開發(fā)方式。第三，方便主要體現(xiàn)在不僅可以查看用于說明實(shí)驗(yàn)效果的指標(biāo)，還可以選擇查看接入到評估體系里的任意指標(biāo)；不僅可以查看其實(shí)驗(yàn)前后對比以及趨勢變化，還可以做到從實(shí)驗(yàn)粒度到流量實(shí)體粒度的下鉆。效果如下圖所示：

技術(shù)實(shí)現(xiàn)

不管是實(shí)驗(yàn)前的AA分組，還是實(shí)驗(yàn)后的效果評估，我們要解決的一個核心問題就是如何靈活地“取數(shù)”，為我們的AA分組和AB效果分析提供一個靈活穩(wěn)定的取數(shù)服務(wù)。因此，我們整個架構(gòu)的核心就是構(gòu)建穩(wěn)定、靈活的取數(shù)服務(wù)，具體架構(gòu)如下圖所示。離線建模和指標(biāo)模型管理完成數(shù)據(jù)和元數(shù)據(jù)建設(shè)，建立權(quán)威完備的指標(biāo)體系；中間的取數(shù)服務(wù)作為上層各應(yīng)用服務(wù)和指標(biāo)體系的“橋梁”，為上層各應(yīng)用服務(wù)提供其所依賴的指標(biāo)。

4. 總結(jié)與展望

目前，A/B實(shí)驗(yàn)已成為許多互聯(lián)網(wǎng)公司評估其新產(chǎn)品策略和方法的“金標(biāo)準(zhǔn)”，在美團(tuán)配送業(yè)務(wù)場景下，它被廣泛應(yīng)用于調(diào)度策略、定價策略、運(yùn)力優(yōu)化、ETA時間預(yù)估等業(yè)務(wù)場景，為我們的策略迭代制定數(shù)據(jù)驅(qū)動型決策。特別是針對配送場景下這種策略之間相互影響，請求不獨(dú)立場景下的A/B實(shí)驗(yàn)，結(jié)合配送技術(shù)團(tuán)隊(duì)的具體實(shí)踐，跟大家分享了我們目前的解決思路。

最后再補(bǔ)充一點(diǎn)，在A/B實(shí)驗(yàn)領(lǐng)域，實(shí)驗(yàn)的流量規(guī)模應(yīng)該有足夠的統(tǒng)計能力，才能確保指標(biāo)的變化有統(tǒng)計意義的。為了更好地達(dá)到這個目標(biāo)，未來我們將通過輔助工具建設(shè)，在實(shí)驗(yàn)前，依據(jù)實(shí)驗(yàn)者所關(guān)注的指標(biāo)以及敏感度給出流量規(guī)模的建議，方便實(shí)驗(yàn)者在實(shí)驗(yàn)前快速地圈定其實(shí)驗(yàn)所需的流量。

5. 作者簡介

王鵬，美團(tuán)技術(shù)專家，2016年加入美團(tuán)。

啟政，美團(tuán)高級工程師，2018年加入美團(tuán)。

連恒，美團(tuán)高級工程師，2016年加入美團(tuán)。

----------? END? ----------

招聘信息

中生代技術(shù)社區(qū)提供內(nèi)推服務(wù)啦，對應(yīng)BAT，網(wǎng)易，頭條等大廠對接到用人部門

有需求請?zhí)砑尤褐逼感〗憬鉋lsa的微信

申請備注（姓名+公司+技術(shù)方向）才能通過哦！

也許你還想看

?

蘇寧6億會員是如何做到精確快速分析的？

?

為什么我不推薦你盲目追求微服務(wù)？遲早要吃虧！

?

首席架構(gòu)師李佐輝：浙江移動SRE轉(zhuǎn)型實(shí)踐

?

波波老師大解密：如何成為優(yōu)秀的架構(gòu)師？

? ?END ? ?? #接力技術(shù)，鏈接價值#

好兄弟，來一個一鍵三連???

總結(jié)

以上是生活随笔為你收集整理的美团配送A/B平台评估体系建设与实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。