在AI領域調參是一件十分常見的事情，每個模型的訓練過程可能包含幾十個可調節參數，每個參數的細微變化對于模型效果有很大的影響，如何正確的在業務流量下評估不同參數帶來的不同的模型效果需要A/B Test系統實現。

今天就基于Google的一篇論文《Overlapping Experiment Infrastructure :More, Better, Faster Experimentation》介紹一下如何基于流量去做不同模型的A/B Test。

A/B Test系統的設計原則

?

在介紹具體做法之前先給大家介紹一下Google這篇論文介紹的A/B Test系統的3個設計原則，分別是More、Better、Faster。

More：要同時支持盡可能多的實驗，無論是大改動的實驗還是小改動的實驗，都需要盡可能的同步支持

Better：需要建立一套實驗的評估體系，不好的實驗不應該執行，效果不好的實驗需要快速被發現

Faster：構建實驗和實驗評估的鏈路需要自動化和迅速

A/B Test系統設計方案

首先設計一個A/B Test系統需要包含3層概念，分別是Domain、Layer、Experiment

Domain：指的是一個領域的流量，比如在業務中我們可以把男用戶和女用戶的流量做一個分割，屬于不同的Domain。

Layer：Layer是一個流量縱向分割的概念，我們可以把流量的從上到下的流動分成不同的Layer，Layer間彼此正交（正交的意思是相互不影響）。舉個例子，在推薦業務中流量需要先通過召回模塊，再通過排序模塊，那么召回和排序就可以作為兩個Layer，并且這兩個Layer是同享流量的，相互正交

Experiment：Experiment指的是一個單點的實驗，Experiment可能是Layer或者Domain的組成部分。對應AI流程，可能某個訓練參數的變化就是一個Experiment

接下來針對幾個典型場景介紹下在A/B Test系統設計中以上3個概念是如何運用的。

（1）單Domain、多層、多實驗模式

圖A展示的是3層，每層一個實驗的模式。3層流量直接相互正交，每一層都可以享受全部的流量做不同的實驗。

（2）多Domain、多層、多實驗模式

可以看下，實驗被分為兩個大的Domain，一個是non-over lapping domain，另一個是右邊的domain。右側的domain可以增加實驗。這樣的分布經常被用于新實驗上線的時候，橫向將流量做比例分割，一邊保持原樣，另一邊做新的實驗嘗試。

（3）多層、多Domain、多實驗模式

C圖展示的是先縱向多層實驗區分，再橫向Domain劃分的模式。流量需要先通過兩個launch layer，再做各種實驗對比。

總結一下，Google這篇論文用很簡潔的概念大體描述清楚了在各種復雜場景下該如何做各種橫向、縱向的實驗劃分，并且給整個系統元素做了很好地概念定義，是一篇介紹AB Test的好文章。

?

總結

以上是生活随笔為你收集整理的Google的AI模型是如何做A/B Test的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。