在過去十年，機器學習在學術界取得了眾多的突破，在工業界也有很多應用落地。美團很早就開始探索不同的機器學習模型在搜索場景下的應用，從最開始的線性模型、樹模型，再到近兩年的深度神經網絡、BERT、DQN等，并在實踐中也取得了良好的效果與產出。

在美團搜索AI化的過程中，比較核心的兩個組件是模型訓練平臺Poker和在線預估框架Augur。本文主要與大家探討Augur的設計思路、效果，以及它的優勢與不足，最后也簡單介紹了一下Poker平臺的價值。希望這些內容對大家有所幫助或者啟發。

1. 背景

搜索優化問題，是個典型的AI應用問題，而AI應用問題首先是個系統問題。經歷近10年的技術積累和沉淀，美團搜索系統架構從傳統檢索引擎升級轉變為AI搜索引擎。當前，美團搜索整體架構主要由搜索數據平臺、在線檢索框架及云搜平臺、在線AI服務及實驗平臺三大體系構成。

在AI服務及實驗平臺中，模型訓練平臺Poker和在線預估框架Augur是搜索AI化的核心組件，解決了模型從離線訓練到在線服務的一系列系統問題，極大地提升了整個搜索策略迭代效率、在線模型預估的性能以及排序穩定性，并助力商戶、外賣、內容等核心搜索場景業務指標的飛速提升。

首先，讓我們看看在美團App內的一次完整的搜索行為主要涉及哪些技術模塊。如下圖所示，從點擊輸入框到最終的結果展示，從熱門推薦，到動態補全、最終的商戶列表展示、推薦理由的展示等，每一個模塊都要經過若干層的模型處理或者規則干預，才會將最適合用戶（指標）的結果展示在大家的眼前。

為了保證良好的用戶體驗，技術團隊對模型預估能力的要求變得越來越高，同時模型與特征的類型、數量及復雜度也在與日俱增。算法團隊如何盡量少地開發和部署上線，如何快速進行模型特征的迭代？如何確保良好的預估性能？在線預估框架Augur應運而生。

經過一段時間的實踐，Augur也有效地滿足了算法側的需求，并成為美團搜索與NLP部通用的解決方案。下面，我們將從解讀概念開始，然后再分享一下在實施過程中我們團隊的一些經驗和思考。

2. 抽象過程：什么是模型預估？

其實，模型預估的邏輯相對簡單、清晰。但是如果要整個平臺做得好用且高效，這就需要框架系統和工具建設（一般是管理平臺）兩個層面的配合，需要兼顧需求、效率與性能。

那么，什么是模型預估呢？如果忽略掉各種算法的細節，我們可以認為模型是一個函數，有一批輸入和輸出，我們提供將要預估文檔的相關信息輸入模型，并根據輸出的值（即模型預估的值）對原有的文檔進行排序或者其他處理。

純粹從一個工程人員視角來看：模型可以簡化為一個公式（?舉例：f(x1,x2)= ax1 + bx2 +c?），訓練模型是找出最合適的參數abc。所謂特征，是其中的自變量x1與x2，而模型預估，就是將給定的自變量x1與x2代入公式，求得一個解而已。（當然實際模型輸出的結果可能會更加復雜，包括輸出矩陣、向量等等，這里只是簡單的舉例說明。）

所以在實際業務場景中，一個模型預估的過程可以分為兩個簡單的步驟：第一步，特征抽取（找出x1與x2）；第二步，模型預估（執行公式 ?，獲得最終的結果）。

模型預估很簡單，從業務工程的視角來看，無論多復雜，它只是一個計算分數的過程。對于整個運算的優化，無論是矩陣運算，還是底層的GPU卡的加速，業界和美團內部都有比較好的實踐。美團也提供了高性能的TF-Serving服務（參見《基于TensorFlow Serving的深度學習在線預估》一文）以及自研的MLX模型打分服務，都可以進行高性能的Batch打分。基于此，我們針對不同的模型，采取不同的策略：

• 深度學習模型：特征多，計算復雜，性能要求高；我們將計算過程放到公司統一提供的TF-Serving/MLX預估服務上。

• 線性模型、樹模型：搜索場景下使用的特征相對較少，計算邏輯也相對簡單，我們將在構建的預估框架內部再構建起高性能的本機求解邏輯，從而減少RPC。

這一套邏輯很簡單，構建起來也不復雜，所以在建設初期，我們快速在主搜的核心業務邏輯中快速實現了這一架構，如下圖所示。這樣的一個架構使得我們可以在主搜的核心排序邏輯中，能夠使用各類線性模型的預估，同時也可以借助公司的技術能力，進行深度模型的預估。關于特征抽取的部分，我們也簡單實現了一套規則，方便算法同學可以自行實現一些簡單的邏輯。

3. 預估框架思路的改變

3.1 老框架的局限

舊架構中模型預估與業務邏輯耦合的方式，在預估文檔數和特征數量不大的時候可以提供較好的支持。

但是，從2018年開始，搜索業務瓶頸開始到來，點評事業部開始對整個搜索系統進行升級改造，并打造基于知識圖譜的分層排序架構（詳情可以參見點評搜索智能中心在2019年初推出的實踐文章《大眾點評搜索基于知識圖譜的深度學習排序實踐》）。這也意味著：更多需要模型預估的文檔，更多的特征，更深層次的模型，更多的模型處理層級，以及更多的業務。

在這樣的需求背景下，老框架開始出現了一些局限性，主要包括以下三個層面：

• 性能瓶頸：核心層的模型預估的Size擴展到數千級別文檔的時候，單機已經難以承載；近百萬個特征值的傳輸開銷已經難以承受。

• 復用困難：模型預估能力已經成為一個通用的需求，單搜索就有幾十個場景都需要該能力；而老邏輯的業務耦合性讓復用變得更加困難。

• 平臺缺失：快速的業務迭代下，需要有一個平臺可以幫助業務快速地進行模型和特征的管理，包括但不限于配置、上線、灰度、驗證等等。

3.2 新框架的邊界

跟所有新系統的誕生故事一樣，老系統一定會出現問題。原有架構在少特征以及小模型下雖有優勢，但業務耦合，無法橫向擴展，也難以復用。針對需求和老框架的種種問題，我們開始構建了新的高性能分布式模型預估框架Augur，該框架指導思路是：

• 業務解耦，設定框架邊界：只做特征抽取和模型預估，對預估結果的處理等業務邏輯交給上層處理。

• 無狀態，且可以做到分布式模型預估，無壓力支持數千級別文檔數的深度模型預估。

架構上的改變，讓Augur具備了復用的基礎能力，同時也擁有了分布式預估的能力。可惜，系統架構設計中沒有“銀彈”：雖然系統具有了良好的彈性，但為此我們也付出了一些代價，我們會在文末進行解釋。

4. 預估平臺的構建過程

框架思路只能解決“能用”的問題，平臺則是為了“通用”與“好用”。一個優秀的預估平臺需要保證高性能，具備較為通用且接口豐富的核心預估框架，以及產品級別的業務管理系統。為了能夠真正地提升預估能力和業務迭代的效率，平臺需要回答以下幾個問題：

• 如何解決特征和模型的高效迭代？

• 如何解決批量預估的性能和資源問題？

• 如何實現能力的快速復用并能夠保障業務的安全？

下面，我們將逐一給出答案。

4.1 構建預估內核：高效的特征和模型迭代

4.1.1 Operator和Transformer

在搜索場景下，特征抽取較為難做的原因主要包括以下幾點：

• 來源多：商戶、商品、交易、用戶等數十個維度的數據，還有交叉維度。由于美團業務眾多，難以通過統一的特征存儲去構建，交易相關數據只能通過服務來獲取。

• 業務邏輯多：大多數據在不同的業務層會有復用，但是它們對特征的處理邏輯又有所不同。

• 模型差異：同一個特征，在不同的模型下，會有不同的處理邏輯。比如，一個連續型特征的分桶計算邏輯一樣，但“桶”卻因模型而各不相同；對于離散特征的低頻過濾也是如此。

• 迭代快：特征的快速迭代，要求特征有快速在線上生效的能力，如果想要改動一個判斷還需要寫代碼上線部署，無疑會拖慢了迭代的速度。模型如此，特征也是如此。

針對特征的處理邏輯，我們抽象出兩個概念：

Operator：通用特征處理邏輯，根據功能的不同又可以分為兩類：

• IO OP：用處理原始特征的獲取，如從KV里獲取數據，或者從對應的第三方服務中獲取數據。內置批量接口，可以實現批量召回，減少RPC。

• Calc OP：用于處理對獲取到的原始特征做與模型無關的邏輯處理，如拆分、判空、組合。業務可以結合需求實現特征處理邏輯。

通過IO、計算分離，特征抽取執行階段就可以進行IO異步、自動聚合RPC、并行計算的編排優化，從而達到提升性能的目的。

Transformer：用于處理與模型相關的特征邏輯，如分桶、低頻過濾等等。一個特征可以配置一個或者多個Transformer。Transformer也提供接口，業務方可以根據自己的需求定制邏輯。

• 離在線統一邏輯：Transformer是特征處理的模型相關邏輯，因此我們將Transformer邏輯單獨抽包，在我們樣本生產的過程中使用，保證離線樣本生產與線上特征處理邏輯的一致性。

基于這兩個概念，Augur中特征的處理流程如下所示：首先，我們會進行特征抽取 ，抽取完后，會對特征做一些通用的處理邏輯；而后，我們會根據模型的需求進行二次變換，并將最終值輸入到模型預估服務中。如下圖所示：

4.1.2 特征計算DSL

有了Operator的概念，為了方便業務方進行高效的特征迭代，Augur設計了一套弱類型、易讀的特征表達式語言，將特征看成一系列OP與其他特征的組合，并基于Bison&JFlex構建了高性能語法和詞法解析引擎。我們在解釋執行階段還做了一系列優化，包括并行計算、中間特征共享、異步IO，以及自動RPC聚合等等。

舉個例子：

//?IO?Feature:?binaryBusinessTime;??ReadKV?是一個?IO?類型的?OP ReadKV('mtptpoionlinefeatureexp','_id',_id,'ba_search.platform_poi_business_hour_new.binarybusinesstime','STRING') //?FeatureA?:?CtxDateInfo;???ParseJSON?是一個?Calc?類型的?OP ParseJSON(_ctx['dateInfo']); //?FeatureB?:?isTodayWeekend?需要看?Json?這種的日期是否是周末,?便可以復用??CtxDateInfo??這個特征;?IsWeekend?也是是一個?Calc?類型的?OP IsWeekend(CtxDateInfo['date'])

在上面的例子中，ParseJSON與IsWeekend都是OP， CtxDateInfo與isTodayWeekend都是由其他特征以及OP組合而成的特征。通過這種方式，業務方根據自己的需求編寫OP , 可以快速復用已有的OP和特征，創造自己需要的新特征。而在真實的場景中，IO OP的數量相對固定。所以經過一段時間的累計，OP的數量會趨于穩定，新特征只需基于已有的OP和特征組合即可實現，非常的高效。

4.1.3 配置化的模型表達

特征可以用利用OP、使用表達式的方式去表現，但特征還可能需要經過Transformer的變換。為此，我們同樣為模型構建一套可解釋的JSON表達模板，模型中每一個特征可以通過一個JSON對象進行配置，以一個輸入到TF模型里的特征結構為例：

//?一個的特征的?JSON?配置 {"tf_input_config":?{"otherconfig"},"tf_input_name":?"modulestyle","name":?"moduleStyle","transforms":?[??????????????????????// Transfomers：模型相關的處理邏輯，可以有多個，Augur 會按照順序執行{"name":?"BUCKETIZE", ????????????// Transfomer 的名稱：這里是分桶"params":?{"bins":?[0,1,2,3,4]???????????//?Transfomer?的參數}}],"default_value":?-1 }

通過以上配置，一個模型可以通過特征名和Transformer的組合清晰地表達。因此，模型與特征都只是一段純文本配置，可以保存在外部，Augur在需要的時候可以動態的加載，進而實現模型和特征的上線配置化，無需編寫代碼進行上線，安全且高效。

其中，我們將輸入模型的特征名（tf_input_name）和原始特征名（name）做了區分。這樣的話，就可以只在外部編寫一次表達式，注冊一個公用特征，卻能通過在模型的結構體中配置不同Transfomer創造出多個不同的模型預估特征。這種做法相對節約資源，因為公用特征只需抽取計算一次即可。

此外，這一套配置文件也是離線樣本生產時使用的特征配置文件，結合統一的OP&Transformer代碼邏輯，進一步保證了離線/在線處理的一致性，也簡化了上線的過程。因為只需要在離線狀態下配置一次樣本生成文件，即可在離線樣本生產、在線模型預估兩個場景通用。

4.2 完善預估系統：性能、接口與周邊設施

4.2.1 高效的模型預估過程

OP和Transformer構建了框架處理特征的基本能力。實際開發中，為了實現高性能的預估能力，我們采用了分片純異步的線程結構，層層Call Back，最大程度將線程資源留給實際計算。因此，預估服務對機器的要求并不高。

為了描述清楚整個過程，這里需要明確特征的兩種類型：

ContextLevel Feature：全局維度特征，一次模型預估請求中，此類特征是通用的。比如時間、地理位置、距離、用戶信息等等。這些信息只需計算一次。

DocLevel Feature：文檔維度特征，一次模型預估請求中每個文檔的特征不同，需要分別計算。

一個典型的模型預估請求，如下圖所示：

Augur啟動時會加載所有特征的表達式和模型，一個模型預估請求ModelScoreRequest會帶來對應的模型名、要打分的文檔id（docid）以及一些必要的全局信息Context。Augur在請求命中模型之后，將模型所用特征構建成一顆樹，并區分ContextLevel特征和DocLevel特征。由于DocLevel特征會依賴ContextLevel特征，故先將ContextLevel特征計算完畢。

對于Doc維度，由于對每一個Doc都要加載和計算對應的特征，所以在Doc加載階段會對Doc列表進行分片，并發完成特征的加載，并且各分片在完成特征加載之后就進行打分階段。也就是說，打分階段本身也是分片并發進行的，各分片在最后打分完成后匯總數據，返回給調用方。期間還會通過異步接口將特征日志上報，方便算法同學進一步迭代。

在這個過程中，為了使整個流程異步非阻塞，我們要求引用的服務提供異步接口。若部分服務未提供異步接口，可以將其包裝成偽異步。這一套異步流程使得單機（16c16g）的服務容量提升超過100%，提高了資源的利用率。

4.2.2 預估的性能及表達式的開銷

框架的優勢：得益于分布式，純異步流程，以及在特征OP內部做的各類優化（公用特征 、RPC聚合等），從老框架遷移到Augur后，上千份文檔的深度模型預估性能提升了一倍。

至于大家關心的表達式解析對對于性能的影響其實可以忽略。因為這個模型預估的耗時瓶頸主要在于原始特征的抽取性能（也就是特征存儲的性能）以及預估服務的性能（也就是Serving的性能）。而 Augur 提供了表達式解析的Benchmark測試用例，可以進行解析性能的驗證。

_I(_I('xxx')) Benchmark??????????????Mode??Cnt??Score???Error??Units AbsBenchmarkTest.test??avgt???25??1.644?±?0.009??ms/op

一個兩層嵌套的表達式解析10W次的性能是1.6ms左右。相比于整個預估的時間，以及語言化表達式對于特征迭代效率的提升，這一耗時在當前業務場景下，基本可以忽略不計。

4.2.3 系統的其他組成部分

一個完善可靠的預估系統，除了“看得見”的高性能預估能力，還需要做好以下幾個常被忽略的點：

• 特征日志處理流程：預估時產出的特征日志，需要通過框架上傳到公司日志中心或者以用戶希望的方式進行存儲，方便模型的迭代。當然，必要的時候可以落入本地，方便問題的定位。

• 監控，系統&特征：系統監控不用多說，美團內部的Cat&天網，可以構建出完善的監控體系。另一方面，特征的監控也很重要，因為特征獲取的穩定性決定了模型預估的質量，所以我們構建了實時的特征分布監控系統，可以分鐘級發現特征分布的異常，最大限度上保證模型預估的可靠性。

• 豐富的接口：除了預估接口，還需要有特征抽取接口、模型打分Debug 接口、特征表達式測試接口、模型單獨測試接口、特征模型刷新接口、特征依賴檢等等一系列接口，這樣才可以保證整個系統的可用性，并為后面管理平臺的建設打下基礎。

Augur在完成了以上多種能力的建設之后，就可以當做一個功能相對完善且易擴展的在線預估系統。由于我們在構建 Augur的時候，設立了明確的邊界，故以上能力是獨立于業務的，可以方便地進行復用。當然，Augur的功能管理，更多的業務接入，都需要管理平臺的承載。于是，我們就構建了Poker平臺，其中的在線預估管理模塊是服務于Augur，可以進行模型特征以及業務配置的高效管理。我們將在下一小節進行介紹。

4.3 建設預估平臺：快速復用與高效管理

4.3.1 能力的快速復用

Augur在設計之初，就將所有業務邏輯通過OP和Transformer承載，所以跟業務無關。考慮到美團搜索與NLP部模型預估場景需求的多樣性，我們還為Augur賦予多種業務調用的方式。

• Java服務化調用：即基于Augur構建一個完整的Service，可以實現無狀態分布式的彈性預估能力。

• Thrift調用：Java服務化版本中內置了對Thrift 的支持，使不同語言的業務都可以方便地擁有模型預估能力。

• 雙框架：Augur支持同一個服務同時提供Pigeon（美團內部的RPC框架）以及Thrift 服務，從而滿足不同業務的不同需求。

• Java SDK：Augur同樣支持以SDK的方式將能力嵌入到已有的集群當中。但如此一來，分布式能力就無法發揮了。所以，我們一般應用在性能要求高、模型比較小、特征基本可以存在本地的場景下。

其中服務化是被應用最多的方式，為了方便業務方的使用，除了完善的文檔外，我們還構建了標準的服務模板，任何一個業務方基本上都可以在30分鐘內構建出自己的Augur服務。服務模板內置了60多個常用邏輯和計算OP , 并提供了最佳實踐文檔與配置邏輯，使得業務方在沒有指導的情況下可以自行解決95%以上的問題。整個流程如下圖所示：

當然，無論使用哪一種方式去構建預估服務，都可以在美團內部的Poker平臺上進行服務、模型與特征的管理。

4.3.2 Augur管理平臺Poker的構建

實現一個框架價值的最大化，需要一個完整的體系去支撐。而一個合格的在線預估平臺，需要一個產品級別的管理平臺輔助。于是我們構建了Poker（搜索實驗平臺），其中的在線預估服務管理模塊，也是Augur的最佳拍檔。Augur是一個可用性較高的在線預估框架，而Poker+Augur則構成了一個好用的在線預估平臺。下圖是在線預估服務管理平臺的功能架構：

首先是預估核心特征的管理，上面說到我們構建了語言化的特征表達式，這其實是個較為常見的思路。Poker利用Augur提供的豐富接口，結合算法的使用習慣，構建了一套較為流暢的特征管理工具。可以在平臺上完成新增、測試、上線、卸載、歷史回滾等一系列操作。同時，還可以查詢特征被服務中的哪些模型直接或者間接引用，在修改和操作時還有風險提示，兼顧了便捷性與安全性。

模型管理也是一樣，我們在平臺上實現了模型的配置化上線、卸載、上線前的驗證、灰度、獨立的打分測試、Debug信息的返回等等。同時支持在平臺上直接修改模型配置文件，平臺可以實現模型多版本控制，一鍵回滾等。配置皆為實時生效，避免了手動上線遇到問題后因處理時間過長而導致損失的情況。

4.3.3 Poker + Augur的應用與效果

隨著Augur和Poker的成熟，美團搜索與NLP部門內部已經有超過30個業務方已經全面接入了預估平臺，整體的概況如下圖所示：

預估框架使用遷移Augur后，性能和模型預估穩定性上均獲得了較大幅度的提升。更加重要的是，Poker平臺的在線預估服務管理和Augur預估框架，還將算法同學從繁復且危險的上線操作中解放出來，更加專注于算法迭代，從而取得更好的效果。以點評搜索為例，在Poker+Augur穩定上線之后，經過短短半年的時間，點評搜索核心KPI在高位基礎上仍然實現了大幅提升，是過去一年半漲幅的六倍之多，提前半年完成全年的目標。

4.4 進階預估操作：模型也是特征

4.4.1 Model as a Feature，同構or異構？

在算法的迭代中，有時會將一個模型的預估的結果當做另外一個模型輸入特征，進而取得更好的效果。如美團搜索與NLP中心的算法同學使用BERT來解決長尾請求商戶的展示順序問題，此時需要BERT as a Feature。一般的做法是離線進行BERT批量計算，灌入特征存儲供線上使用。但這種方式存在時效性較低（T+1）、覆蓋度差等缺點。最好的方式自然是可以在線實時去做BERT模型預估，并將預估輸出值作為特征，用于最終的模型打分。這就需要Augur提供Model as a Feature的能力。

得益于Augur抽象的流程框架，我們很快超額完成了任務。Model as a feature，雖然要對一個Model做預估操作，但從更上層的模型角度看，它就是一個特征。既然是特征，模型預估也就是一個計算OP而已。所以我們只需要在內部實現一個特殊的OP，ModelFeatureOpreator就可以干凈地解決這些問題了。

我們在充分調研后，發現Model as a Feature有兩個維度的需求：同構的特征和異構的特征。同構指的是這個模型特征與模型的其他特征一樣，是與要預估的文檔統一維度的特征，那這個模型就可以配置在同一個服務下，也就是本機可以加載這個Stacking模型；而異構指的是Model Feature與當前預估的文檔不是統一維度的，比如商戶下掛的商品，商戶打分需要用到商品打分的結果，這兩個模型非統一維度，屬于兩個業務。正常邏輯下需要串行處理，但是Augur可以做得更高效。為此我們設計了兩個OP來解決問題：

• LocalModelFeature：解決同構Model Feature的需求，用戶只需像配置普通特征表達式一樣即可實現在線的Model Stacking；當然，內部自然有優化邏輯，比如外部模型和特征模型所需的特征做統一整合，盡可能的減少資源消耗，提升性能。該特征所配置的模型特征，將在本機執行，以減少RPC。

• RemoteModelFeature：解決異構Model Feature的需求，用戶還是只需配置一個表達式，但是此表達式會去調用相應維度的Augur服務，獲取相應的模型和特征數據供主維度的Augur服務處理。雖然多了一層 RPC，但是相對于純線性的處理流程，分片異步后，還是有不少的性能提升。

美團搜索內部，已經通過LocalModelFeature的方式，實現了BERT as a Feature。在幾乎沒有新的使用學習成本的前提下，同時在線上取得了明顯的指標提升。

4.4.2 Online Model Ensemble

Augur支持有單獨抽取特征的接口，結合Model as a Feature，若需要同時為一個文檔進行兩個或者多個模型的打分，再將分數做加權后使用，非常方便地實現離線Ensemble出來模型的實時在線預估。我們可以配置一個簡單的LR、Empty 類型模型（僅用于特征抽取），或者其他任何Augur支持的模型，再通過LocalModelFeature配置若干的Model Feature，就可以通過特征抽取接口得到一個文檔多個模型的線性加權分數了。而這一切都被包含在一個統一的抽象邏輯中，使用戶的體驗是連續統一的，幾乎沒有增加學習成本。

除了上面的操作外，Augur還提供了打分的同時帶回部分特征的接口，供后續的業務規則處理使用。

5. 更多思考

當然，肯定沒有完美的框架和平臺。Augur和Poker還有很大的進步空間，也有一些不可回避的問題。主要包括以下幾個方面。

被迫“消失”的Listwise特征

前面說到，系統架構設計中沒有“銀彈”。在采用了無狀態分布式的設計后，請求會分片。所以ListWise類型的特征就必須在打分前算好，再通過接口傳遞給Augur使用。在權衡性能和效果之后，算法同學放棄了這一類型的特征。

當然，不是說Augur不能實現，只是成本有些高，所以暫時Hold 。我們也有設計過方案，在可量化的收益高于成本的時候，我們會在Augur中開放協作的接口。

單機多層打分的缺失

Augur一次可以進行多個模型的打分，模型相互依賴（下一層模型用到上一層模型的結果）也可以通過Stacking技術來解決。但如果模型相互依賴又逐層減少預估文檔（比如，第一輪預估1000個，第二輪預估500），則只能通過多次RPC的方式去解決問題，這是一個現實問題的權衡。分片打分的性能提升，能否Cover多次RPC的開銷？在實際開發中，為了保持框架的清晰簡單，我們選擇了放棄多層打分的特性。

離線能力缺失？

Poker是搜索實驗平臺的名字。我們設計它的初衷，是解決搜索模型實驗中，從離線到在線所有繁復的手工操作，使搜索擁有一鍵訓練、一鍵Fork、一鍵上線的能力。與公司其他的訓練平臺不同，我們通過完善的在線預估框架倒推離線訓練的需求，進而構建了與在線無縫結合的搜索實驗平臺，極大地提升了算法同學的工作效。

未來，我們也會向大家介紹產品級別的一站式搜索實驗平臺，敬請期待。

6. 未來展望

在統一了搜索的在線預估框架后，我們會進一步對Augur的性能&能力進行擴展。未來，我們將會在檢索粗排以及性能要求更高的預估場景中去發揮它的能力與價值。同時 ，我們正在將在線預估框架進一步融合到我們的搜索實驗平臺Poker中，與離線訓練和AB實驗平臺做了深度的打通，為業務構建高效完整的模型實驗基礎設施。

如果你想近距離感受一下Augur的魅力，歡迎關注文末的招聘信息，加入美團技術團隊！

7. 作者簡介

朱敏，紫順，樂欽，洪晨，喬宇，武進，孝峰，俊浩等，均來自美團搜索與NLP部。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的智能搜索模型预估框架的建设与实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。