一．?綜述

深度學習比傳統(tǒng)的邏輯回歸有著更強的模型刻畫能力，同時也帶來了計算力百倍提升的需求。相比圖像、語音、視頻等領域，搜索、廣告、推薦等場景有著獨特的場景特點: 樣本規(guī)模和特征空間通常非常巨大，千億樣本、百億特征并不罕見，同時存在大量的稀疏特征作為Embedding輸入。這就要求我們針對此場景下的計算特點對深度學習框架進行設計和優(yōu)化。

本文所闡述的工作由阿里媽媽基礎平臺團隊與PAI團隊合作完成，我們基于TensorFlow在搜索、廣告、推薦場景下進行了深度的優(yōu)化與增強，內(nèi)部項目名稱為TensorFlowRS，主要的成果如下：

(1)?解決了原生TF水平擴展能力不足的問題。在我們的測試中，絕大多數(shù)搜索廣告模型的訓練性能提升在十倍以上，某些模型的極限性能最高可提升百倍。

(2)?支持完備的在線學習語義，模型變更實時寫出；稀疏特征無需做連續(xù)ID化，可以直接使用原始特征表征進行訓練，大幅簡化了特征工程的復雜度。

(3)?異步訓練的梯度修正優(yōu)化器（grad-compensation optimizer），有效減少了異步大規(guī)模并發(fā)引起的訓練效果損失。

(4)?集成了高效的Graph Embedding、Memory Network、Cross Media等多種高級訓練模式。

(5)?模型可視化系統(tǒng)DeepInSight提供深度模型訓練的多維度可視化分析。

?

二．?TensorFlowRS分布式架構

在使用TensorFlow的過程中我們發(fā)現(xiàn)TF作為一個分布式訓練系統(tǒng)有兩個主要的問題：

1.?水平擴展能力差：在大部分模型的性能測試中,我們發(fā)現(xiàn)隨著數(shù)據(jù)并行度的增加，單個worker的樣本處理QPS急劇下降。當worker數(shù)量增大到一定規(guī)模的時候，系統(tǒng)整體QPS不再有增長甚至有所下降。

2.?缺乏完備的分布式Failover機制：TF基于靜態(tài)拓撲配置來構建cluster，不支持動態(tài)組網(wǎng)，這就意味著當某個ps或者worker掛掉重啟之后，如果ip或者端口發(fā)生變化（例如機器crash），訓練將無法繼續(xù)。另外TF的checkpoint只包含server存儲的參數(shù)信息，不包含worker端的狀態(tài)，不是全局一致性的checkpoint，無法實現(xiàn)Exactly-Once等基本的Failover語義。

?

針對上述問題，TensorFlowRS采取的解決方案包括：

• 通過對接獨立參數(shù)服務器提升水平擴展能力

  在對TF做過細致的profiling之后，我們發(fā)現(xiàn)TF原生的PS由于設計和實現(xiàn)方面的多種原因（grpc，lock，graph-engine），很難達良好的水平擴展能力。于是我們決定丟掉TF-PS的包袱，重新實現(xiàn)一個高性能的參數(shù)服務器：PS-Plus。此外我們提供了完整的TF on PS-Plus方案，可以支持用戶在Native-PS和PS-Plus之間自由切換，并且完全兼容TensorFlow的Graph語義和所有API。用戶可以在深度網(wǎng)絡代碼一行不改的情況下，將參數(shù)分布和運行在PS-Plus上，享受高性能的參數(shù)交換和良好的水平擴展能力。?

• 重新設計Failover機制，支持動態(tài)組網(wǎng)和Exactly-Once的Failover

  TensorFlowRS引入了worker state，在checkpoint中存儲了worker的狀態(tài)信息，worker重啟后，會從接著上次的進度繼續(xù)訓練。此外TensorFlowRS通過zk生成cluster配置，支持了動態(tài)組網(wǎng)的Failover。新的Failover機制可以保證任意角色掛掉的情況下，系統(tǒng)都能在分鐘級完成Failover，并且不多算和漏算數(shù)據(jù)

TensorFlowRS的整體架構如圖所示：

三． PS-Plus

PS-Plus相對于傳統(tǒng)的ParameterServer有如下特點：

(1)高性能：PS-Plus通過智能參數(shù)分配，零拷貝，seastar等多項技術，進一步提升了單臺server的服務能力和系統(tǒng)整體的水平擴展能力。在實測中，在64core的機器上單個server能輕松用滿55+的核心，在dense場景下io能打滿雙25G網(wǎng)卡，系統(tǒng)整體在 1~4000 worker 的范圍內(nèi)都具有近似線性的水平擴展能力

(2)高度靈活：PS-Plus擁有完善的UDF接口，用戶可使用SDK開發(fā)定制化的UDF插件，并且可以通過簡單的C++以及Python接口進行調(diào)用。

(3)完備的在線學習支持：PS-Plus支持非ID化特征訓練，特征動態(tài)增刪，以及模型增量實時導出等支撐在線學習的重要特性。

下面從中選取幾點做比較詳細的介紹：

1.?智能參數(shù)分配

參數(shù)分配策略(variable placement)，決定了如何將一個參數(shù)切分并放置到不同的server上。placement策略的好壞在高并發(fā)的情況下對PS的整體性能有著重大的影響。傳統(tǒng)ParameterServer的placement方案是由系統(tǒng)預先實現(xiàn)幾種常見的placement算法（比如平均切分+roundrobin），或者由用戶在創(chuàng)建參數(shù)的時候手工劃分，往往沒有綜合考慮全局的參數(shù)規(guī)模、Server的負載等。

PS-Plus實現(xiàn)了基于模擬退火算法的啟發(fā)式參數(shù)分配策略，后續(xù)也在考慮實現(xiàn)基于運行時負載，動態(tài)rebalance的placement策略。PS-Plus的placement設計有如下優(yōu)點：

• 綜合考慮了全局參數(shù)的shape信息，在cpu，內(nèi)存，網(wǎng)絡帶寬等限制條件下給出了近似最優(yōu)的placement方案，避免了手工分配造成的不均勻、熱點等問題。

• 整個參數(shù)分配過程由系統(tǒng)內(nèi)部自動完成，用戶無需配置即可獲得接近最優(yōu)的性能，用戶無需了解PS底層實現(xiàn)的具體細節(jié)。

• Partition由框架自動完成，在上層算法代碼，如TF代碼中，不需要額外使用PartitionedVariable等機制，使用簡單方便。

2.?去ID化特征支持

目前主流的深度學習框架都是以連續(xù)的內(nèi)存來存儲訓練參數(shù)，通過偏移量（ID值）來尋址到具體的權重。為了避免內(nèi)存的浪費，需要對特征做從0開始的連續(xù)ID化編碼，這一過程我們稱之為特征ID化。特征ID化是一個非常復雜的過程，尤其是當樣本和特征數(shù)量非常龐大的時候，特征ID化會占用大量的時間和機器資源，給樣本構建帶來了很大的復雜度。

PS-Plus內(nèi)部實現(xiàn)了一個定制化的hashmap，針對參數(shù)交換場景做了專門的優(yōu)化，在支持特征動態(tài)增刪的同時提供了超高的性能。通過hashmap，PS-Plus直接實現(xiàn)了對非ID特征的支持，極大的簡化了樣本構建的復雜度。

3.?通信層優(yōu)化

對于Parameter Server架構，延遲是影響整體性能的重要原因。尤其是在模型復雜度不高的情況下，模型計算部分往往在10~100ms量級，那么總體通信的延遲就成為一個關鍵因素。

在傳統(tǒng)的pipeline線程模型，高并發(fā)情況下中斷和線程上下文切換會導致很大的開銷，同時會引起大量的cache-line miss。此外，高頻的鎖競爭是帶來延遲的最主要原因之一，即便是各類SpinLock、讀寫鎖等優(yōu)化也并不能有效消除這個問題。我們認為polling?+ run to completion是一個正確的選擇，并且設計了我們的整體通信層架構。在新的通信層中，我們使用了Seastar作為底層的框架。對于Server、Worker上的connection，都嚴格保證connection綁定到固定的線程，同時線程與CPU核心綁定。Request、response直接采用run to completion的方式在當前線程處理。整體架構如下圖所示：

?

在Seastar的基礎上，我們做了很多功能、性能的改進和優(yōu)化，這里做一些簡要的介紹。

• 外部線程交互隊列。我們借鑒Seastar核心之間的交互機制，提供了一個 M:N 無鎖生產(chǎn)者消費者隊列，用于外部線程與Seastar內(nèi)部線程進行交互。相比傳統(tǒng)隊列性能有極大的提升。

• 寫請求順序調(diào)度。從外部線程poll到的寫請求，如果直接調(diào)用Seastar的寫接口，會導致寫buffer無法保證有序。我們通過隊列機制的改造，自動保證了寫順序，同時基本不損失多connection的并發(fā)寫的性能。

• 靈活的編解碼層。我們提供了一套編解碼層的抽象接口，方便用戶使用，從而不需要借助protobuf等傳統(tǒng)的序列化、反序列化的第三方庫，同時也避免了protobuf的一些性能問題。

?

四．性能測試

我們測試了TensorFlowRS在Dense以及WDE(Wide-Deep-Embedding)兩種經(jīng)典模型的性能指標：

1.?模型說明：

• ?Dense

Batch-size	100
Input-dimension	1130
Hidden-units	256,128,64,32,1

?

• WDE

Batch-size	100
Deep	Input-dimension:310 ??Hidden-units:256,128,64,32,1
Wide	Input-dimension:0.2B ?Output-dimension: 1
Embedding	Input-dimension:0.5B / 7.5B ?Output-dimension: 8

?

2. 測試結果：

?

3.?WDE模型下Native-TF與TFRS水平擴展能力比較

?

五. 在線學習

以Ftrl為代表，在線學習近年來在工業(yè)界開始被大規(guī)模應用，它是工程與算法的深入結合，賦予模型實時捕捉線上流量變化的能力，在一些對時效性要求很高的場景，有十分大的價值。

深度模型和LR模型一樣，對在線學習有著同樣強烈的需求，然而目前主流的深度學習框架都缺乏對在線學習的支持。TensorFlowRS通過對接PS-Plus，給出了一套完整的端到端的在線學習解決方案，賦予了TF支持千億規(guī)模非ID化特征在線訓練的能力。

TFRS針對在線學習的場景做了專門設計和優(yōu)化，具體包括：

1.?非ID化特征支持

在在線學習的場景下做特征實時ID化是比較復雜的，需要一個超高性能的全局的ID生成器，這給樣本生成帶來了很大的復雜度。TensorFlowRS利用PS-Plus直接實現(xiàn)了對非ID特征的支持，極大的簡化了實時樣本構建的復雜度。

2.?特征動態(tài)增刪

在在線訓練的場景下，訓練任務會以service的形式長期運行，在訓練過程中，不斷會有新特征加入到模型中，為了保證訓練可以長期進行而不會因為新特征的不斷加入導致OOM，PS-Plus在支持特征動態(tài)添加的同時，還提供了默認的特征刪除策略，可以將低頻或者低權重的特征刪除掉，用戶還可以通過UDF定制符合自身業(yè)務需求的刪除策略

3.?模型增量實時導出

在線學習模型更新的常見方式有全量和增量兩種。在模型參數(shù)較多的情況下，全量更新的方式會對在線系統(tǒng)的帶寬帶來巨大的壓力，而降低更新頻率又會使模型的實效性降低。PS-Plus支持以任意頻率將模型增量部分實時寫出到消息隊列，在大幅減少網(wǎng)絡IO的同時實現(xiàn)了真正意義上的模型實時更新。

4.?AUC Decay

在在線學習的場景下，我們希望在訓練的過程中就可以盡快的發(fā)現(xiàn)模型本身的異常，而不是等模型更新到線上之后。因此我們需要有一些方法來評估模型在訓練過程中的 AUC等指標。TF里默認的streaming auc的實現(xiàn)在歷史數(shù)據(jù)累積了一定量的時候，無法及時反應當前模型的狀態(tài)，反饋有很大的滯后性。因此我們引入了新的AUC計算機制：AUC Decay。AUC Decay本質(zhì)上是一種特殊的Moving Average，通過基于時間的減益方式，弱化歷史樣本和模型在當前AUC計算中的比重，以達到更快反應模型變化的目的

?

六. 大規(guī)模訓練場景下的收斂效果優(yōu)化

1. 問題闡述

大數(shù)據(jù)模型引入了分布式并行訓練，同步并行訓練受長尾worker的制約，并發(fā)數(shù)容易受限。異步并行是快速訓練的主流。異步并行訓練打破了普通SGD訓練的串行性，計算的梯度與更新的模型不是嚴格一致，引入了梯度delay的問題。

?

具體來說，在基于ParameterServer的訓練框架里，系統(tǒng)分為兩個角色：worker和ps。ps的職責是模型的切塊存儲與更新；worker的職責是加載從ps端獲得最新的模型，讀取數(shù)據(jù)進行模型訓練，最后把學到梯度發(fā)送給ps，由ps更新模型。異步并發(fā)訓練打破了普通SGD訓練的串行性，引入了梯度delay的問題。如圖所示，拿到了模型，計算得到了梯度，可是最后回傳給ps時，卻是用在了ps上的模型上。因為在計算梯度的同時，有另外r個worker向ps提交了梯度更新，ps上的模型已經(jīng)向前走了r步。用模型計算得到的梯度，用在了模型上。雖然梯度更新的大方向可能偏差不大，但與模型期望的梯度相比，梯度是存在細微偏差的，因為梯度有些過時了。這是異步訓練里梯度delay的由來。

2. 梯度補償

微軟在ICML2017提出過DC-ASGD optimizer，使用泰勒展開來近似梯度補償。我們測試在50并發(fā)以內(nèi)收益良好。可是在上百并發(fā)訓練里，泰勒展開超過了近似收斂半徑，導致的誤差增大，效果下降。

應對上百并發(fā)的訓練，我們引入了與g的相關因子來boost主流的sgd-based optimizer。用與g的相關性來衡量梯度delay的嚴重程度。在每一維度上，如果與-g是正相關，說明大部分worker都在往同方向更新，模型w在這個方向上走的挺遠了，繼續(xù)前進需要謹慎，所以我們保持g的方向不變，但減少g的絕對值。與之相反，如果與-g是負相關，說明大部分worker都在往反方向更新，此時g是一個比較強烈的轉(zhuǎn)折信號，揭示了模型w的更新方向要發(fā)生變化，我們需要重視這個信號，所以我們保持g的方向不變，但增大了g的絕對值。

引入相關因子是依據(jù)如下分析前提的：

(1)異步訓練時，存在隱式的梯度動量加速情況參見《Asynchrony begets Momentum, with an Application to Deep Learning》,并發(fā)越大，隱式動量越大，造成梯度往一個方向過度前進的情況。

(2)如果不是很老的w,相關因子是轉(zhuǎn)折信號，暗示模型在多個worker的動量累積推動下前進的有些過度了。

(3)存在著tradeoff,太老的w，信號準確率會下降，這時要控制(調(diào)小)系數(shù)lambda。

因為與g的相關性具備普適性，所以可以和主流的sgd-based optimizer結合，適應不同場景的不同優(yōu)化器并發(fā)訓練需求。

?

3.?實驗結果

我們用相關性因子boost了SGD、Momentum、AdaGrad三種算法，并在生產(chǎn)環(huán)境和公開數(shù)據(jù)集上做了實驗，實驗結果如下

• WDE模型

并行度	Boosted-sgd auc	Boosted-moment auc	Boosted-adagrad auc
100	+0.012%	+0.01%	+0.012%
200	+0.028%	+0.045%	+0.051%
400	+0.043%	+0.064%	+0.058%

?

• Cifar10 Alexnet模型

并行度	Boosted-sgd accuracy	Boosted-moment acc	Boosted-adagrad acc
30	+0.43%	+0.2%	+0.25%
60	+0.56%	+0.25%	+0.46%

?

八．高級訓練模式

TFRS中集成了多種高階訓練模式，例如Graph Embedding，Memory Network，Cross Media Training等。在本文我們會簡要的介紹一下，在以后的文章中做詳細的闡述。

Graph Embedding圖是一種表征能力極強的數(shù)據(jù)結構，但是無法直接作為神經(jīng)網(wǎng)絡的輸入。TFRS支持樣本以圖的形式進行輸入，并支持多種隨機游走算法動態(tài)生成正負樣本。目前Graph Embedding已經(jīng)應用在了搜索直通車的向量化召回等多個項目里，通過在User-Query-Item三種節(jié)點的異構有向圖中隨機游走，生成深度神經(jīng)網(wǎng)絡能夠處理的稀疏特征。最終學習出User，Query和Item三者的高維向量化的表示，用于線上廣告的向量化召回。值得一提的是，除了Graph Embedding，我們同樣支持對圖的結構進行學習，例如在訓練過程中反饋調(diào)整圖中的邊的權重等。

Memory Network記憶網(wǎng)絡最早由Facebook在2015年提出，用于QA系統(tǒng)中。在本模型出現(xiàn)之前，機器學習的模型都缺乏可以讀取和寫入外部知識的組件。對很多任務來說，這是一個很強的限制。比如，給定一系列事實或故事，然后要求回答關于該主題的問題，雖然原則上這可以用RNN等模型進行處理，然而它們的記憶（隱藏狀態(tài)和權重編碼）通常太小，并且不能精確地記住過去的事實。在阿里媽媽搜索廣告場景下，我們使用記憶網(wǎng)絡對用戶行為進行建模。

相比一般的在樣本組織階段進行記憶體生成的方式，TFRS通過在訓練過程中引入動態(tài)記憶存儲模塊，支持長短期記憶，大幅提高了序列化類行為數(shù)據(jù)的訓練效率。

?

九. 可視化模型分析系統(tǒng)DeepInsight

DeepInsight是一個深度學習可視化質(zhì)量評估系統(tǒng)，支持訓練階段模型內(nèi)部數(shù)據(jù)的全面透出與可視化分析，用以解決模型評估、分析、調(diào)試等一系列問題，提高深度模型的可解釋性。

下面我們通過一個過擬合的例子來說明DeepInsight在模型質(zhì)量分析和問題定位方面發(fā)揮的作用：

?

上圖是通過DeepInsight生成的特征權重分布,從圖中我們可以看到右側過擬合模型的邊權重大小分布很不均勻，出現(xiàn)了大量權重極大的邊，且集中在一條帶狀區(qū)域內(nèi)，其為某一組特征輸入所連接的所有邊，這表明模型過度擬合了該組特征的信息。在使用正則項和dropout之后，過擬合的問題仍然沒解決，因此我們最終定位到問題出現(xiàn)在該組特征的輸入上。

總結

以上是生活随笔為你收集整理的阿里妈妈基于TensorFlow做了哪些深度优化？TensorFlowRS架构解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。