作者丨紀厚業

單位丨北京郵電大學博士生

研究方向丨異質圖神經網絡及其應用

引言

推薦系統尤其是深度推薦系統已經在工業界得到了廣泛應用，尤其是在電商場景下（如淘寶和京東的商品推薦）。一個好的工業級推薦系統可以推動業務增長帶來大量的經濟效益。那么，工業級推薦系統的最佳實踐是怎樣的呢？Facebook 的推薦團隊在本文給出了他們的答案。
本文詳細介紹了 Facebook 最新的推薦系統實踐包括特征處理、算法建模、代碼實現和平臺介紹。如此詳細清楚的論文，可以說是工業界推薦系統的必讀論文之一。作者也開源了代碼和最優超參數供大家學習：https://github.com/facebookresearch/dlrm

模型架構

本文所設計的推薦系統架構如 Fig 1 所示。整個模型主要包含：特征工程（包含 spare 和 dense 特征），用于特征建模 Embedding 和 Embedding Lookup，用于特征轉換的 NNs，用于特征交互的 Interactions 以及最后的預測 NNs。

特征表示?Embedding

在實際的推薦場景中，用戶和商品通常都有豐富的特征信息。用戶的特征通常用性別，年齡，居住地等。如何將這些類別特征轉為模型可以處理的向量呢。本文的做法是將這些類別特征編碼為 one-hot 的向量，然后通過 embedding lookup 來得到其表示。

以用戶的性別為例，性別男的 one-hot 編碼為?[1, 0] 性別女的 one-hot 編碼為?[0,1]。然后，我們針對性別初始化一個關于性別的 embedding matrix，該矩陣大小為 2*d，2 代表性別的可能取值，d 代表 embedding 的維度。那么通過 embedding lookup，性別男的 embedding 其實就是 embedding matrix的第一行，性別女的 embedding 就是 embedding matrix 的第二行。通過上述操作，我們就將難以處理的類別特征轉化為了神經網絡方便處理的向量。

上述過程得到是類別特征的初始 embedding，我們可以通過 MLP 對其進行非線性轉換。初始的特征 embedding 會在模型優化過程中學習到具有區分度的特征表示。

特征交互?Interaction

在得到特征的表示后，我們通過內積等簡單操作實現模型的預測：

但是，如果我們能夠抓住的描述特征關聯性，那么模型的預測能力可能會進一步提升。例如，經典的 FM：

特征交叉的好處到底在哪呢？這里給一個形象的例子：經度和緯度分開看并不能精準定位某個地區，但是當經緯度結合起來就可以精準定位地區，該地區的每一部分擁有的類似的特性。

模型預測?NNs

有了特征的表示及其交互之后，我們可以將其送入到 MLP 中，并利用 Sigmoid 函數預測最終的點擊概率。

可以看出，本文所提出的 DLRM 模型其實并沒有很復雜，但是卻將工業界的一些實踐方法給出了清晰的介紹。

模型實現

DLRM 實現所需要的相關接口在 PyTorch 和 Caffe2 中都有實現，見 Table 1。

模型并行

在工業界的大規模數據下，模型并行是必不可少的一個步驟。DLRM 模型的主要參數來自于特征的 embedding，后面特征交互和模型預測部分的參數其實很少。假設我們有一億個用戶，如果對其 ID 進行 embedding，那么 embedding matrix 就會有一億行，這是一個非常大的參數矩陣。

對于特征 embedding 部分，這里采用的是模型并行，將一個大的embedding 矩陣放到多個設備上，然后更新相應的特征 embedding。

對于特征交互和模型預測部分，這里的參數量相對較少而且用戶/商品的數量無關，本文采用的是數據并行的方式。在多個設備上計算梯度，然后將梯度合并來更新模型。

實驗

本文在隨機數據，合成數據和公開數據上進行了實驗。對比算法主要是Deep cross network。整個實驗運行在 Facebook 的 Big Basin platform 上。

具體實驗結果如下：

可以看出，本文所提出的 DLRM 算法明顯超越谷歌的 DCN。

總結

本文提出了一種工業級推薦系統 DLRM 并實驗驗證了其優越性。同時，作者也給出了工業界推薦系統的最佳實踐，相關代碼和超參數設置也進行了開源。可以說，本文是在工業界做推薦系統的必讀論文之一。

點擊以下標題查看更多往期內容：?

• KDD 2019?| 基于異質圖神經網絡的用戶意圖推薦
  

• 深度學習推薦系統是否真的優于傳統經典方法？
  

• 知其所以然：基于多任務學習的可解釋推薦系統
  

• 推薦系統閱讀清單：最近我們在讀哪些論文？
  

• 近期必讀的12篇「推薦系統」相關論文
  

• 基于小樣本學習的意圖識別冷啟動
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的工业界推荐系统必读论文：基于深度学习的推荐模型——DLRM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。