CTR 系列文章：

廣告點擊率(CTR)預測經典模型 GBDT + LR 理解與實踐（附數據 + 代碼）

CTR經典模型串講：FM / FFM / 雙線性 FFM 相關推導與理解

CTR深度學習模型之 DeepFM 模型解讀

【CTR模型】TensorFlow2.0 的 DeepFM 實現與實戰(附代碼+數據)

CTR 模型之 Deep & Cross (DCN) 與 xDeepFM 解讀

【CTR模型】TensorFlow2.0 的 DCN(Deep & Cross Network) 實現與實戰(附代碼+數據)

【CTR模型】TensorFlow2.0 的 xDeepFM 實現與實戰(附代碼+數據)

上一篇文章講了一些比較經典的 CTR 模型：CTR經典模型串講：FM / FFM / 雙線性 FFM 相關推導與理解，從這一篇文章開始將會陸續介紹一些使用深度學習完成CTR預估的模型，本文主要講的是DeepFM模型。

之前講的 FM、FFM、Bi-FFM 本質上都是要學習戶點擊行為背后隱含的特征組合，不過這些經典模型主要是進行二階特征組合。理論上也可以進行更高階的特征組合，但是會造成特征維度指數級增長以及數據稀疏等問題。對于高階特征組合問題不難想到可以用多層的神經網絡解決。

DeepFM 的整體結構

對于類別變量，需要進行onehot編碼后輸入到DNN中，但是常規的做法會導致網絡參數過多：

為了減少參數數量，可以借鑒FFM的思想，將特征劃分為不同的 field：

然后再接上幾個全連接層完成高階特征組合：

當然，我們也可以單獨進行低階特征組合，然后和高級特征融合，即將DNN與FM進行融合。具體的形式有兩種，一是串行結構，二是并行結構：

DeepFM 是并行結構的代表，具體結構如下：

此模型主要分為左邊的FM模塊與右邊的DNN模塊，最終的預測由兩部分的輸出相加得到：
$$\hat{y}=sigmoid(y_{FM}+y_{DNN})$$

DeepFM 中的 FM 模塊

FM模塊如下圖所示：

此部分實現的功能是：
$$y_{FM}=?w,x?+\sum _{i=1}^d\sum _{j=i+1}^d?V_i,V_j?x_i?x_j$$
首先看看式子的第一項 $<w,x>$ 的計算是由下圖中黃色實心圓表示的每個field的非零值相以及綠色箭頭都代表的權重 w 相乘后累加而得。

接下來介紹FM式子中的二次項計算過程。首先理解下圖中的 Dense Embeddings 層，如果對輸入層和embedding層展開后可以得到下面的圖：

看到圖中的 $V_{11},V_{12},V_{ik}$是不是很熟悉？由于CTR的輸入層一般是很稀疏的向量，因此需要隱藏層之前，先按照不同的 field 進行 embedding 操作將高維稀疏壓縮向量到低維稠密向量。這個 embedding 過程有兩個特點：

1，不同的 field 的輸入可能不同，但是在embedding之后向量的長度均為K

2，在 FM 里得到的隱變量 $V_{ik}$ 現在作為了嵌入層網絡的權重

舉個例子，假設 embedding 后的維度 k=5，則對于每個 field 的輸入，只有一個輸入節點 $x_i$ 為1，例如 $x_2=1$，此時輸入層與對應的 filed 層中，僅有五條帶有權重的線與 embedding 層相連，這五條線上的權重 $V_{21},V_{22},V_{23},V_{24},V_{25}$ 的組合即為 FM 公式第二項中的 $V_2$，如下圖綠色箭頭所示：

同理，我們可以得到 $V_1,V_3....V_n$，然后在 FM 層中對不同 $V_i,V_j$的組合進行內積計算，例如下圖中綠色箭頭所示：

最后，在最上層使用 sigmoid 激活函數得到該 FM 模塊的輸出值。

DeepFM 中的 DNN 模塊

首先看看這個模塊的整體結構：

此模塊使用多層前饋神經網絡，用于學習高階交叉特征。具體過程是：得到了 Embedding 層的輸出后，連接一些隱藏層，然后在最上面的輸出層使用 sigmoid 函數得到最后的輸出值。

需要注意的是，隱藏層的輸入是 Embedding 層，這個嵌入層是 FM 模塊與 DNN 模塊所共享的。這帶來兩個好處：

1，可以從原始特征中學習到低階和高階特征

2，不需要專業的特征工程

到此為止，DeepFM 模型相關的解釋說明就結束了，后續可能會有文章講解 tensorflow2 的相關代碼實現。

參考文章：

DeepFM技術細節

推薦系統遇上深度學習(三)–DeepFM模型理論和實踐

總結

以上是生活随笔為你收集整理的CTR深度学习模型之 DeepFM 模型解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。