CTR 系列文章：

廣告點擊率(CTR)預測經典模型 GBDT + LR 理解與實踐（附數據 + 代碼）

CTR經典模型串講：FM / FFM / 雙線性 FFM 相關推導與理解

CTR深度學習模型之 DeepFM 模型解讀

【CTR模型】TensorFlow2.0 的 DeepFM 實現與實戰(附代碼+數據)

CTR 模型之 Deep & Cross (DCN) 與 xDeepFM 解讀

【CTR模型】TensorFlow2.0 的 DCN(Deep & Cross Network) 實現與實戰(附代碼+數據)

【CTR模型】TensorFlow2.0 的 xDeepFM 實現與實戰(附代碼+數據)

本篇文章講解 CTR 經典模型 Deep & Cross (DCN) 與 xDeepFM，之所以把這兩個模型放一起講是因為它們有很近的“血緣關系”。理解了 DCN 的思想，再去理解 xDeepFM 就不覺得困難了。

以下文章對這兩個模型的講解很到位：

首先了解揭秘 Deep & Cross : 如何自動構造高階交叉特征

推薦系統遇上深度學習(二十二)–DeepFM升級版XDeepFM模型強勢來襲！

xDeepFM：名副其實的 ”Deep” Factorization Machine

因此，本文主要是對上述文章內容的梳理。

Deep & Cross (DCN)

首先來看看網絡結構：

首先來看看網絡的輸入部分。元素特征需要做如下處理：

對sparse特征進行embedding，對于multi-hot的sparse特征，embedding之后再做一個簡單的average pooling；

對dense特征歸一化，然后和embedding特征拼接，作為隨后Cross層與Deep層的共同輸入：
$$x_0=[x_{embed,1}^T,x_{embed,2}^T,...x_{embed,k}^T,x_{dense}^T{]}^T$$

接下來看看 Cross 部分。

上圖中模型的左半部分是包含了許多層的 Cross network，目標是以顯式、可控、高效的方式自動構建有限高階交叉特征。其中第 $l+1$ 層的計算過程為：

$$x_{l+1}=f(x_l,w_l,b_l)+x_l=x_0{x}_l^T{w}_l+b_l+x_l$$
其中，$x_{l+1},x_l,x_0$ 是 d 維向量。計算過程有兩個特點：

輸出神經元個數與輸入網絡的 $x_0$ 維度相同；

每一層的 $f$ 都是在擬合 $x_{l+1}?x_l$ 的殘差，這樣可以減緩梯度消失問題，使得網絡更深。

為什么這么設計呢？先看一些計算的例子：

假設 Cross 網絡有兩層，$x_0=[x_{0,1}{x}_{0,2}{]}^T$，為方便討論令 $b_i=0$，則有：
$$\begin{array}{rl}{\mathbf{x}}_1& ={\mathbf{x}}_0{\mathbf{x}}_0^T{\mathbf{w}}_0+{\mathbf{x}}_0=\left[\begin{array}{c}{x}_{0,1}\\ x_{0,2}\end{array}\right]\left[x_{0,1},x_{0,2}\right]\left[\begin{array}{c}{w}_{0,1}\\ w_{0,2}\end{array}\right]+\left[\begin{array}{c}{x}_{0,1}\\ x_{0,2}\end{array}\right]=\left[\begin{array}{c}{w}_{0,1}{x}_{0,1}^2+w_{0,2}{x}_{0,1}{x}_{0,2}+x_{0,1}\\ w_{0,1}{x}_{0,2}{x}_{0,1}+w_{0,2}{x}_{0,2}^2+x_{0,2}\end{array}\right]\end{array}$$
進而有：
$$\begin{array}{rl}{x}_2=& x_0{x}_1^T{w}_1+x_1\\ =& \left[\begin{array}{c}{w}_{1,1}{x}_{0,1}{x}_{1,1}+w_{1,2}{x}_{0,1}{x}_{1,2}+x_{1,1}\\ w_{1,1}{x}_{0.2}{x}_{1,1}+w_{1,2}{x}_{0,2}{x}_{1,2}+x_{1,2}\end{array}\right]\\ =& \left[\begin{array}{c}{w}_{0,1}{w}_{1,1}{z}_{0,1}^3+\left(w_{0,2}{w}_{1,1}+w_{0,1}{w}_{1,2}\right)x_{0,1}^2{x}_{0,2}+w_{0,2}{w}_{1,2}{x}_{0,1}{x}_{0,2}^2+\left(w_{0,1}+w_{1,1}\right)x_{0,1}^2+\left(w_{0,2}+w_{1,2}\right)x_{0,1}{z}_{0,2}+x_{0,1}\\ ???????\end{array}\right]\end{array}$$
可以看到 $x_1$ 包含了從一階到二階所有的可能交叉組合，而 $x_2$ 包含了從一階到三階的所有可能交叉組合，并且有下面的特點：

有限高階：交叉的階數由層數決定，深度 $L_c$ 具最高有 $L_c+1$ 階的交叉特征；

參數線性增長：模型參數數量與輸入維度成線性增長關系：$2\times d\times L_c$；

參數共享：并不是每個交叉組合都具有獨立的權重參數，而是共享了 $2\times d\times L_c$ 個權重參數。參數共享機制使得模型具有更強的泛化性和魯棒性。

這里對第三點加以解釋：如果每個交叉特征有獨立的參數，那么當訓練樣本中某個交叉特征 $x_i{x}_j$ 沒有出現，那么此交叉特征的權重參數就是 0 。而參數共享的情況下，權重幾乎不可能是 0，并且對于一些噪聲數據也可以由大部分正常樣本來糾正參數的學習。

要注意的是，輸入的 $x_0$ 是在 embedding 之后得到的，后續的交叉也是對 embedding 后的數值進行交叉。直接將 sparse 特征輸入網絡進行交叉才是最合理的做法，但是這么做的話參數過多，所以先進行一次 embedding 操作，這實際上也是一種 trade-off。

其他的 DNN 部分和輸出的部分都比較好理解，這里就不多做敘述了。

xDeepFM

我第一次看到 xDeepFM 以為是 DeepFM 的改進版本，后來才發現他更像是在 DCN 的基礎上改進的。

在正式講解之前，先了解下什么是 bit-wise 什么是vector-wise：

假設隱向量的維度為3維，如果兩個特征(對應的向量分別為(a1,b1,c1)和(a2,b2,c2)的話）在進行交互時，交互的形式類似于f(w1 * a1 * a2,w2 * b1 * b2 ,w3 * c1 * c2)的話，此時我們認為特征交互是發生在元素級（bit-wise）上。如果特征交互形式類似于 f(w * (a1 * a2 ,b1 * b2,c1 * c2))的話，那么我們認為特征交互是發生在特征向量級（vector-wise）。

對于包括 DCN 在內的許多模型在構造交叉特征時，都是以 bit-wise 的方式進行特征組合，而FM是以向量為最細粒度學習相關性，即vector-wise。xDeepFM的動機，正是將 FM 的 vector-wise 思想引入Cross部分。

下圖是 xDeepFM 的整體結構：

模型的輸入部分與 DCN 類似，本節重點講解 CIN 部分，如下圖所示：

CIN 的輸入來自 embedding 層，假設有 m 個 field，每個 field 的 embedding 維度為 D ，則輸入可以表示為矩陣 $X^0\in {\mathbb{R}}^{m?D}$。

CIN 內部有 k 層，每一層都會輸出一個矩陣 $X^k\in {\mathbb{R}}^{H_k?D}$ ，k 表示第 k 層的輸出， $H_k$ 表示第 k 層有 $H_k$ 個維度為 D 的向量。要得到 $X^k$ ，需要接收兩個矩陣作為輸入，一個是 $X^{k?1}$ ，另一個是 $X^0$ ，具體的計算公式如下：
$${\mathbf{X}}_{h,?}^k=\sum _{i=1}^{H_{k?1}}\sum _{j=1}^m{\mathbf{W}}_{ij}^{k,h}\left({\mathbf{X}}_{i,?}^{k?1}°{\mathbf{X}}_{j,?}^0\right)\in {\mathbb{R}}^{1?D},\text{?where?}1\le h\le H_k$$
其中 $W^{k,h}\in {\mathbb{R}}^{H_{k?1}?m}$，表示要得到第 k 層第 h 個向量所需要的權重矩陣， $H_{k?1}$ 表示第 $k?1$ 層的輸出矩陣 $X^{k?1}$ 由 $H_{k?1}$ 個維度為 D 的向量組成。$°$ 表示Hadamard乘積，即逐元素乘，例如：
$$<a_1,b_1,c_1>°<a_2,b_2,c_2>=<a_1{b}_1,a_2{b}_2,a_3{b}_3>$$
式子中 ${\mathbf{X}}_{i,?}^{k?1}°{\mathbf{X}}_{j,?}^0$ 是表示取出 $X^{k?1}$ 的第 $i$ 個向量與輸入層 $X^0$ 中第 $j$ 個向量進行 Hadamard 乘積運算。整個公式的計算過程可以用下圖表示：

上面的公式的計算結果只得到了第 h 個向量 ${\mathbf{X}}_{h,?}^k$ ，實際上我們會使用 $H_k$ 個不同的權重矩陣 $W^{k,h}$ 來獲得不同的向量，最后這些向量拼接成輸出 $X^k\in {\mathbb{R}}^{H_k?D}$ 。

需要注意的是，在第 $l$ 層實際上只包含了第 $l+1$ 階的交叉特征，為了得到不同階的輸出，需要在每一層得到計算結果后通過 sum pooling 進行輸出。至于一階特征，則單獨由模型的結構圖最左側的 Linear 模塊進行加權求和。最右側的 DNN 模塊比較好理解，就不做解釋了。

從計算過程就可以看出此模型的復雜度比較高，需要的參數也比較多，因此訓練的時候可能出現過擬合現象，為此可以配合 Droupout 或者其他防止過擬合的方法使用。

總結

以上是生活随笔為你收集整理的CTR 模型之 Deep Cross (DCN) 与 xDeepFM 解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。