畢業(yè)于清華大學(xué)計算機系的王喆學(xué)長回顧了近3年來的所有主流深度學(xué)習(xí)CTR （click through rate） 模型，并梳理推薦系統(tǒng)、計算廣告領(lǐng)域在深度學(xué)習(xí)方面的前沿進展。內(nèi)容來源：https://zhuanlan.zhihu.com/p/63186101

隨著微軟的Deep Crossing，Google的Wide&Deep，以及FNN，PNN等一大批優(yōu)秀的深度學(xué)習(xí)CTR預(yù)估模型在2016年被提出，計算廣告和推薦系統(tǒng)領(lǐng)域全面進入了深度學(xué)習(xí)時代，時至今日，深度學(xué)習(xí)CTR模型已經(jīng)成為廣告和推薦領(lǐng)域毫無疑問的主流。進入深度學(xué)習(xí)時代之后，CTR模型不僅在表達(dá)能力、模型效果上有了質(zhì)的提升，而且大量借鑒并融合了深度學(xué)習(xí)在圖像、語音以及自然語言處理方向的成果，在模型結(jié)構(gòu)上進行了快速的演化。

本文總結(jié)了廣告、推薦領(lǐng)域最為流行的10個深度學(xué)習(xí)CTR模型的結(jié)構(gòu)特點，構(gòu)建了它們之間的演化圖譜。選擇模型的標(biāo)準(zhǔn)盡量遵循下面三個原則：

• 模型的在業(yè)界影響力較大的；
• 已經(jīng)被Google，微軟，阿里等知名互聯(lián)網(wǎng)公司成功應(yīng)用的；
• 工程導(dǎo)向的，而不是僅用實驗數(shù)據(jù)驗證或?qū)W術(shù)創(chuàng)新用的。

深度學(xué)習(xí)CTR模型演化圖譜

1.?Deep Crossing

微軟于2016年提出的Deep Crossing可以說是深度學(xué)習(xí)CTR模型的最典型和基礎(chǔ)性的模型。其模型結(jié)構(gòu)如下圖所示；該模型基本涵蓋了深度CTR模型最典型的要素，即通過加入embedding層將稀疏特征轉(zhuǎn)化為低維稠密特征，用stacking layer，或者叫做concat layer將分段的特征向量連接起來，再通過多層神經(jīng)網(wǎng)絡(luò)完成特征的組合、轉(zhuǎn)換，最終用scoring layer完成CTR的計算。跟經(jīng)典DNN有所不同的是，Deep crossing采用的multilayer perceptron是由殘差網(wǎng)絡(luò)組成的，這無疑得益于MSRA著名研究員何愷明提出的著名的152層ResNet。

微軟Deep Crossing深度CTR模型框架

手工制作的組合特征一直是許多成功模型背后的“秘密醬汁”。然而，對于Web規(guī)模的應(yīng)用程序，多樣和海量的特征使得這些手工制作的特征在創(chuàng)建、維護和部署方面都很昂貴。本文提出了Deep Crossing模型，它實質(zhì)是一種深度神經(jīng)網(wǎng)絡(luò)，能自動地將特征結(jié)合起來，從而產(chǎn)生出更好的模型。Deep Crossing的輸入是一組單獨的特征，可以是密集的或稀疏的。由embedding和stacking以及Residual Units組成的網(wǎng)絡(luò)隱式地發(fā)現(xiàn)了重要的交叉特征。通過CNTK建模工具實現(xiàn)Deep Crossing。Deep Crossing能夠從零開始為一個付費搜索引擎構(gòu)建網(wǎng)絡(luò)規(guī)模的模型，并且只使用生產(chǎn)模型中使用的一個子集就可以獲得更好的結(jié)果。結(jié)果表明了使用Deep Crossing作為通用建模范式可以改進現(xiàn)有產(chǎn)品以及加快新模型的開發(fā)的潛力，這些新模型的開銷僅占特征工程和獲得深度領(lǐng)域知識的一小部分。

論文：[Deep Crossing] Deep Crossing - Web-Scale Modeling without Manually Crafted Combinatorial Features (Microsoft 2016)

2.?FNN：Factorization-machine supported neural network

FNN相比Deep Crossing的創(chuàng)新在于使用FM的隱層向量作為user和item的Embedding，從而避免了完全從隨機狀態(tài)訓(xùn)練Embedding。由于id類特征大量采用one-hot的編碼方式，導(dǎo)致其維度極大，向量極稀疏，所以Embedding層與輸入層的連接極多，梯度下降的效率很低，這大大增加了模型的訓(xùn)練時間和Embedding的不穩(wěn)定性，使用pre train的方法完成Embedding層的訓(xùn)練，無疑是降低深度學(xué)習(xí)模型復(fù)雜度和訓(xùn)練不穩(wěn)定性的有效工程經(jīng)驗。

四層的FNN模型結(jié)構(gòu)

預(yù)測用戶響應(yīng)，如點擊率和轉(zhuǎn)換率，在許多Web應(yīng)用程序中都是至關(guān)重要的，包括Web搜索、個性化推薦和在線廣告。與我們通常在圖像和音頻域中發(fā)現(xiàn)的連續(xù)原始特征不同，Web空間中的輸入特征通常是多字段的，并且大多是離散和分類的，而它們的依賴性卻鮮為人知。主要的用戶響應(yīng)預(yù)測模型要么局限于線性模型，要么需要手動構(gòu)建高階組合特征。前者失去了探索特征交互的能力，而后者在大特征空間中導(dǎo)致了大量的計算。為了解決這個問題，我們提出了兩個新的模型，使用深度神經(jīng)網(wǎng)絡(luò)（dnns），從分類特征交互中自動學(xué)習(xí)有效的模式，并對用戶的廣告點擊進行預(yù)測。為了使我們的dnn有效地工作，我們建議利用三種特征轉(zhuǎn)換方法，即因子分解機（fms）、受限Boltzmann機（rbms）和去噪自動編碼器（daes）。本文介紹了該模型的結(jié)構(gòu)及其有效的訓(xùn)練算法。對實際數(shù)據(jù)的大規(guī)模實驗表明，我們的方法比主要的最先進的模型更有效。

論文：[FNN] Deep Learning over Multi-field Categorical Data (UCL 2016)

3.?PNN：Product based neural network

PNN的全稱是Product-based Neural Network，PNN的關(guān)鍵在于在embedding層和全連接層之間加入了Product layer。傳統(tǒng)的DNN是直接通過多層全連接層完成特征的交叉和組合的，但這樣的方式缺乏一定的“針對性”。首先全連接層并沒有針對不同特征域之間進行交叉；其次，全連接層的操作也并不是直接針對特征交叉設(shè)計的。但在實際問題中，特征交叉的重要性不言而喻，比如年齡與性別的交叉是非常重要的分組特征，包含了大量高價值的信息，我們急需深度學(xué)習(xí)網(wǎng)絡(luò)能夠有針對性的結(jié)構(gòu)能夠表征這些信息。因此PNN通過加入Product layer完成了針對性的特征交叉，其product操作在不同特征域之間進行特征組合。并定義了inner product，outer product等多種product的操作捕捉不同的交叉信息，增強模型表征不同數(shù)據(jù)模式的能力 。

Product based neural netwrk 架構(gòu)

預(yù)測用戶的反應(yīng)，如點擊和轉(zhuǎn)換，是非常重要的，并且已經(jīng)發(fā)現(xiàn)它在許多網(wǎng)絡(luò)應(yīng)用中的應(yīng)用，包括推薦系統(tǒng)、網(wǎng)絡(luò)搜索和在線廣告。這些應(yīng)用程序中的數(shù)據(jù)大多是分類的，包含多個字段；典型的表示方法是通過one-hot將其轉(zhuǎn)換為高維稀疏二進制特征表示。面對極端的稀疏性，傳統(tǒng)模型通過低階特征組來限制其從數(shù)據(jù)中挖掘淺層模式的能力。另一方面，像神經(jīng)網(wǎng)絡(luò)這樣的深度模型，由于特征空間很大，不能直接應(yīng)用于高維輸入。本文提出了一種基于product的神經(jīng)網(wǎng)絡(luò)（PNN），它通過嵌入層來學(xué)習(xí)分類數(shù)據(jù)的分布式表示、捕獲域間類別之間交互模式的product層，以及進一步研究高階特征交互的全連接層。我們在兩個大型現(xiàn)實世界點擊數(shù)據(jù)集上的實驗結(jié)果表明，PNN在各種指標(biāo)上始終優(yōu)于最先進的模型。

論文：[PNN] Product-based Neural Networks for User Response Prediction (SJTU 2016)

4.?Wide&Deep

Google Wide&Deep模型的主要思路正如其名，把單輸入層的Wide部分和經(jīng)過多層感知機的Deep部分連接起來，一起輸入最終的輸出層。其中Wide部分的主要作用是讓模型具有記憶性（Memorization），單層的Wide部分善于處理大量稀疏的id類特征，便于讓模型直接“記住”用戶的大量歷史信息；Deep部分的主要作用是讓模型具有“泛化性”（Generalization），利用DNN表達(dá)能力強的特點，挖掘藏在特征后面的數(shù)據(jù)模式。最終利用LR輸出層將Wide部分和Deep部分組合起來，形成統(tǒng)一的模型。Wide&Deep對之后模型的影響在于——大量深度學(xué)習(xí)模型采用了兩部分甚至多部分組合的形式，利用不同網(wǎng)絡(luò)結(jié)構(gòu)挖掘不同的信息后進行組合，充分利用和結(jié)合了不同網(wǎng)絡(luò)結(jié)構(gòu)的特點。

Wide&Deep 模型框架

具有非線性特征變換的通用線性模型被廣泛應(yīng)用于具有稀疏輸入的大規(guī)模回歸和分類問題。通過通用的跨產(chǎn)品特征轉(zhuǎn)換記憶特征交互是可選的和可解釋的，而泛化需要更多的特征工程工作。在特征工程較少的情況下，深度神經(jīng)網(wǎng)絡(luò)可以通過為稀疏特征學(xué)習(xí)的低維密集嵌入更好地概括為看不見的特征組合。然而，當(dāng)用戶項目交互稀疏且等級較高時，嵌入深度神經(jīng)網(wǎng)絡(luò)可以過度概括和推薦不太相關(guān)的項目。在本文中，我們提出了寬深學(xué)習(xí)聯(lián)合訓(xùn)練的寬線性模型和深神經(jīng)網(wǎng)絡(luò)，以結(jié)合記憶和泛化對推薦系統(tǒng)的好處。我們在Google Play（擁有超過10億活躍用戶和超過100萬應(yīng)用程序的商業(yè)移動應(yīng)用商店）上生產(chǎn)和評估了該系統(tǒng)。在線實驗結(jié)果表明，與純寬型和純深型相比，寬深型顯著增加了應(yīng)用程序的購買量。我們還在TensorFlow中開放源代碼實現(xiàn)。

論文：[Wide&Deep] Wide & Deep Learning for Recommender Systems (Google 2016)

5.?DeepFM： Deep factorization machine

在Wide&Deep之后，諸多模型延續(xù)了雙網(wǎng)絡(luò)組合的結(jié)構(gòu)，DeepFM就是其中之一。DeepFM對Wide&Deep的改進之處在于，它用FM替換掉了原來的Wide部分，加強了淺層網(wǎng)絡(luò)部分特征組合的能力。事實上，由于FM本身就是由一階部分和二階部分組成的，DeepFM相當(dāng)于同時組合了原Wide部分+二階特征交叉部分+Deep部分三種結(jié)構(gòu)，無疑進一步增強了模型的表達(dá)能力。

Wide & deep architecture of DeepFM. The wide and deep component share the same input raw feature vector, which enables DeepFM to learn low- and high-order feature interactions simultaneously from the input raw features

學(xué)習(xí)用戶行為背后復(fù)雜的特征交互對于最大化推薦系統(tǒng)的ctr至關(guān)重要。盡管取得了很大的進展，但現(xiàn)有的方法似乎對低階或高階交互有很大的偏向，或者需要專門的特性工程。在本文中，我們證明了可以推導(dǎo)一個強調(diào)低階和高階特征交互的端到端學(xué)習(xí)模型。該模型將因子分解機的推薦能力和特征學(xué)習(xí)的深度學(xué)習(xí)能力結(jié)合在一個新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。與google最新的寬深模型相比，deepfm對其“寬”和“深”部分有一個共享的輸入，除了原始特性外，不需要特性工程。通過綜合實驗，驗證了DEEPFM對現(xiàn)有的CTR預(yù)測模型在基準(zhǔn)數(shù)據(jù)和商業(yè)數(shù)據(jù)上的有效性和有效性。

論文：[DeepFM] A Factorization-Machine based Neural Network for CTR Prediction (HIT-Huawei 2017)

6.?Deep&Cross ： instead wide part by crossing

Google 2017年發(fā)表的Deep&Cross Network（DCN）同樣是對Wide&Deep的進一步改進，主要的思路使用Cross網(wǎng)絡(luò)替代了原來的Wide部分。其中設(shè)計Cross網(wǎng)絡(luò)的基本動機是為了增加特征之間的交互力度，使用多層cross layer對輸入向量進行特征交叉。單層cross layer的基本操作是將cross layer的輸入向量xl與原始的輸入向量x0進行交叉，并加入bias向量和原始xl輸入向量。DCN本質(zhì)上還是對Wide&Deep Wide部分表達(dá)能力不足的問題進行改進，與DeepFM的思路非常類似。

Deep? &? Cross 網(wǎng)絡(luò)框架

特征工程是許多預(yù)測模型成功的關(guān)鍵。然而，這一過程并不簡單，需要人工進行特征工程或徹底搜索。dnn能夠自動學(xué)習(xí)特征交互；但是，它們隱式地生成所有交互，并且不一定有效地學(xué)習(xí)所有類型的交叉特征。本文提出了一種保持DNN模型優(yōu)點的深度交叉網(wǎng)絡(luò)（DCN），并在此基礎(chǔ)上，提出了一種能更有效地學(xué)習(xí)一定有界度特征交互的新型交叉網(wǎng)絡(luò)。特別是，DCN在每一層都顯式地應(yīng)用了特征交叉，不需要人工進行特征工程，并且為DNN模型增加了可忽略的額外復(fù)雜性。我們的實驗結(jié)果表明，在模型精度和內(nèi)存使用方面，它在ctr預(yù)測數(shù)據(jù)集和密集分類數(shù)據(jù)集上優(yōu)于最先進的算法。

論文：[DCN] Deep & Cross Network for Ad Click Predictions (Stanford 2017)

7.?NFM：improve the presentation of deep part

相對于DeepFM和DCN對于Wide&Deep Wide部分的改進，NFM可以看作是對Deep部分的改進。NFM的全稱是Neural Factorization Machines，如果我們從深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)的角度看待FM，FM也可以看作是由單層LR與二階特征交叉組成的Wide&Deep的架構(gòu)，與經(jīng)典W&D的不同之處僅在于Deep部分變成了二階隱向量相乘的形式。再進一步，NFM從修改FM二階部分的角度出發(fā)，用一個帶Bi-interaction Pooling層的DNN替換了FM的特征交叉部分，形成了獨特的Wide&Deep架構(gòu)。其中Bi-interaction Pooling可以看作是不同特征embedding的element-wise product的形式。這也是NFM相比Google Wide&Deep的創(chuàng)新之處。

NFM的深度網(wǎng)絡(luò)部分模型架構(gòu)圖

許多Web應(yīng)用程序的預(yù)測任務(wù)需要對分類變量建模，例如用戶ID和人口統(tǒng)計學(xué)，如性別和職業(yè)。為了應(yīng)用標(biāo)準(zhǔn)的機器學(xué)習(xí)技術(shù)，這些分類預(yù)測器總是通過one-hot編碼轉(zhuǎn)換成一組二進制特征，使得生成的特征向量高度稀疏。要有效地從這些稀疏的數(shù)據(jù)中學(xué)習(xí)，關(guān)鍵是要考慮特征之間的交互。因子分解機（factorization machines，FMS）是一種廣泛使用的解決方案，可以有效地利用二階特征交互。然而，FM模型以線性方式呈現(xiàn)交互，這對于捕獲現(xiàn)實數(shù)據(jù)的非線性和復(fù)雜的固有結(jié)構(gòu)是不太合適的。雖然深度神經(jīng)網(wǎng)絡(luò)最近已被應(yīng)用于學(xué)習(xí)行業(yè)中的非線性特征交互，如谷歌的廣度和深度以及微軟的深度交叉，但其深層結(jié)構(gòu)同時使其難以訓(xùn)練。本文提出了一種新的模型神經(jīng)因式分解機（NFM），用于稀疏環(huán)境下的預(yù)測。NFM在二階特征交互建模中無縫結(jié)合了FM的線性，在高階特征交互建模中無縫結(jié)合了神經(jīng)網(wǎng)絡(luò)的非線性。從概念上講，NFM比FM更具表現(xiàn)力，因為FM可以看作是NFM的一種特殊情況，沒有隱藏層。兩個回歸任務(wù)的實證結(jié)果表明，僅使用一個隱藏層，NFM顯著優(yōu)于FM，相對改善7.3%。與最新的深度學(xué)習(xí)方法相比，我們的NFM采用了較淺的結(jié)構(gòu)，但提供了更好的性能，在實踐中更容易訓(xùn)練和調(diào)優(yōu)。

[NFM] Neural Factorization Machines for Sparse Predictive Analytics (NUS 2017)

8.?AFM： Factorization machine with attention machanism

AFM的全稱是Attentional Factorization Machines，通過前面的介紹我們很清楚的知道，FM其實就是經(jīng)典的Wide&Deep結(jié)構(gòu)，其中Wide部分是FM的一階部分，Deep部分是FM的二階部分，而AFM顧名思義，就是引入Attention機制的FM，具體到模型結(jié)構(gòu)上，AFM其實是對FM的二階部分的每個交叉特征賦予了權(quán)重，這個權(quán)重控制了交叉特征對最后結(jié)果的影響，也就非常類似于NLP領(lǐng)域的注意力機制（Attention Mechanism）。為了訓(xùn)練Attention權(quán)重，AFM加入了Attention Net，利用Attention Net訓(xùn)練好Attention權(quán)重后，再反向作用于FM二階交叉特征之上，使FM獲得根據(jù)樣本特點調(diào)整特征權(quán)重的能力。

AFM模型架構(gòu)圖

因子分解機是一種有監(jiān)督的學(xué)習(xí)方法，它通過結(jié)合二階特征交互來增強線性回歸模型。盡管有效，但是FM可以通過建模具有相同權(quán)重的所有特征交互而受到阻礙，因為并非所有特征交互都同樣有用且具有預(yù)測性。例如，與無用特性的交互甚至可能引入噪聲并對性能造成不利影響。在本文中，我們通過區(qū)分不同特征交互的重要性來改進FM。我們提出了一個新的模型，即注意因子分解機（AFM），它通過神經(jīng)注意網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)每個特征交互的重要性。對兩個真實數(shù)據(jù)集進行的大量實驗證明了AFM的有效性。從經(jīng)驗上看，它在回歸任務(wù)AFM Betters FM中表現(xiàn)出8.6%的相對改善，并且始終優(yōu)于最先進的深度學(xué)習(xí)方法，具有更簡單的結(jié)構(gòu)和更少的模型參數(shù)。https://github.com/hexiangnan/attentional factorization machine

論文：[AFM] Attentional Factorization Machines - Learning the Weight of Feature Interactions via Attention Networks (ZJU 2017)

9. DIN：Deep interest network

AFM在FM中加入了Attention機制，2018年，阿里巴巴正式提出了融合了Attention機制的深度學(xué)習(xí)模型——Deep Interest Network。與AFM將Attention與FM結(jié)合不同的是，DIN將Attention機制作用于深度神經(jīng)網(wǎng)絡(luò)，在模型的embedding layer和concatenate layer之間加入了attention unit，使模型能夠根據(jù)候選商品的不同，調(diào)整不同特征的權(quán)重。

阿里DIN模型與Base模型的架構(gòu)圖

利用豐富的歷史行為數(shù)據(jù)，更好地提取用戶的興趣，對于構(gòu)建電子商務(wù)行業(yè)在線廣告系統(tǒng)的點擊率預(yù)測模型至關(guān)重要。對用戶行為數(shù)據(jù)有兩個關(guān)鍵的觀察：i）多樣性。用戶在訪問電子商務(wù)網(wǎng)站時對不同種類的商品感興趣。ii）局部激活。用戶單擊或不單擊某個商品僅取決于其相關(guān)歷史行為的一部分。然而，大多數(shù)傳統(tǒng)的ctr模型缺乏捕獲這些行為數(shù)據(jù)結(jié)構(gòu)的能力。本文介紹了一種在阿里巴巴展示廣告系統(tǒng)中開發(fā)和部署的新型深度興趣網(wǎng)絡(luò)（Din）。Din通過利益分配來代表用戶的多樣性利益，并根據(jù)候選廣告設(shè)計了一種關(guān)注度（如網(wǎng)絡(luò)結(jié)構(gòu)）來局部激活相關(guān)利益，這被證明是有效的，并且顯著優(yōu)于傳統(tǒng)模式。在大規(guī)模稀疏輸入的工業(yè)深網(wǎng)訓(xùn)練中，容易遇到過擬合問題。我們仔細(xì)研究了這個問題，并提出了一種實用的自適應(yīng)正則化技術(shù)。

論文：[DIN] Deep Interest Network for Click-Through Rate Prediction (Alibaba 2018)

10. DIEN : an evolution for DIN

DIEN的全稱為Deep Interest Evolution Network，它不僅是對DIN的進一步“進化”，更重要的是DIEN通過引入序列模型 AUGRU模擬了用戶興趣進化的過程。具體來講模型的主要特點是在Embedding layer和Concatenate layer之間加入了生成興趣的Interest Extractor Layer和模擬興趣演化的Interest Evolving layer。其中Interest Extractor Layer使用了DIN的結(jié)構(gòu)抽取了每一個時間片內(nèi)用戶的興趣，Interest Evolving layer則利用序列模型AUGRU的結(jié)構(gòu)將不同時間的用戶興趣串聯(lián)起來，形成興趣進化的鏈條。最終再把當(dāng)前時刻的“興趣向量”輸入上層的多層全連接網(wǎng)絡(luò)，與其他特征一起進行最終的CTR預(yù)估。

阿里DIEN模型架構(gòu)圖

論文：[DIEN] Deep Interest Evolution Network for Click-Through Rate Prediction (Alibaba 2019)

總結(jié)：

文章的最后，再次強調(diào)深度學(xué)習(xí)CTR模型演化圖，可以毫不夸張的說，這張演化圖包括了近年來所有主流的深度學(xué)習(xí)CTR模型的結(jié)構(gòu)特點以及它們之間的演化關(guān)系。希望能夠幫助推薦、廣告、搜索領(lǐng)域的算法工程師們建立起完整的知識體系，能夠駕輕就熟的針對業(yè)務(wù)特點應(yīng)用并比較不同模型的效果，從而用最適合當(dāng)前數(shù)據(jù)模式的模型驅(qū)動公司業(yè)務(wù)。

結(jié)合自己的工作經(jīng)驗，關(guān)于深度學(xué)習(xí)模型我想再分享兩點內(nèi)容：

沒有銀彈。從來沒有一個深度學(xué)習(xí)模型能夠在所有數(shù)據(jù)集上都表現(xiàn)最優(yōu)，特別是推薦、廣告領(lǐng)域，各家的數(shù)據(jù)集，數(shù)據(jù)pattern、業(yè)務(wù)領(lǐng)域差異巨大，不存在能夠解決一切問題的“銀彈”模型。比如，阿里的DIEN對于數(shù)據(jù)質(zhì)量、用戶整個life cycle行為完整性的要求很高，如果在某些DSP場景下運用這個模型，預(yù)計不會收到良好的效果。再比如Google 的Deep & Cross，我們也要考慮自己的數(shù)據(jù)集需不需要如此復(fù)雜的特征交叉方式，在一些百萬量級的數(shù)據(jù)集上，也許淺層神經(jīng)網(wǎng)絡(luò)的表現(xiàn)更好。

算法工程師永遠(yuǎn)要在理想和現(xiàn)實間做trade off。有一種思想要避免，就是我為了要上某個模型就要強轉(zhuǎn)團隊的技術(shù)棧，強買某些硬件設(shè)備。模型的更新過程一定是迭代的，一定是從簡單到復(fù)雜的，一定是你證明了某個模型是work的，然后在此基礎(chǔ)上做改進的。這也是我們要熟悉所有模型演化關(guān)系的原因。

就在我們熟悉這些已有模型的時候，深度學(xué)習(xí)CTR模型的發(fā)展從沒有停下它的腳步。從阿里的多模態(tài)、多目標(biāo)的深度學(xué)習(xí)模型，到Y(jié)ouTube基于RNN等序列模型的推薦系統(tǒng)，再到Airbnb使用Embedding技術(shù)構(gòu)建的搜索推薦模型，深度學(xué)習(xí)的應(yīng)用不僅越來越廣泛，而且得到了越來越快的進化。

總結(jié)

以上是生活随笔為你收集整理的深度学习CTR模型最全演化图谱 [王喆观点]的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。