深度學習在各個領域的成功

深度學習在圖像和音頻等方向比傳統方向有大的提升，導致很多產品能快速落地

第一行三張圖片代表圖片和音頻方向相比傳統提升30%-50%，第二行第一張代表深度學習在自然語言處理方面方向的應用(相比傳統學習方法有提升，但是提升效果有限)，后兩張代表生成式模型(生成圖片比較火的是GAN)

例如：寫好故事框架有時間地點等，GAN自動生成視頻(未來)

ctr:點擊率

給定用戶商品看用戶點擊的概率是多少

User、Movie采用one-hot編碼，黃色部分代表歷史看過電影向量

傳統預測CTR方法：

LR和線性模型關系：LR是sigmoid函數，將數值壓縮到0-1之間

LR模型

? ? ?優點：簡單、可解釋(權值大)、易擴展、效率高、易并行

? ? ?缺點：難以捕獲特征組合(公式沒有特征相關聯部分)

針對缺點改進：

特征兩兩組合，一共有n方種可能，缺點：泛化能力弱(訓練數據沒看見特征組合權值為0，將來預測時候權值還是0)

改進泛化能力強一些：

改動地方是標紅的地方，原來是某個數值，現在是低維向量內積

GBDT很容易找到有效組合特征，GBDT先找到有效的組合特征加到LR模型當中

目前最好的效果之一

FM：有n個特征有n*n種特征組合，GBDT找到有效的組合，降低不必要的組合，增加效率

深度學習基礎模型

MLP

隱層神經元：加權求和、非線性變換

現在用的比較多的激活函數：RELU

層數比較多，用上述傳統的激活函數，前面淺層權重學不到東西，所以用的比較多的是RELU，導數是常數

CNN(主要用于圖片)

解釋：輸出一張圖片，卷積層、下采樣、卷積層、下采樣、全連接、輸出層

對整體模型參數量有效的降低，參數數量少不容易過擬合

每個卷積核捕獲什么特征那

最底層學到線段 、高層圖片紋理、再高一層模式、部件、實際物體輪廓

?

RNN(一維序列型數據，適合解決序列問題)

輸入層、隱層、輸出層，不同之處隱層之間有個傳遞過程(第t步不僅包括當前步的輸入還包括上一層的輸出)

RNN改進：

LSTM:

深度學習ctr預估模型

離散特征輸入問題解決啦

Wide&Deep是目前比較低級的結構，由于上述幾個原因

低階特征曬到模型當中

?

加個attention對特征組合賦予一定的權重，表示哪些重要，哪些特征組合不重要，對特征組合做個甄別(AFM思想)

經驗：

某些模型需要預訓練

平行結構或菱形結構效果比較好(可能跟數據集有關)

深度網絡深度(一般ctr兩層或三層，不需要層數太多)

值得研究的地方是FM_Function這個部分到底怎么做？

深度學習做ctr模型比較單一

CTR預估案例：

目的：視頻推薦用戶能看，高點擊率

問題：在幾億中找到用戶喜歡的東西，進行推送，時間要求比較高

解決該問題分兩步：

? ? ? ? 第一步：初篩，篩選可能感興趣的內容，為后面篩選一個小集合

? ? ? ? 第二步：排序，排序，特征比較多，要求精度比較高

初篩

輸入：用戶歷史行為(看過某個視頻列表的輸入向量轉化dense)，搜索詞、群體性統計特征(性別、中老年等)

歸為兩大類：行為特征、統計特征

average把輸入向量搞成定長的

給用戶推薦信息，目前只有用戶歷史信息

給定用戶興趣向量對視頻1000萬視頻進行投票，轉化為一個分類問題

學用戶的興趣怎么用向量來表達

初篩：向量表達用戶興趣(篩選出50個)

訓練過程：某個用戶的embedding 、某個視頻的embedding，之后算余弦，排序

預測用戶觀看時長架構如下：(時間越長越排到前面推薦給用戶)

一個人多種興趣，多種興趣某一時刻只體現某一興趣(局部激活)

流程：線上收集很多用戶歷史數據，點過哪些、看過哪些、買過哪些、建模，之后對用戶興趣進行了解，有很多廣告，把最可能點的廣告進行推送

收集的用戶特征：

基礎模型：

推送廣告和歷史進行算一下距離

出發點：剛才出發點怎么改進模型讓ctr效果更好，jd 圖片信息能否柔到模型當中

兩階段：初篩：精度不要求那么高，但是要求快；排序：精排，選取k個

網絡結構

右面一部分：深度網絡，可以認為是wide & deep 網絡

左側一部分：圖片信息，怎么柔到模型當中，1-N表示過去點過N個商品圖片，CNN提取圖片特征

A｜B test對比7天對比結果，引入圖片對效果增大比較大

相同商品通過聚類，都可以聚到一類

總結

以上是生活随笔為你收集整理的深度学习在CTR预估的应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。