作者：minwxwang，騰訊 PCG 應用研究員

當前主流的推薦系統(tǒng)中，embedding 無處不在，從一定意義上可以說，把 embedding 做好了，整個推薦系統(tǒng)的一個關(guān)鍵難題就攻克了。因此，本文總結(jié)了移動騰訊網(wǎng)推薦系統(tǒng)中的 embedding 技術(shù)實踐，力圖達到娛人娛己的目的。

什么是 embedding

embedding 其實就是一種稠密向量的表示形式。在 embedding 大行其道之前 onehot 才是最靚的仔。如果和我們比較熟悉的 oneHot 對比起來理解，頓時會發(fā)現(xiàn) embedding 這個玄里玄乎的概念，實際上 so easy。

直觀上看 embedding 相當于是對 oneHot 做了平滑，而 oneHot 相當于是對 embedding 做了 max pooling

比如 RGB（三原色，red,green,blue）任何顏色都可以用一個 RGB 向量來表示，其每一維度都有明確的物理含義（和一個具體的物理量相對應）。當然 RGB 這個例子比較特殊，和我們一般意義的 embedding，還不一樣，因為 RGB 的特殊性就在，他的每一維度都是事先規(guī)定好的，所以解釋性很強。而一般意義的 embedding 則是神經(jīng)網(wǎng)絡倒數(shù)第二層的參數(shù)權(quán)重，只具有整體意義和相對意義，不具備局部意義和絕對含義，這與 embedding 的產(chǎn)生過程有關(guān)，任何 embedding 一開始都是一個隨機數(shù)，然后隨著優(yōu)化算法，不斷迭代更新，最后網(wǎng)絡收斂停止迭代的時候，網(wǎng)絡各個層的參數(shù)就相對固化，得到隱層權(quán)重表（此時就相當于得到了我們想要的 embedding），然后在通過查表可以單獨查看每個元素的 embedding。

embedding 發(fā)展大事記

從 1986 年 Hinton，提出 embedding 的概念。到出現(xiàn)第一個在工業(yè)上取得不錯結(jié)果的模型---word2vec,先驅(qū)們經(jīng)歷了勇敢的嘗試，探索，在此向大神致敬。

MF 矩陣分解，已經(jīng)隱約看到了 embedding 的影子，此時 embedding 還是一種經(jīng)驗感覺的模糊存在，沒有人旗幟鮮明的提出這個概念，屬于是 embedding 誕生的前夜。

毫不夸張的說 word2vec 是 embedding 界開天辟地的大事件，從這之后一切事物都可 embedding 了，在這之后的任何 embedding 都能看到 word2vec 的影子。隨著 item2vec,wide and weep 和 youtube 等各種算法的提出，embedding 也迅速的用到了特征工程，畫像構(gòu)建召回排序等方面。而 faiss 作為專業(yè)的向量近鄰檢索工具則解決了向量召回在工程上的最后一公里的問題。

embedding 作為一種新思想，他的意義包含以下幾個方面：

• embedding 表示，把自然語言轉(zhuǎn)化為一串數(shù)字，從此自然語言可以計算；

• embedding 替代 oneHot 極大的降低了特征的維度（天下人苦 oneHot 久矣）；

• embedding 替代協(xié)同矩陣，極大地降低了計算復雜度。

item embedding

在移動騰訊網(wǎng)的推薦系統(tǒng)中，由于我們的 item 主要是圖文，所以 item 的向量化，實際就是一個文本和圖片向量化的過程。文本 embedding 的核心理論還是 word2vec 相關(guān)理論的衍生。

基于詞向量的固定表征：word2vec、fastText、glove 基于詞向量的動態(tài)表征：elmo、GPT、bert。

動態(tài)詞向量相較于靜態(tài)詞向量，更加充分利用了上下文信息，所以可以解決一詞多義的問題。在工程實踐上其優(yōu)越性也得到了證明（BERT 在多個 NLP 任務中也表現(xiàn)優(yōu)異）。

img? embedding

由于我們做的是圖文推薦，因此圖片作為文章的門面特征，對推薦也很重要，可以通過 resnet 得到圖片的向量，還可以通過 image caption ?得到對一張圖片的中文描述，對于娛樂類的新聞，還可以利用 facenet 識別出組圖中，哪一張包含明星，對于動漫類類的新聞可以利用 OCR 識別出漫畫里的文字，對于年齡，性別有明顯傾向的場景還可以利用 resnet 改變圖片的風格。

對于 CNN 結(jié)構(gòu)來說，不同層級的神經(jīng)元學習到了不同類型的圖像特征，由底向上特征形成層級結(jié)構(gòu)，對人臉識別任務，訓練好網(wǎng)絡后，把每層神經(jīng)元學習到的特征可視化，肉眼看一看每層學到了啥特征，你會看到最底層的神經(jīng)元學到的是線段等特征，圖示的第二個隱層學到的是人臉五官的輪廓，第三層學到的是人臉的輪廓，通過三步形成了特征的層級結(jié)構(gòu)，越是底層的特征越是所有不論什么領(lǐng)域的圖像都會具備的比如邊角線弧線等底層基礎(chǔ)特征，越往上抽取出的特征越與手頭任務相關(guān)。

正因為此，所以預訓練好的網(wǎng)絡參數(shù)，尤其是底層的網(wǎng)絡參數(shù)抽取出特征跟具體任務越無關(guān)，越具備任務的通用性，所以這是為何一般用底層預訓練好的參數(shù)初始化新任務網(wǎng)絡參數(shù)的原因。而高層特征跟任務關(guān)聯(lián)較大，實際可以不用使用，或者采用 Fine-tuning 用新數(shù)據(jù)集清洗掉高層無關(guān)的特征抽取器。

user embeding

為了使新聞和用戶可以在相同的向量空間下做運算，我們對對用戶也做了 embedding，前期主要是從用戶畫像中篩選出一些在排序模型中重要性較大的特征來做向量化（比如通過特征重要度分析，發(fā)現(xiàn)標簽（tag），媒體號（mid），一級分類（cat1），二級分類（cat2），主題（topic）等特征對于用戶是否點擊某篇文章的影響是最大的）。中期使用了更多特征，模型采用了 DSSM(確保 user 和 item 在同一向量空間)，目前則是利用 bert+lstm 對用戶的行為序列進行了建模。

：

基于 embedding 的召回

得到 item，user 向量后，就可以做各種基于向量的召回了，從 embedding 本身的使用方式上看，大致可以分成以下幾種召回方式。我們的召回實踐多數(shù)用的單 embedding，少量用到了多 embedding。

embedding 的基礎(chǔ)用法——i2i 召回算法

單純使用 fasttext+faiss 就可以實現(xiàn)好幾路召回算法，比如?：

iten2vec,media2vec,tag2vec,loc2vec，title2vec。

tag2vec 就是利用詞向量去做召回，比如可以用文章的標簽向量表示文章的向量，如果一個文章有 4 個 tag（keywords: "蔣凡;離婚;張大奕;網(wǎng)紅張大奕"）我們的經(jīng)驗是取前 3 個 tag,做等權(quán)重向量相加，效果最好。當然了這不是唯一的做法。關(guān)于 embedding 向量的用法有很多種比如，等權(quán)重相加，加權(quán)相加，取平均，取最大等。

得到文章向量之后就是典型的 item2item 的計算過程了，利用 faiss 計算每篇文章的相似文章，比如為每一篇文章查詢詢出 1000 篇候選文章后，按相似度作一個截斷，比如 cosin sim<0.6 舍去，對余下的文章，再利用文章的其他特征比如熱度，CTR，新鮮度作一個加權(quán)，一路最簡單的 tag2vec 召回就誕生了。

其他召回和這個套路類似，就是訓練 embedding 向量的時候，略有差異。tag2vec 是訓練中文詞語的向量，而 item2vec 是訓練文章 ID（aid）所對應的向量，media2vec 訓練的是文章的作者 ID（mid）所對應的向量，loc2vec 是訓練地域名稱所對應的向量，title2vec 是用 LSTM 訓練得到的文章標題向量，doc2vec 是用 bert 計算出的文章正文（或者摘要）的向量。entity2vec 是利用我們自己構(gòu)建的知識圖譜通過 transE 得到的

u2i 召回算法初步

u2i 召回算法實現(xiàn)了，uese2vec,word2vec 個性化,crosstag，DSSM 個性化等召回算法；user2vec 是拿用戶的 tag 向量和文章的 tag 向量求相似度，做的召回；DSSM 個性化是拿用戶的 DSSM 向量和文章的 DSSM 向量求相似度，做的召回；crosstag 相當于多個 user2vec,需要把用戶的 tag 按類別進行統(tǒng)計，每個類取 K 個 tag,共獲取 m 組 tag，然后各組分別做 user2vec,最后匯總得到用戶的推薦列表。

u2i 召回算法進階

uese2vec 是在做召回的初級階段，做的一些樸素的嘗試，簡單暴力見效快，存儲壓力大。每個 user 都存儲一個推薦列表，在產(chǎn)品初期 DAU 不多時，矛盾還不明顯，隨著 DAU 不斷提升，存儲問題日益嚴重，這迫使我們想辦法改變現(xiàn)狀，可行的策略有兩條，一個是把離線提前計算再存儲轉(zhuǎn)為線上即時計算不存儲，另一個是把按人推薦轉(zhuǎn)化為分群推薦。兩種方法我們都做了實踐。

分群召回流程大體如下：

分群推薦我們嘗試了簇召回，群畫像召回，LSTM 分群，DSSM 分群，bnb 分群，增量聚類，動態(tài)規(guī)則聚類。

簇召回就是先把所有用戶的 tag 向量用聚類算法（如 minibatch-kmeans）聚成若干個簇（比如 500 個，根據(jù)肘點法確定），然后保存下簇標簽，簇中心，每個用戶所屬的簇（一個用戶可以隸屬于一個簇或者多個簇）。得到用戶所在的簇后，有兩種做法，一種是根據(jù)實時點擊日志，在簇內(nèi)做實時 CF，也就是在簇內(nèi)把點擊過的新聞相互推。另一種做法是離線定時計算各個簇中心和候選新聞的相似度，然后和到每個簇的候選集。從實驗效果來看簇內(nèi)做實時 CF 效果要好一些。

群畫像召回是先把用戶分群，然后把同一個群里的用戶畫像全部抽取出來，然后融合為一個群畫像，相當于把這一群人合成了一個人，然后對于群畫像，再使用和單個用戶畫像類似的個性化召回。

LSTM 分群和簇召回類似，不過用戶的向量是通過用戶最近點擊文章的 m 篇文章的 bert 向量（tag2vec 向量亦可）送入 LSTM 得到用戶的向量，剩下的步驟和簇召回類似，該算法有一定提升但是計算速度慢，很難鋪量。

DSSM 分群，是把用戶畫像送入 DSSM，得到一個用戶 64 維的向量，把文章畫像送入 DSSM，得到一個文章的 64 維的向量，剩下的步驟和簇召回類似。該算法有提升顯著，已經(jīng)鋪量使用。

bnb 分群是借鑒 airbn（愛彼迎）公布的房源推薦算法，把文章的多個特征的 embedding（tag，topic，cat）拼接成一個向量，類似得到文章的向量。剩下的步驟和簇召回類似，該算法有一定提升，不十分顯著。

增量聚類

增量聚類就是對文章或用戶聚完類后，很長一段時間聚類中心，保持不變，用戶和類中心的關(guān)系可以是變化的，比如一個用戶可能今天屬于這個簇，明天屬于另一個簇。這樣的好處是，同一個簇標簽的含義長期保持不變，便于排序?qū)痈玫膶W習到這個特征。該算法亦有顯著提升，已鋪量使用。

主要步驟如下

利用聚類算法預聚類，以 Kmeans 為例

保存預聚類的聚類中心 C 和類標簽 L

對于新增數(shù)據(jù)點 Xnew,計算其到各個聚類中心 Ci 的距離

把新增數(shù)據(jù)點 Xnew 分到距離其最近的聚類中心 Ci，所屬的類別 Li

在業(yè)務低峰期全量更新每個類的聚類中心，以消除增量聚類可能引入的局部偏差，以提高系統(tǒng)的準確性

動態(tài)規(guī)則聚類

根據(jù)用戶的畫像，將用戶聚成若個類，然后再根據(jù)類大小，將類大小小于一定閾值的類合并到與其最相似的類，經(jīng)過多次迭代后聚類過程完成。該算法效率高，CTR 提升約 3%。

主要步驟如下：

處理用戶畫像數(shù)據(jù)，得到每個用戶最感興趣的 K 個興趣點

把這 K 個興趣點按照權(quán)重大小，組合成一個興趣標簽

如果存在相應的聚類標簽則直接加入該類，否則創(chuàng)建一個新的聚類標簽

全部數(shù)據(jù)遍歷完成后，統(tǒng)計各個聚類標簽下的用戶數(shù)

如果該類別下的用戶數(shù)大于閾值，則該聚類標簽可以保留，否則該聚類標簽需要和其他聚類標簽合并

對于需要合并的聚類標簽，首先把屬于該類別的用戶標簽回退一步，即得到該聚類標簽下用戶的 k-1 個興趣點組成的興趣標簽，然后重復 3-5 的過程，最好得到一個類大小相對均衡的聚類結(jié)果

embedding 召回算法--其他

這個過程主要是用 DNN 類的算法做一些召回，比如 CNN，attention，YouTube 等；CNN 召回主要是用于圖文相關(guān)召回，希望把文章的 title,tag，abstract 合成為一個向量做召回；attention 主要是把文章信息和圖片信息做了融合。

YouTube 是利用 embedding 特征做推薦的開山之作，由于名聲比較大，我們還是復用了他的網(wǎng)絡結(jié)構(gòu)，只不過在使用的特征上稍有差別。從一個 embedding 主義者的角度看，他的典型特點是把所有的特征（無論離散連續(xù)，單值多值）全部轉(zhuǎn)化為 embedding，然后把各種 embedding 拼接在一起，構(gòu)成一個一字長蛇陣的向量，然后送入 DNN，最后得到文章的向量。在我們的實踐中主要用了 cat1，cat2,mid,topic,kg 等特征的 embedding，來訓練。從實踐的效果來看，第一版效果不佳，并未達到預期效果，主要是視頻推薦和新聞推薦有時效性的差異（一個視頻時效性可以很長，因此這個 VID 的 embedding 就可以反復不斷地訓練，越來越好，而新聞的生命周期則很短，往往是還沒來得及曝光就過期了），后續(xù)又做了各種優(yōu)化，效果也不斷提升。

airbnb 主要貢獻是在稀疏樣本的構(gòu)造上有所創(chuàng)新，個人感覺 Airbnb 這個操作部分彌補了 YouTube 在新聞推薦領(lǐng)域水土不服的問題。從一個 embedding 主義者的角度看，他的創(chuàng)新點主要有一下兩點，一個是分群 embedding，另一個是用戶和 item 混合訓練。在移動騰訊網(wǎng)的動態(tài)規(guī)則聚類召回算法中就借鑒了 Airbnb 分群訓練 embedding 的思想。

在特征工程中，對于離散值，連續(xù)值，多值大致有以下幾種 embedding 的方法。預先訓練的 embedding 特征向量，訓練樣本大，參數(shù)學習更充分。end2end 是通過 embedding 層完成從高維稀疏向量到低維稠密特征向量的轉(zhuǎn)換，優(yōu)點是端到端，梯度統(tǒng)一，缺點是參數(shù)多，收斂速度慢，如果數(shù)據(jù)量少，參數(shù)很難充分訓練。

不同的深度學習模型中，除了對網(wǎng)絡結(jié)構(gòu)的各種優(yōu)化外，在 embedding 的運算上也進行了各種優(yōu)化的嘗試，個人覺得對網(wǎng)絡結(jié)構(gòu)的各種優(yōu)化本質(zhì)上也是對 embedding 的運算的優(yōu)化。

embedding 作為一種技術(shù)，雖然很流行，但是他也存在一些缺陷，比如增量更新的語義不變性，很難同時包含多個特征，長尾數(shù)據(jù)難以訓練等。

針對 embedding 的空間分布影響模型的泛化誤差的問題阿里和谷歌先后在 embedding 的表示和結(jié)構(gòu)上進行了各種嘗試，其中阿里提出了 residual embedding 的概念，希望把一個向量用中心向量和殘差向量的形式去表示，以達到同一類別向量簇內(nèi)高度聚集的目的。谷歌則希望對 embedding 的編碼空間進行優(yōu)化，簡單來說就是為更高頻更有效的特征分配更多的編碼位置，反之則分配更少的編碼位置。

embedding 總體來說還是一種很有效的技術(shù)，在實踐過程中大致經(jīng)歷了以下演進路線：

總結(jié)

以上是生活随笔為你收集整理的推荐系统 embedding 技术实践总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。