星標(biāo)/置頂小屋，帶你解鎖

最萌最前沿的NLP、搜索與推薦技術(shù)

文 | 邢智皓

編 | 兔子醬

---

當(dāng)前，深度學(xué)習(xí)推薦模型已經(jīng)成功應(yīng)用于推薦、廣告、搜索等領(lǐng)域，但在了解它之前，簡單回顧傳統(tǒng)推薦模型仍是有必要的，原因如下：

• 即使在深度學(xué)習(xí)空前流行的今天，協(xié)同過濾、邏輯回歸、因子分解機(jī)等傳統(tǒng)推薦模型仍然憑借其可解釋性、硬件環(huán)境要求低、易于快速訓(xùn)練和部署等不可替代的優(yōu)勢(shì)，在實(shí)際系統(tǒng)中備受青睞。

• 傳統(tǒng)推薦模型是深度學(xué)習(xí)推薦模型的基礎(chǔ)，很多深度學(xué)習(xí)推薦模型，比如基于因子分解機(jī)支持的神經(jīng)網(wǎng)絡(luò)(FNN)、深度因子分解機(jī)(DeepFM)等更是與傳統(tǒng)的FM模型有著千絲萬縷的聯(lián)系。

本文主要參考了王喆老師的《深度學(xué)習(xí)推薦系統(tǒng)》，從傳統(tǒng)推薦模型的進(jìn)化關(guān)系圖開始，介紹了具有代表性的傳統(tǒng)推薦模型的原理、優(yōu)缺點(diǎn)，以及不同模型之間的演化關(guān)系，希望能夠?yàn)樽x者繪制一幅全面的傳統(tǒng)推薦系統(tǒng)模型進(jìn)化藍(lán)圖。

傳統(tǒng)推薦模型的演化關(guān)系圖

下圖為傳統(tǒng)推薦模型的演化關(guān)系圖，我們將它作為本文的索引。已經(jīng)對(duì)其中某些模型有所了解的讀者可以由點(diǎn)及面地構(gòu)建全面的模型進(jìn)化關(guān)系脈絡(luò)，還沒有相關(guān)知識(shí)儲(chǔ)備的讀者，可以據(jù)此建立傳統(tǒng)推薦模型的框架和大致印象。

基于用戶的協(xié)同過濾(UserCF)

如果讓推薦系統(tǒng)領(lǐng)域的從業(yè)者說出業(yè)界影響力最大、應(yīng)用最廣泛的模型，那筆者認(rèn)為90%的從業(yè)者會(huì)首選協(xié)同過濾。

• 什么是協(xié)同過濾

  顧名思義，“協(xié)同過濾”就是協(xié)同大家的反饋、評(píng)價(jià)和意見一起對(duì)海量的信息進(jìn)行過濾，從中篩選出目標(biāo)用戶可能感興趣的信息的推薦過程。下面用一個(gè)商品推薦的例子來說明協(xié)同過濾的推薦過程。

• 協(xié)同過濾的具體流程

• • 電商網(wǎng)站的商品庫里面一共有4件商品：游戲機(jī)、某小說、某雜志和某品牌電視機(jī)。

  • 用戶訪問該電商網(wǎng)站時(shí),電商網(wǎng)站的推薦系統(tǒng)需要決定是否將電視機(jī)推薦給用戶。為了進(jìn)行這項(xiàng)預(yù)測(cè)，可以利用用戶對(duì)其他商品的歷史評(píng)價(jià)數(shù)據(jù)，以及其他用戶對(duì)這些商品的歷史評(píng)級(jí)數(shù)據(jù)。

  • 為了方便計(jì)算，可以將圖2中的用戶對(duì)商品的喜好轉(zhuǎn)換為矩陣的形式(被稱為”共現(xiàn)矩陣“)，用戶作為矩陣的行坐標(biāo)，商品作為列坐標(biāo)，將”點(diǎn)贊“和”踩“的用戶行為轉(zhuǎn)換為矩陣中的相應(yīng)元素。

  • 生成共現(xiàn)矩陣后，推薦問題就轉(zhuǎn)換成了預(yù)測(cè)矩陣中問號(hào)元素的值的問題。既然是”協(xié)同“過濾，用戶應(yīng)該考慮與自己興趣相似的用戶的意見。因此，預(yù)測(cè)的第一步是要找到與用戶興趣最相似的個(gè)用戶，綜合相似用戶對(duì)”電視機(jī)“的評(píng)價(jià)，給出用戶對(duì)電視機(jī)的預(yù)測(cè)。

  • 從共現(xiàn)矩陣中可知，用戶和用戶跟用戶的行向量接近，被選為Top?相似用戶。有圖2所知，用戶和對(duì)電視機(jī)的評(píng)價(jià)都是負(fù)面的。

  • 相似用戶對(duì)”電視機(jī)“的評(píng)價(jià)是負(fù)面的，因此可以預(yù)測(cè)用戶X對(duì)”電視機(jī)“的評(píng)價(jià)也是負(fù)面的。

常用的向量相似度計(jì)算方法有余弦相似度、皮爾遜相關(guān)系數(shù)等，有興趣的讀者可以查閱相關(guān)資料做詳細(xì)了解。

以上介紹的系統(tǒng)過濾算法是基于用戶相似度進(jìn)行推薦，因此也被稱為基于用戶的協(xié)同過濾(UserCF),該方法包含以下缺點(diǎn)：

• 在互聯(lián)網(wǎng)場景下，用戶數(shù)往往大于商品數(shù)，而 userCF 需要維護(hù)用戶相似度矩陣以便快速找出Top?相似用戶，用戶的增長會(huì)導(dǎo)致用戶相似度矩陣的存儲(chǔ)空間已速度快速增長， 這是在線存儲(chǔ)系統(tǒng)難以承受的。

• 用戶的歷史數(shù)據(jù)向量往往非常稀疏，對(duì)于只有幾次購買或者點(diǎn)擊行為的用來來說，找到相似用戶的準(zhǔn)確度是非常低的，導(dǎo)致UserCF不適于哪些正反饋比較困難的應(yīng)用場景。

基于物品的協(xié)同過濾(ItemCF)

由于UserCF技術(shù)上的缺點(diǎn)，UserCF并沒有得到廣泛應(yīng)用，而ItemCF成為了Amazon、Netflix等公司最初的推薦系統(tǒng)。

ItemCF的算法過程

• 基于歷史數(shù)據(jù)，構(gòu)建以用戶(假設(shè)用戶總數(shù)為)為行坐標(biāo)，物品(物品總數(shù)為)為列坐標(biāo)的?x?維的共現(xiàn)矩陣。

• 計(jì)算共現(xiàn)矩陣兩兩列向量間的相似性(相似度的計(jì)算方式與用戶相似度計(jì)算方式相同)，構(gòu)建?x?維的物品相似度矩陣。

• 獲取用戶歷史行為數(shù)據(jù)中的正反饋物品列表。

• 利用物品相似度矩陣，針對(duì)目標(biāo)用戶歷史行為中的正反饋物品，找到相似的 Top?個(gè)物品，組成相似物品集合。

• 針對(duì)相似物品集合中的物品，利用相似度分值進(jìn)行排序，生成最終的推薦列表。

UserCF與ItemCF的應(yīng)用場景

• 由于UserCF基于用戶相似度進(jìn)行推薦，使其具備更強(qiáng)的社交特性，該特點(diǎn)使其非常適用于新聞推薦場景。

• ItemCF更適用于興趣變化較為穩(wěn)定的應(yīng)用，比如電商系統(tǒng)，視頻推薦系統(tǒng)等。

矩陣分解算法

針對(duì)協(xié)同過濾頭部效應(yīng)較明顯，泛化能力弱的問題，矩陣算法被提出。矩陣分解算法在協(xié)同過濾算法中“共現(xiàn)矩陣”的基礎(chǔ)上，加入了隱向量的概念，加強(qiáng)了模型對(duì)稀疏矩陣的處理能力，針對(duì)性地解決了協(xié)同過濾存在的主要問題。

基本原理

矩陣分解算法將?x?維的共現(xiàn)矩陣分解為?x?維的用戶矩陣和?x?維的物品矩陣相乘的形式，其中是用戶數(shù)量，是物品數(shù)量，是隱向量的維度，的大小決定了隱向量表達(dá)能力的強(qiáng)弱。的取值越小，隱向量包含的信息越少，模型的泛化程度越高；反之，的取值越大，隱向量的表達(dá)能力越強(qiáng)，泛化程度相應(yīng)降低。

常用的矩陣分解方法有特征值分解、奇異值分解和梯度下降，有興趣的讀者可以查閱相關(guān)資料深入了解。

矩陣分解算法的優(yōu)缺點(diǎn)

相比于協(xié)同過濾算法，矩陣分解算法有如下優(yōu)勢(shì)：

• 泛化能力強(qiáng)，在一定程度上解決了數(shù)據(jù)稀疏問題

• 空間復(fù)雜度低，空間復(fù)雜度有級(jí)別降低到級(jí)別。

• 更好的擴(kuò)展性和靈活性。矩陣分解的最終產(chǎn)出是用戶和物品隱向量，這其實(shí)與深度學(xué)習(xí)中的Embedding思想不謀而合，因此矩陣分解的結(jié)果也非常用戶與其他特征進(jìn)行拼接和組合，并便于與深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行無縫結(jié)合。

邏輯回歸算法

相比于協(xié)同過濾模型僅利用用戶和商品的相互行為信息進(jìn)行推薦，邏輯回歸模型能夠綜合利用用戶、商品和上下文的特征，生成較為“全面”的推薦結(jié)果。

基本原理

相比協(xié)同過濾和矩陣分解利用用戶和商品的“相似度”進(jìn)行推薦，邏輯回歸將推薦問題看成一個(gè)分類問題，通過預(yù)測(cè)正樣本的概率對(duì)物品進(jìn)行排序。正樣本可以是用戶“點(diǎn)擊”了某商品，也可以是用戶“觀看”了某視頻，這些都是推薦系統(tǒng)希望用戶產(chǎn)生的“正反饋”行為。邏輯回歸模型將推薦問題轉(zhuǎn)換成了一個(gè)點(diǎn)擊率預(yù)估問題。

邏輯回歸模型的推薦過程：

• 將用戶年齡、性別、物品屬性、物品描述、當(dāng)前時(shí)間、當(dāng)前地點(diǎn)等特征轉(zhuǎn)換成數(shù)值型向量。

• 確定邏輯回歸模型的優(yōu)化目標(biāo)（優(yōu)化“點(diǎn)擊率”），利用已有樣本數(shù)據(jù)對(duì)邏輯回歸模型進(jìn)行訓(xùn)練，確定邏輯回歸模型的內(nèi)部參數(shù)。

• 在模型服務(wù)階段，將特征向量輸入到邏輯回歸模型，經(jīng)過模型的推薦，得到用戶“點(diǎn)擊”物品的概率。

• 利用“點(diǎn)擊”概率對(duì)所有候選物品進(jìn)行排序，得到推薦列表。

邏輯回歸的數(shù)學(xué)形式在此不再詳細(xì)闡述，有興趣的讀者可以查閱相關(guān)資料進(jìn)行理解。

邏輯回歸模型優(yōu)勢(shì)

• 數(shù)學(xué)含義上的支撐，邏輯回歸模型是廣義線性模型的一種，它的假設(shè)是因變量y服從伯努利分布。在CTR預(yù)估這個(gè)問題上，“點(diǎn)擊”事件是否發(fā)生就是模型的因變量y，而用戶是否點(diǎn)擊廣告就是一個(gè)經(jīng)典的投擲偏心硬幣問題。因此CTR模型的因變量顯然服從伯努利分布。

• 可解釋性強(qiáng)，直觀地講，邏輯回歸模型的數(shù)學(xué)形式是各特征的加權(quán)和，再施以sigmoid函數(shù)。特征的權(quán)重反應(yīng)了各個(gè)特征的重要程度，因此邏輯回歸模型具有極強(qiáng)的可解釋性。

• 工程化的需要，邏輯回歸模型憑借其易于并行化、模型簡單、訓(xùn)練開銷小等特點(diǎn)，占據(jù)著工程領(lǐng)域的主流。

邏輯回歸模型的局限性

邏輯回歸作為一個(gè)基礎(chǔ)模型，其局限性是非常明顯的：表達(dá)能力不強(qiáng)、無法進(jìn)行特征交叉、特征篩選等一系列“高級(jí)”的操作，因此不可避免地造成信息的損失。

自動(dòng)特征交叉的解決方案

邏輯回歸模型表達(dá)能力不強(qiáng)的問題，會(huì)不可避免地造成有效信息的損失。在僅利用單一特征而非交叉特征進(jìn)行判斷的情況下，有時(shí)不僅是信息損失的問題，甚至?xí)贸鲥e(cuò)誤的結(jié)論。因此，通過改造邏輯回歸模型，使其具備特征交叉的能力是必要和迫切的。

POLY2模型

針對(duì)特征交叉的問題，算法工程師經(jīng)常采用先手動(dòng)組合特征，再通過各種分析手段篩選特征的方法，但這種方法無疑是低效的。更遺憾的是，人類的經(jīng)驗(yàn)往往有局限性。因此，采用POLY2模型進(jìn)行特征的“暴力”組合成了可行的選擇。

POLY2模型的數(shù)學(xué)表達(dá)形式如下所述，

從上述公式可以看到，該模型對(duì)所有特征進(jìn)行了兩兩交叉，并對(duì)所有的特征組合賦予了權(quán)重。POLY2通過暴力組合特征的方式，在一定程度上解決了特征組合的問題。

算法缺陷

• 在處理互聯(lián)網(wǎng)數(shù)據(jù)是，經(jīng)常采用one-hot編碼的方式處理類別型數(shù)據(jù)，導(dǎo)致特征向量極度稀疏。而POLY2進(jìn)行無選擇的特征交叉使得原來非常稀疏的特征向量更加稀疏，進(jìn)而導(dǎo)致大部分交叉特征的權(quán)重缺乏有效的數(shù)據(jù)進(jìn)行訓(xùn)練而無法收斂。

• 權(quán)重參數(shù)的數(shù)量由上升到，極大地增加了訓(xùn)練復(fù)雜度。

FM模型

為了解決POLY2模型的缺陷，研究者提出了FM模型，模型的數(shù)學(xué)表達(dá)形式如下所示，

與POLY2相比，其主要區(qū)別是用兩個(gè)向量的內(nèi)積取代了單一的權(quán)重系數(shù)。FM為每個(gè)特征學(xué)習(xí)了一個(gè)隱權(quán)重向量，在特征交叉時(shí)，使用兩個(gè)特征隱向量的內(nèi)積作為交叉特征的權(quán)重。

FM引入隱向量的做法，本質(zhì)上與矩陣分解用隱向量代表用戶和物品的做法異曲同工。可以說FM是將矩陣分解隱向量的思想進(jìn)行了進(jìn)一步擴(kuò)展，從單純的用戶、物品隱向量拓展到了所有特征上。

算法優(yōu)點(diǎn)

• FM通過引入特征隱向量的方式，直接把POLY2模型級(jí)別的權(quán)重參數(shù)數(shù)量減少到了(為隱向量的維度，>>).

• 隱向量的引入使得FM能更好的解決數(shù)據(jù)稀疏性的問題，降低了模型對(duì)數(shù)據(jù)稀疏性的要求。相比于POLY2，FM雖然丟失了某些具體特征組合的精確記憶能力，但是泛化能力大大提高。

最后，我們對(duì)上述出現(xiàn)過的所有模型的特點(diǎn)進(jìn)行總結(jié)，希望幫助讀者再次回顧其中的關(guān)鍵知識(shí)。

在對(duì)傳統(tǒng)的推薦模型進(jìn)行總結(jié)時(shí)，讀者也要意識(shí)到，傳統(tǒng)推薦模型與深度學(xué)習(xí)模型之間存在著千絲萬縷的聯(lián)系。正是對(duì)傳統(tǒng)模型研究的不斷積累，為深度學(xué)習(xí)模型打下了堅(jiān)實(shí)的理論和實(shí)踐基礎(chǔ)。矩陣分解技術(shù)成功應(yīng)用在推薦系統(tǒng)領(lǐng)域，其隱向量的思想與深度學(xué)習(xí)中Embedding技術(shù)的思路一脈相承；FM被提出，特征交叉的概念被引入推薦模型，其核心思想——特征交叉的思路也將在深度學(xué)習(xí)模型中被發(fā)揚(yáng)光大。這些概念都將在深度學(xué)習(xí)推薦模型中繼續(xù)應(yīng)用，持續(xù)發(fā)光。

---

文末福利

后臺(tái)回復(fù)關(guān)鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
有頂會(huì)審稿人、大廠研究員、知乎大V和妹紙
等你來撩哦~

總結(jié)

以上是生活随笔為你收集整理的推荐模型是怎样由窄变宽、越变越深的？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。