深度协同过滤：用神经网络取代内积建模
在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。
這是 PaperDaily 的第?76?篇文章本期推薦的論文筆記來自 PaperWeekly 社區用戶 @spider。盡管現在很多工作已經把深度學習運用到了推薦的任務當中，但大多只是利用深度學習給一些輔助信息建模，在表示 user 與item 之間的交互時，仍是使用矩陣分解等用內積來建模。
本文是新加坡國立大學發表于?WWW '17 的工作，作者提出用多層神經網絡給 user 和 item 進行交互建模，并提出了一種基于神經網絡的協同過濾通用框架 NCF。
如果你對本文工作感興趣，點擊底部閱讀原文即可查看原論文。
關于作者：黃若孜，復旦大學軟件學院碩士生，研究方向為推薦系統。
■?論文 | Neural Collaborative Filtering
■ 鏈接 | https://www.paperweekly.site/papers/635
■ 源碼 | http://t.cn/ROuhFZP
論文動機
許多利用深度學習來做推薦的工作 focus 在輔助信息的提取上，而對協同過濾最關鍵的元素——user 和 item 之間的交互作用，這些工作仍然利用的是矩陣分解模型，利用 latent feature 的內積進行推薦，而內積的描述能力是有限的。
Neural Collaborative Ffiltering（NCF）是一種用神經網絡取代這個內積部分的技術，以學到 latent feature 之間任意的函數關系。
模型
MF 利用特征向量 pu、qi 的內積評估 u 對 i 的偏好：
由于將 user 和 item 映射到了同樣的特征空間，然后使用內積也就是兩個向量的 cosine 來衡量相似性；同樣的，我們也可以用內積來衡量兩個用戶的相似性。
使用 jaccard 系數（集合 A 與 B 的交集與并集的比值作為集合的相似度）來作為用戶之間真實的相似程度，那么下面評分矩陣用戶 123 之間 S23>S12>S13，在 latent space 中的幾何關系如右圖所示，加入用戶 4 時，S41>S43>S42，于是我們讓用戶 4 的特征靠近 1，然而無論怎么放，都無法使用戶 3 比用戶 2 更接近用戶 4。
這就是使用內積描述相似度的局限性，我們可以增大 K 來解決這個問題，但是存在過擬合的風險。
下圖是 NCF 的框架，user 和 item 的 id 先經過 embedding 層得到一個特征，然后輸入到 MLP 中得到打分結果，用 pointwise 的目標函數進行訓練：
其中 user 和 item 的 embedding 結果可以通過逐元素乘積的形式結合，然后作為 MLP 的輸入，稱為 GMF 模型。
這種情況下 NCF 可以包含 MF（即使用 identity 的激活函數，同時將隱藏層全部置為 1，可起到內積的效果），如果使用非線性的激活函數，那么比起線性 MF，這個設置使模型具有更強的表達能力。
此外一個常規的思路就是講兩個 vector 拼接起來作為 MLP 的輸入，稱為 MLP 模型。本文也提出了一個將這兩種方法融合起來的模型，稱為 NeuMF：
由于本模型使用的是隱式反饋（1/0），如果使用平方誤差函數：
那么實際上相當于認為預測的 yui 是以 f(u,i|θ) 為均值的高斯分布，而這樣的假設顯然是不適合二值的隱式反饋。所以我們可以將待遇測的值看做是一個分類問題，即用戶和項目是否有交互。
使用邏輯回歸進行訓練，得到一個二元交叉熵損失，其中 Y- 可以是全部或者部分的負樣本（也會就是負采樣方法）：
實驗
本文在 MovieLens，Pinterest 兩個數據集上進行了驗證，使用了 HR@10，NDCG@10 作為指標，使用了 itempop，itemknn，bpr，eALS 作為 baseline：
評價
在 MF 出來之后，一大批用各種方法融合屬性、上下文的基于 MF 的方法冒了出來，這篇 NCF 的方法提出來之后，在最近比較火的 cross domain 等 task 上，已經出了一批基于 NCF 的方法，可以說在深度學習浪潮下，NCF 是一代新的基礎模型（之一）了。
本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！
點擊標題查看更多論文解讀：?
??Tree-CNN：一招解決深度學習中的災難性遺忘
??深度神經網絡模型壓縮和加速都有哪些方法？
??深度強化學習在指代消解中的一種嘗試
??綜述：圖像風格化算法最全盤點
5 篇 AAAI 2018 論文看「應答生成」
基于置信度的知識圖譜表示學習框架
▲?戳我查看招募詳情
#作 者 招 募#
讓你的文字被很多很多人看到，喜歡我們不如加入我們
? ? ? ? ? ?
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 查看原論文
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的深度协同过滤：用神经网络取代内积建模的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 本周 AI 论文良心推荐，你想 pick
- 下一篇： CMU提出「十字绣网络」，自动决定多任务