WWW 2023 | 无图协同过滤
?PaperWeekly 原創(chuàng) ·?作者 |?夏良昊
單位 |?香港大學(xué)
研究方向 |?推薦系統(tǒng)
論文題目：
Graph-less Collaborative Filtering
收錄會(huì)議：
WWW 2023
論文鏈接：
https://arxiv.org/abs/2303.08537
代碼鏈接：
https://github.com/HKUDS/SimRec
港大數(shù)據(jù)智能實(shí)驗(yàn)室
https://sites.google.com/view/chaoh
研究背景
圖神經(jīng)網(wǎng)絡(luò)（GNN）方法通過迭代的信息傳播機(jī)制，能夠準(zhǔn)確地捕捉圖數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，得到較好的低維圖表征。受到這一啟發(fā)，近年來出現(xiàn)了多種基于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾（CF）方法，通過對(duì)用戶、商品交互圖的準(zhǔn)確表征學(xué)習(xí)，取得了較好的個(gè)性化推薦效果。盡管現(xiàn)有方法已經(jīng)取得了很大的成功，我們認(rèn)為基于 GNN 的協(xié)同過濾方法在根本上存在兩個(gè)重要的缺陷：
過平滑和噪音問題。GNN 固有的高階信息傳播機(jī)制，可能對(duì)節(jié)點(diǎn)表征進(jìn)行過度的平滑，使其過于相似而喪失節(jié)點(diǎn)本身的獨(dú)有特征。同時(shí)，推薦系統(tǒng)中觀測到的用戶、商品交互中，不可避免地含有噪音信息，如用戶誤點(diǎn)、流行度 bias。GNN 迭代的信息傳播機(jī)制，會(huì)同時(shí)將噪音信息進(jìn)行傳播，從而阻礙對(duì)真正交互信息的有效學(xué)習(xí)。
模型可擴(kuò)展性問題。為了捕捉多跳的交互關(guān)系，GNN 模型需要進(jìn)行迭代的信息傳播，從而將每個(gè)節(jié)點(diǎn)的表征傳遞至多跳外的其他節(jié)點(diǎn)。這一過程使得 GNN 模型在推理階段，需要進(jìn)行重復(fù)多次的全局信息傳播，導(dǎo)致了其相對(duì) MLP 等簡單模型更大的開銷，使其難以應(yīng)用到大規(guī)模數(shù)據(jù)上。
為了解決以上 GNN-based CF 模型中的問題，我們需要應(yīng)對(duì)以下挑戰(zhàn)：
在用戶、商品交互建模中，如何以一種高效的方式將全局、高階的協(xié)同信號(hào)進(jìn)行保留。
在捕捉高階協(xié)同關(guān)系的同時(shí)，如何使模型能夠?qū)惯^平滑和噪音問題。
如下圖所示，我們展示了本文所提出的 SimRec 模型在上述問題上的表現(xiàn)。
具體來說，圖（a）顯示，SimRec 能夠在保持極低的推理時(shí)間前提下，達(dá)到甚至更好的模型預(yù)測效果；圖（b）顯示，面對(duì)兩個(gè)有著不同交互興趣、但又被噪音邊所連接的用戶來說，SimRec 中基于多層感知機(jī)（MLP）的學(xué)生模型，相對(duì)于 GNN 模型，能夠顯著識(shí)別出這種噪音連接關(guān)系，降低兩個(gè)用戶的表征相似性；圖（c）顯示，由于更好的對(duì)抗過平滑能力，SimRec 模型能夠?qū)W習(xí)分布更廣、更均勻的低維節(jié)點(diǎn)表征。
知識(shí)蒸餾（KD）能夠?qū)⒋竽Ｐ蛯W(xué)得的知識(shí)有效提煉、蒸餾到小模型中，從而在保持較好預(yù)測能力的情況下提升模型性能，在 CV、NLP、圖學(xué)習(xí)等多個(gè)領(lǐng)域中取得了較好的效果。傳統(tǒng)的知識(shí)蒸餾方法，通過對(duì)齊大模型和小模型的預(yù)測結(jié)果，賦予小模型和大模型相近的建模能力。
然而，由于協(xié)同過濾數(shù)據(jù)中顯著的數(shù)據(jù)稀疏和數(shù)據(jù)噪聲問題，GNN-based 大模型中的過平滑和噪聲信號(hào)無法在蒸餾過程中進(jìn)行過濾，會(huì)導(dǎo)致得到的小模型仍然容易受到這一問題的困擾。但是，最近在對(duì)比學(xué)習(xí)方向上的推進(jìn)，使我們能夠使用對(duì)比學(xué)習(xí)方法產(chǎn)生更多的監(jiān)督信號(hào)，不僅能在蒸餾的過程中得到更好的抗平滑蒸餾效果，也能在傳統(tǒng)蒸餾方法的基礎(chǔ)上進(jìn)一步提升蒸餾效率。
在本工作中，我們提出了一種無圖（graph-less）的協(xié)同過濾框架 SimRec，能夠在不使用復(fù)雜的圖結(jié)構(gòu)信息的情況下，同時(shí)提高推薦模型的效果和效率。具體來說，我們?cè)O(shè)計(jì)了一種包含兩種對(duì)齊方法的知識(shí)蒸餾框架，從基于 GNN 的教師模型蒸餾知識(shí)到高效的 MLP 學(xué)生模型中。在我們的蒸餾方法設(shè)計(jì)中，不僅對(duì)教師模型的預(yù)測結(jié)果，也對(duì)它的隱藏層表征進(jìn)行蒸餾。
此外，為了增強(qiáng)蒸餾方法的抗噪聲、抗過平滑能力，我們?cè)O(shè)計(jì)了一種采用對(duì)比學(xué)習(xí)正則的自適應(yīng)蒸餾方法，以在蒸餾的過程中削弱 GNN 教師模型收到噪聲和過平滑的影響。
總的來說，本文主要做出了以下貢獻(xiàn)：
我們提出了一種對(duì)比知識(shí)蒸餾方法，將基于 GNN 的 CF 模型壓縮為一個(gè)簡單的 MLP 推薦模型，同時(shí)提升模型的效果和效率。
我們從兩個(gè)方面進(jìn)行了理論分析：i）本文的蒸餾方法能夠進(jìn)行自適應(yīng)的高階平滑；ii）本文方法能夠顯著擴(kuò)充自監(jiān)督信號(hào)。
我們?cè)诠_數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)，驗(yàn)證了本文所提出的 SimRec 方法能夠顯著提升 CF 任務(wù)的有效性。
模型介紹
本章介紹所提出的 SimRec 方法，主要包括基于 GNN 多教師模型、基于 MLP 的學(xué)生模型，從 prediction-level 和 embedding-level 兩種角度進(jìn)行的知識(shí)蒸餾，以及自適應(yīng)的對(duì)比學(xué)習(xí)正則約束。模型框架如下圖所示。
2.1 通用協(xié)同過濾架構(gòu)
協(xié)同過濾方法根據(jù)歷史觀測的用戶、商品交互記錄，對(duì)用戶、商品進(jìn)行表征學(xué)習(xí)，再根據(jù)學(xué)得的表征進(jìn)行用戶便好預(yù)測。基于不同模型架構(gòu)的協(xié)同過濾方法，一般都可以表述為下面的兩個(gè)階段，即 emebdding 表征學(xué)習(xí)階段，和 prediction 根據(jù)表征進(jìn)行預(yù)測的階段。
基于 MLP 的協(xié)同過濾方法，使用簡單的 MLP 網(wǎng)絡(luò)對(duì)用戶初始 embedding 進(jìn)行深度特征提取，并使用內(nèi)積度量 embedding 之間的相關(guān)性，從而實(shí)現(xiàn)對(duì)用戶、商品關(guān)系的預(yù)測。這種方法的目標(biāo)在于提取 embedding 中的深層特征，在 embedding 階段不利用交互數(shù)據(jù)，因此具有較高的效率，不易于受到過平滑和噪音數(shù)據(jù)的影響。
而基于 GNN 的協(xié)同過濾方法，在 embedding 階段使用 GNN 進(jìn)行特征提取，在預(yù)測階段通常仍使用簡單的內(nèi)積度量。由于對(duì)高階交互關(guān)系的有效利用，GNN-based CF 通常具有更高的準(zhǔn)確性，但也使其在預(yù)測階段效率降低，且易于受到噪音和過平滑關(guān)系數(shù)據(jù)的影響。
基于上述兩種模型優(yōu)劣的討論，本文提出使用 GNN 模型作為教師模型，使用 MLP 模型作為學(xué)生模型，以求同時(shí)保持兩者的優(yōu)勢(shì)，摒棄兩者的劣勢(shì)，得到準(zhǔn)確且高效的 CF 模型。
2.2 對(duì)比知識(shí)蒸餾
為了蒸餾 GNN 模型中的知識(shí)到學(xué)生模型，SimRec 采用了預(yù)測結(jié)果蒸餾（Prediction-Level Distillation）和表征蒸餾（Embedding-Level Distillation）兩種知識(shí)蒸餾方式。
首先，參考基于 KL 散度的傳統(tǒng)知識(shí)蒸餾方法，SimRec 對(duì)教師模型和學(xué)生模型的預(yù)測結(jié)果進(jìn)行對(duì)齊。受到推薦系統(tǒng)研究中排序損失函數(shù) BPR 的啟發(fā)，SimRec 通過排序任務(wù)來對(duì)齊兩個(gè)模型的預(yù)測結(jié)果。
具體來說，我們隨機(jī)采樣一些用戶、商品三元組，每個(gè)三元組包括一個(gè)用戶和兩個(gè)商品，SimRec 的教師模型和學(xué)生模型，會(huì)分別預(yù)測三元組中用戶對(duì)兩件商品的偏好分?jǐn)?shù)差值。預(yù)測結(jié)果蒸餾采用二分類交叉熵?fù)p失函數(shù)，來拉近兩個(gè)模型預(yù)測分?jǐn)?shù)的差距。
值得注意的是，與普通的知識(shí)蒸餾方法不同，SimRec 的預(yù)測結(jié)果蒸餾針對(duì) CF 場景的特點(diǎn)，進(jìn)行了獨(dú)特的暗知識(shí)挖掘。具體來說，普通的 KD 方法一般針對(duì)多分類問題，在知識(shí)蒸餾過程中，不僅學(xué)習(xí)哪個(gè)類別分?jǐn)?shù)最高，也會(huì)學(xué)習(xí)所有類別之間的分?jǐn)?shù)高低關(guān)系，來擴(kuò)充蒸餾的訓(xùn)練樣本，使學(xué)生模型能夠從教師模型中學(xué)習(xí)得到隱含的暗知識(shí)。
然而，簡單將 CF 任務(wù)視為多分類問題是有問題的，CF 場景中有數(shù)量龐大的商品作為類別，使得蒸餾時(shí)教師模型給出的軟標(biāo)簽，數(shù)值很容易接近 0，導(dǎo)致難以排序。為了解決這一問題，我們的預(yù)測結(jié)果蒸餾采用了成對(duì)排序任務(wù)，通過更豐富的訓(xùn)練樣本對(duì)來充分挖掘教師模型中的暗知識(shí)。
在預(yù)測結(jié)果蒸餾之外，SimRec 進(jìn)一步進(jìn)行了表征蒸餾，以對(duì)齊教師和學(xué)生模型的隱含表征。我們采用對(duì)比學(xué)習(xí)方法，拉近兩個(gè)模型對(duì)同一個(gè)用戶、商品節(jié)點(diǎn)給出的表征，推遠(yuǎn)不同節(jié)點(diǎn)的表征。在這一過程中，教師模型的表征不進(jìn)行更新。為了進(jìn)一步強(qiáng)調(diào) GNN 模型的高階特性，我們僅利用 GNN 模型的高階表征。通過這一方法，不僅進(jìn)一步對(duì)齊了兩個(gè)模型，也帶來了更高的蒸餾效率。
2.3 自適應(yīng)對(duì)比正則
為了防止 GNN 模型中的過平滑和噪音信號(hào)，通過知識(shí)蒸餾對(duì)學(xué)生模型產(chǎn)生負(fù)面影響，SimRec 受到對(duì)比學(xué)習(xí)損失啟發(fā)，通過全局性地推開任意兩點(diǎn)的表征，對(duì)學(xué)生模型的表征學(xué)習(xí)進(jìn)行正則。為了更好地區(qū)分過平滑信號(hào)和正常的平滑信號(hào)，SimRec 計(jì)算蒸餾任務(wù)的梯度與主任務(wù)梯度之間的相似性，根據(jù)這一相似性對(duì)對(duì)比正則進(jìn)行自適應(yīng)的權(quán)重調(diào)整。
實(shí)驗(yàn)結(jié)果
我們?cè)?Gowalla、Yelp、Amazon 三個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，數(shù)據(jù)集統(tǒng)計(jì)信息如下
在實(shí)驗(yàn)中，SimRec 取得了穩(wěn)定優(yōu)于基線方法的模型效果，并通過 t-test 驗(yàn)證了效果提升的顯著性。同時(shí)我們觀測到，非 GNN 的基線方法，如 NCF、AutoR，只能取得較差的模型效果，但 SimRec 優(yōu)越的預(yù)測性能同樣是通過簡單的 MLP 網(wǎng)絡(luò)得到，這充分驗(yàn)證了使用蒸餾方法對(duì)簡單 MLP 方法進(jìn)行監(jiān)督所能帶來的巨大提升。
我們進(jìn)行了詳盡的消融實(shí)驗(yàn)，從以下結(jié)果可以看出，SimRec 的各個(gè)模塊，包括兩種蒸餾方法和自適應(yīng)的對(duì)比正則，不僅可以帶來最終模型效果的提升，還能夠帶來更快的模型優(yōu)化速度。
此外，通過在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)，我們驗(yàn)證了 SimRec 模型在大規(guī)模數(shù)據(jù)集上，不僅仍然能夠取得較好的效果，也能通過免除對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理、采樣，達(dá)到顯著更高的模型效率。
總結(jié)
本文提出了一種對(duì)比知識(shí)蒸餾方法，能夠自適應(yīng)地從 GNN 教師模型中遷移知識(shí)到簡單的多層感知機(jī)模型，顯著提升了推薦模型的魯棒性和效率。自適應(yīng)的對(duì)比正則損失能夠約束知識(shí)蒸餾，得到具備更好抗過平滑和噪聲能力的用戶、商品表征。通過全面的實(shí)驗(yàn)，我們驗(yàn)證了 SimRec 模型在效果和效率上的優(yōu)越性。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。
📝?稿件基本要求：
? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題
? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
·
·
總結(jié)
以上是生活随笔為你收集整理的WWW 2023 | 无图协同过滤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
