?原創(chuàng) ·?作者 | 黃超、夏良昊

單位?|?香港大學(xué)計(jì)算機(jī)學(xué)院

研究方向?|?數(shù)據(jù)挖掘, 信息檢索

研究背景

個(gè)性化推薦系統(tǒng)（Recommender Systems）作為解決信息過載的有效技術(shù)，已經(jīng)被廣泛運(yùn)用于各類線上應(yīng)用系統(tǒng)，比如電子商務(wù)以及在線視頻平臺(tái)。在當(dāng)前的推薦系統(tǒng)技術(shù)中，協(xié)同過濾逐漸演變成為非常重要的模型框架用于通過用戶歷史的交互行為學(xué)習(xí)復(fù)雜的用戶興趣愛好。其中基于深度學(xué)習(xí)框架的推薦算法通過有效地學(xué)習(xí)用戶和商品的表征信息，已經(jīng)為大量的實(shí)際推薦平臺(tái)強(qiáng)勁助力。

近年來，基于圖神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型的引入給協(xié)同推薦方法帶來了明顯的效果提升。但是，現(xiàn)有的方法大多只針對(duì)單類別的用戶與商品的交互關(guān)系（如點(diǎn)擊、購買）進(jìn)行建模，而忽略了推薦場(chǎng)景中用戶多行為的特性。例如，在一個(gè)典型的電商平臺(tái)上，同一個(gè)用戶和商品的交互關(guān)系可能會(huì)是多重類別的，其中包括瀏覽、加購物車、收藏、購買等多種交互關(guān)系，不同交互行為賦予了用戶和商品之前關(guān)聯(lián)性不同的語義信息，從而可以使得對(duì)用戶。

在該研究工作中，我們通過對(duì)用戶復(fù)雜的多行為模式進(jìn)行探索有效地提升推薦效果。然而，運(yùn)用多行為交互數(shù)據(jù)來刻畫用戶復(fù)雜的興趣面臨著諸多挑戰(zhàn)。首先，用戶與商品間的多重交互關(guān)系具有行為異構(gòu)特性，每種行為各自包含不同的語義。例如，不同行為一般反映出不同的用戶偏好程度，點(diǎn)擊通常只意味著用戶對(duì)商品具有初步且較為模糊的興趣，而購買則代表著用戶較強(qiáng)的偏好。

同時(shí)，行為類別間存在復(fù)雜的關(guān)聯(lián)性，使得多行為交互數(shù)據(jù)的建模變得更加復(fù)雜。例如，在電商平臺(tái)中，添加購物車和收藏對(duì)很多用戶來說是相近的交互選項(xiàng)，兩者具有互補(bǔ)關(guān)系；添加購物車往往意味著用戶即將購買。

更具挑戰(zhàn)的是，對(duì)不同用戶來說，上述行為異構(gòu)性常常有所差別，例如有的用戶傾向于瀏覽商品后直接決定是否購買，而有的用戶習(xí)慣將候選商品添加購物車后統(tǒng)一購買。因此，如果對(duì)用戶多行為交互模型進(jìn)行有效地個(gè)性化建模，將是該工作所面臨的重要挑戰(zhàn)。

論文標(biāo)題：

Graph Meta Network for Multi-Behavior Recommendation

論文作者：

夏良昊 (華南理工大學(xué))，許勇 (華南理工大學(xué))，黃超 (香港大學(xué))，戴鵬 (京東硅谷研發(fā)中心)，薄列峰 (京東硅谷研發(fā)中心)

論文來源：

SIGIR 2021

論文鏈接：

https://dl.acm.org/doi/pdf/10.1145/3404835.3462972

代碼鏈接：

https://github.com/akaxlh/MB-GMN

模型介紹

為了應(yīng)對(duì)上述挑戰(zhàn)，從復(fù)雜的多行為關(guān)系中提煉出用戶和商品有效的表征，本文提出 MB-GMN（Multi-Behavior with Graph Meta Network），將元學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)相結(jié)合。MB-GMN 分為三個(gè)模塊，分別是：多行為模式編碼（Multi-Behavior Pattern Encoding）、元圖神經(jīng)網(wǎng)絡(luò)（Meta Graph Neural Network）、以及元學(xué)習(xí)遷移網(wǎng)絡(luò)（Meta-Knowledge Transfer Network）。

通過提取用戶、商品、行為類別的元知識(shí)，MB-GMN 可以生成定制化網(wǎng)絡(luò)參數(shù)，捕捉基于行為的用戶和商品特征信息。同時(shí)，本文采用圖卷積神經(jīng)網(wǎng)絡(luò)提取用戶、商品的高階鄰域信息，從而得到各個(gè)行為下的平滑表示。最后，MB-GMN 使用元學(xué)習(xí)網(wǎng)絡(luò)得到跨行為預(yù)測(cè)器，進(jìn)行多個(gè)源-目標(biāo)預(yù)測(cè)任務(wù)，通過多任務(wù)學(xué)習(xí)框架對(duì)模型的表征學(xué)習(xí)能力進(jìn)行優(yōu)化。

2.1 多行為模式編碼

首先，我們所提出的 MB-GMN 架構(gòu)使用元學(xué)習(xí)器構(gòu)建特定行為下的用戶與商品的表征信息。基于全局的可學(xué)習(xí)表示向量、以及一階鄰居集合（如下圖所示），元學(xué)習(xí)器將對(duì)原始表示向量進(jìn)行拼接和線性轉(zhuǎn)換操作，提取出的元知識(shí)包含了特定行為、特定用戶/商品、以及該行為下該用戶與商品的領(lǐng)域關(guān)聯(lián)信息。基于這一元知識(shí)，MB-GMN 可以通過多層感知機(jī)生成這一特定情境下的網(wǎng)絡(luò)參數(shù)，對(duì)目標(biāo)用戶與商品的全局表征信息進(jìn)行變換，從而得到個(gè)性化的向量表示。

這里，為了防止定制化過程過于復(fù)雜，使模型訓(xùn)練出現(xiàn)過擬合，MB-GMN 不直接生成定制化所需的變換矩陣，而是生成兩個(gè)低秩的分解矩陣，使用兩次低秩矩陣乘法完成一次變換操作。其具體的分解優(yōu)化操作如下圖所示：

2.2 基于元學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)

得到上述定制化的用戶和商品的表征之后，MB-GMN 基于各個(gè)行為類別的鄰接矩陣，分別進(jìn)行 L 次基于圖卷積的消息傳遞操作，以利用歷史交互記錄對(duì)用戶和商品的表征進(jìn)行平滑。在推薦場(chǎng)景中，當(dāng)有 K 個(gè)行為類別時(shí)，將得到 K 個(gè)只與單個(gè)行為相關(guān)的平滑的用戶與商品的表征信息。在圖卷積網(wǎng)絡(luò)中，MB-GMN 使用點(diǎn)的度矩陣進(jìn)行 normalization，并采用 LeakyReLU 激活函數(shù)。

除了分別使用不同行為類別的鄰接矩陣，為了綜合提取用戶/商品的交互特征，MB-GMN 也將所有行為數(shù)據(jù)匯聚構(gòu)建為一個(gè)異構(gòu)圖，另外進(jìn)行一組異構(gòu)圖卷積特征提取。在每次異構(gòu)圖卷積迭代時(shí)，MB-GMN 首先進(jìn)行一次上述同構(gòu)圖卷積操作，得到各個(gè)行為類別的平滑特征，再應(yīng)用多頭自注意力機(jī)制計(jì)算各個(gè)行為之間的相關(guān)性，最后使用相關(guān)性矩陣，對(duì)各個(gè)行為的表示向量進(jìn)行修正與更新，從而得到綜合考慮了不同行為信息的用戶與商品的表征信息。

2.3 基于元學(xué)習(xí)的遷移網(wǎng)絡(luò)

通過上述模塊，MB-GMN 獲取了對(duì)應(yīng) K 個(gè)行為類別的用戶與商品表征信息，以及綜合利用所有行為數(shù)據(jù)的用戶/商品表示，共（K+1）組表示。在預(yù)測(cè)階段，本文提出進(jìn)行多任務(wù)學(xué)習(xí)以更好地進(jìn)行參數(shù)優(yōu)化。這里，一個(gè)訓(xùn)練任務(wù)即為：使用第 k 組表示預(yù)測(cè)用戶、商品在第 k 個(gè)行為下的關(guān)系。因此，預(yù)測(cè)部分需要對(duì) (K+1)*K 個(gè)任務(wù)進(jìn)行學(xué)習(xí)。

為了在上述過程中更好地提取不同行為間的語義遷移關(guān)系，MB-GMN 應(yīng)用一個(gè)元學(xué)習(xí)器來提取特定行為下用戶和商品的信息，以及源行為類別和目標(biāo)行為類別之間的關(guān)系。

如下圖所示，元學(xué)習(xí)器首先使用 映射，分別對(duì)源行為和目標(biāo)行為下，用戶和商品的表示進(jìn)行融合，經(jīng)過線性變換和非線性操作，分別得到源行為和目標(biāo)行為的相關(guān)知識(shí)。接著使用同樣的操作對(duì)源行為和目標(biāo)行為的元知識(shí)進(jìn)行蒸餾，得到當(dāng)前預(yù)測(cè)任務(wù)的知識(shí)。接下來，MB-GMN 據(jù)此生成預(yù)測(cè)網(wǎng)絡(luò)中所需的參數(shù) ，以源行為的用戶、商品表示為輸入，進(jìn)行當(dāng)前任務(wù)的預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果

本文在三個(gè)多行為推薦數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)與模型的驗(yàn)證，數(shù)據(jù)集均采集自真實(shí)的大規(guī)模電商平臺(tái)，統(tǒng)計(jì)信息見 Table 1。本文采用隱式反饋任務(wù)常用的 leave-one-out 評(píng)測(cè)模式，對(duì)每個(gè)測(cè)試用戶，選取最后一個(gè)購買商品作為測(cè)試集中的正例，另選取 99 個(gè)未交互商品作為測(cè)試負(fù)例，使用 Hit Rate@N 和 NDCG@N 作為評(píng)測(cè)指標(biāo)。我們將 MB-GMN 與 6 個(gè)類別的 14 個(gè) baseline 方法進(jìn)行了對(duì)比實(shí)驗(yàn)，并且展示了模型在推薦任務(wù)上的優(yōu)勢(shì)。

3.1 對(duì)比實(shí)驗(yàn)

如 Table 2 所示，在三個(gè)數(shù)據(jù)集上 MB-GMN 均取得了明顯更優(yōu)的推薦效果。同時(shí)我們觀測(cè)到，考慮用戶多種行為類別的方法，如 MATN、MBGCN 取得了優(yōu)于普通協(xié)同過濾方法的效果。

3.2 消融實(shí)驗(yàn)

為了驗(yàn)證 MB-GMN 各個(gè)子模塊的有效性，我們對(duì)整個(gè)模型框架中的可信模塊進(jìn)行了消融實(shí)驗(yàn)。相應(yīng)的實(shí)驗(yàn)結(jié)果請(qǐng)參見 Table 4。在消融實(shí)驗(yàn)中，w/o 代表去除特定模塊，LowR 指第一個(gè)模塊中的低秩參數(shù)矩陣分解，MFeat 指第二個(gè)模塊中綜合所有交互類別的圖卷積網(wǎng)絡(luò)分支，MTask 指第三個(gè)模塊的多任務(wù)學(xué)習(xí)，MetaC 指第一個(gè)模塊中的元學(xué)習(xí)器，MetaP 指第三個(gè)模塊中預(yù)測(cè)時(shí)的元學(xué)習(xí)器。從結(jié)果可以看出，各個(gè)模塊在整個(gè) MB-GMN 框架的推薦效果均有一定的促進(jìn)作用。

同時(shí)，我們針對(duì)不同行為類別也進(jìn)行了消融實(shí)驗(yàn)，以探究不同行為類別對(duì)模型預(yù)測(cè)的重要程度。實(shí)驗(yàn)結(jié)果見下圖，其中-代表去除某個(gè)行為類別，+buy 代表只保留作為目標(biāo)行為的購買數(shù)據(jù)，pv 代表 page view 瀏覽詳情頁操作，fav 代表 favorite 收藏操作，cart 代表 add-to-cart 加購物車操作。

從結(jié)果可以看出，+buy 模型總是表現(xiàn)最差，說明了輔助行為對(duì)購買預(yù)測(cè)的重要性。在各個(gè)輔助行為中，去除 pv 行為造成了最大的效果衰退，說明了 pv 數(shù)據(jù)對(duì) MB-GMN 模型的重要性。我們認(rèn)為這很可能來源于 pv 數(shù)據(jù)較大的規(guī)模，它既可以作為豐富的行為特征數(shù)據(jù)，也可以為模型學(xué)習(xí)提供充分的輔助監(jiān)督信息。

3.3 模型在稀疏數(shù)據(jù)上的優(yōu)勢(shì)

接下來，我們進(jìn)一步評(píng)測(cè) MB-GMN 與部分 baseline 方法在不同稀疏度的數(shù)據(jù)上表現(xiàn)如何。我們將 Taobao 數(shù)據(jù)集劃分為 5 個(gè)子數(shù)據(jù)集，每個(gè)子數(shù)據(jù)集的交互數(shù)相等。下圖中柱狀圖描繪 5 個(gè)子數(shù)據(jù)集的用戶數(shù)量，折線圖則表現(xiàn)各個(gè)方法的測(cè)試結(jié)果，x 軸坐標(biāo)代表對(duì)應(yīng)子數(shù)據(jù)集中單個(gè)用戶的最大交互數(shù)，從左到右數(shù)據(jù)集由稀疏變得稠密。可以看出，MB-GMN 在不同稀疏度上均取得了較好的效果。

同時(shí)我們注意到，大部分使用用戶與商品的鄰域信息進(jìn)行特征提取的方法均沒有受到明顯的稀疏度影響，而不使用鄰域信息的 BiasMF 和 NCF-G 則表現(xiàn)出在稀疏的數(shù)據(jù)集上效果差、在稠密的數(shù)據(jù)集上效果好的趨勢(shì)。

3.4 參數(shù)實(shí)驗(yàn)

我們針對(duì)模型超參數(shù)進(jìn)行了學(xué)習(xí)，在三個(gè)數(shù)據(jù)集上改變超參設(shè)定測(cè)試模型效果。從結(jié)果可以看到，不同數(shù)據(jù)集上超參設(shè)置的表現(xiàn)有所不同，有的數(shù)據(jù)集在隱藏層維度或圖卷積迭代次數(shù)較大時(shí)出現(xiàn)過擬合現(xiàn)象，在有的數(shù)據(jù)集上默認(rèn)參數(shù)則一定程度上限制了模型學(xué)習(xí)能力。

3.5 樣例學(xué)習(xí)

最后，本文進(jìn)行樣例學(xué)習(xí)，以探究不同行為之間的關(guān)系。我們將多任務(wù)學(xué)習(xí)中不同任務(wù)的預(yù)測(cè)準(zhǔn)確性進(jìn)行可視化，隨機(jī)抽取了部分用戶，可視化使用不同源行為對(duì)不同目標(biāo)行為進(jìn)行預(yù)測(cè)的準(zhǔn)確性，并計(jì)算了所有樣例的平均預(yù)測(cè)準(zhǔn)確度，結(jié)果如下圖所示。可以發(fā)現(xiàn)，對(duì)不同用戶來說，各個(gè)任務(wù)的預(yù)測(cè)準(zhǔn)確性有所不同。

此外，使用點(diǎn)擊行為作為源行為進(jìn)行預(yù)測(cè)，可以得到更高的預(yù)測(cè)準(zhǔn)確性，這一現(xiàn)象與行為類別消融實(shí)驗(yàn)相符，應(yīng)當(dāng)是由于點(diǎn)擊行為數(shù)據(jù)較多，可以提供充分的信息進(jìn)行特征提取。同時(shí)，可以發(fā)現(xiàn)各個(gè)源行為都能更好地對(duì)購買行為進(jìn)行預(yù)測(cè)，我們認(rèn)為這歸因于購買行為語義明確、易于預(yù)測(cè)。

與之相對(duì)，預(yù)測(cè)點(diǎn)擊行為的準(zhǔn)確性較差，而購買行為作為源行為時(shí)準(zhǔn)確性也較低。這兩個(gè)現(xiàn)象應(yīng)當(dāng)是由于點(diǎn)擊行為所蘊(yùn)含的用戶傾向較為復(fù)雜、模糊，難以預(yù)測(cè)，而購買行為數(shù)量較少，作為特征數(shù)據(jù)不能提供充分的信息。

總結(jié)

在本工作中，我們探索了用戶多行為模型下的推薦系統(tǒng)，以有效地學(xué)習(xí)不同行為之間的個(gè)性化交互模式。我們所提出的推薦模型框架 MB-GMN 通過元學(xué)習(xí)提取用戶個(gè)性化信息并注入到基于圖遷移學(xué)習(xí)的框架中，從而可以對(duì)用戶復(fù)雜的興趣愛好進(jìn)行學(xué)習(xí)并進(jìn)行更準(zhǔn)確的推薦。我們希望該工作中的研究成果可以為接下來多行為推薦系統(tǒng)的探索提供一些指導(dǎo)意義。

參考文獻(xiàn)

[1] B.Jin, C.Gao, X.He, D.Jin, and Y.Li. “Multi-Behavior Recommendation with Graph Convolutional Networks. In ACM SIGIR. 659–668.2020.

[2] L.Xia, C.Huang, Y.Xu, P.Dai, B.Zhang, and L.Bo. “Multiplex Behavioral Relation Learning for Recommendation via Memory Augmented Transformer Network”In ACM SIGIR,2397–2406.2020.

[3] X.Wang, X.He, M.Wang, F.Feng, and T.Chua.“Neural Graph Collaborative Filtering”. In ACM SIGIR,165–174,2019.

[4] Y.Cen, X.Zou, J.Zhang, H.Yang, J.Zhou, and J.Tang.“Representation learning for attributed multiplex heterogeneous network”In ACM KDD. 1358–1368.2019.

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的SIGIR 2021 | 推荐系统中的多行为建模的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。