[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-OpZWgm7T-1634540652258)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018091530075.png)]

創新性

• 提出了新的GNN聚合方案
• 提出了意圖圖，每個意圖圖是將每個intent建模為KG關系的attentive combination！ 關系和關系之間也是有關系的，他們相互依賴可以同時決定了用戶的選擇

摘要

差異

知識圖在推薦系統中扮演著越來越重要的角色。最近的一個技術趨勢是開發基于圖形神經網絡（GNN）的**端到端模型。**然而，現有的基于GNN的模型在關系建模中是粗粒度的，

（1）無法在細粒度的意圖級別識別user-item relation；

（2）無法利用關系依賴性來保留遠程連接的語義。

新的模型

基于知識圖的意圖網絡（KGIN）。從技術上講，我們將each intent建模為KG關系的 attentive combination ，鼓勵不同意圖的獨立性，以獲得更好的建模能力和解釋能力。此外，我們還設計了一種新的GNN信息聚合方案，該方案遞歸地集成了遠程連接的關系序列（即關系路徑）。該方案允許我們提取關于用戶意圖的有用信息，并將其編碼為用戶和項目的表示。在三個基準數據集上的實驗結果表明，KGIN比KGAT[41]、KGNN-LS[38]和CKAN[47]等最先進的方法取得了顯著的改進。https://github. com/huangtinglin/Knowledge\u Graph\u-based\u-Intent\u-Network。

2 PROBLEM FORMULATION

我們首先介紹用戶項交互和知識圖

交互數據

這里我們重點關注推薦中的隱性反饋[26]，其中用戶提供的關于其偏好的信號是隱性的。（比如瀏覽、點擊和購買）

$\mathcal{U}$是用戶的集合，$\mathcal{I}$是items的集合； $O^{+}=\{(u,i)\mid u\in \mathcal{U},i\in \mathcal{I}\}$是一組觀察到的反饋；其中每一$(u,i)$對表明了用戶$u$在之前和物品$i$有聯系； 在以前的一些文獻中，如KGAT；引入了另一個交互的關系，以顯式表示用戶項關系，并將（u，i）對轉換為（u，interactive with，i）三元組。因此，用戶項交互可以與KG無縫結合。

Knowledge Graph

KG以異構圖形或異構信息網絡的形式存儲現實世界事實的結構化信息，例如項目屬性、分類法或外部常識知識。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-sdesrfHl-1634540652262)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018094337604.png)][外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-GFXCxspe-1634540652265)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018094625309.png)]

使用items和KG實體之間的映射（$\mathcal{I}\in \mathcal{V}$） KG能夠分析項目，并為交互數據提供補充信息。

Task Description

給定$O^{+}$和KG $\mathcal{G}$，基于知識的推薦的任務就是學習一個函數來預測一個用戶怎么采納一個item

3 METHODOLOGY

我們現在提出了基于知識圖的意圖網絡（KGIN）。圖3顯示了KGIN的工作流程。它由兩個關鍵組成部分組成：

（1）用戶意圖建模，它使用多個潛在意圖來描述用戶-項目關系，并將每個意圖表述為KG關系的一個精心組合，同時鼓勵不同的意圖相互獨立；

（2）關系路徑感知聚合，突出了遠程連接中的關系依賴性，從而保留了關系路徑的整體語義。KGIN最終生成用戶和項目的高質量表示。

3.1 User Intent Modeling

意圖圖： 與先前基于GNN的研究[38,41,47]不同，該研究假設沒有或只有一個用戶與項目之間的交互關系，我們旨在捕捉用戶行為受多個意圖(意圖就是用戶選擇的原因)影響的直覺。在這里，我們將意圖作為用戶選擇項目的原因，這反映了所有用戶行為的共性。

以電影推薦為例，意圖的意思是：是對電影屬性的不同考慮，如明星和合作伙伴的組合，或導演和流派的組合。不同的意圖抽象出不同的用戶行為模式。

這可以通過更細粒度的假設來強化廣泛使用的協同過濾效果——這種相似性意圖，驅動了用戶對項目的偏好相似。這種直覺促使我們在意圖的粒度上建模用戶項關系。

假設作為所有用戶共享的意圖集$\mathcal{P}$，我們可以將統一的用戶項關系切片為$|\mathcal{P}|$意圖，并將每個（u，i）對分解為{（u，P，i）| P∈ $\mathcal{P}$} 。因此，我們將用戶項交互數據重新組織為一個異構圖，稱為意圖圖(IG)，它不同于以前工作中采用的同構協作圖[41,47]。

3.1.1Representation Learning of Intents

雖然我們可以用潛在向量來表達這些意圖，但很難明確地識別每個意圖的語義。一個簡單的解決方案是將每個意圖與KTUP[4]提出的一個KG關系相耦合。

然而，該解決方案僅孤立地考慮單個關系，而**不考慮關系的交互和組合，**因此無法細化用戶意圖的高級概念。例如，關系1和2的組合對意向1有影響，而關系3和4對意向2的貢獻更大。因此，我們會考慮在KG上的分布關系來安排每個意圖$p\in \mathcal{P}$，----從技術上講，運用注意力策略創建意圖嵌入。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-lzxv2F9g-1634540652269)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018102852357.png)]

其中${\mathrm{e}}_r$是關系r的ID嵌入，它被分配了一個注意力分數α（r，p）來量化它的重要性，正式地：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-ySO6Fe9l-1634540652285)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018103027788.png)]

其中$w_{rp}$是一個特定于特定關系$r$和特定意圖$p$的可訓練的權重。在這里，為了簡單起見，我們使用權重，并在未來的工作中對復雜注意模塊進行進一步的探索。

3.1.2 Independence Modeling of Intents

不同的意圖不同的信息：不同的意圖應該包含關于**用戶偏好的不同信息[**23,24]。如果一個意圖可以被其他意圖推斷出來，那么描述用戶項關系可能是多余的，信息量也可能較小；相反，具有獨特信息的意圖將提供一個有用的角度來描述用戶的行為模式。

因此，為了更好的模型容量和解釋性，我們鼓勵意圖的表達彼此不同。在這里，我們引入了一個獨立建模模塊來指導獨立意圖的表示學習。

該模塊可以通過應用統計度量（如互信息[2]、皮爾遜相關[33]和距離相關[32,33,43]）作為正則化器來簡單實現。這里我們提供兩種實現：

• Mutual information

  我們最小化任何兩個不同意圖表示之間的互信息，從而量化它們的獨立性。這種想法與對比學習不謀而合[7,12]。更正式地說，獨立性建模是：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-vWpmba8E-1634540652289)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018103906899.png)]

? 其中**$s(?)$是測量任意兩個意圖表示關聯的函數**，此處設置為余弦相似函數；

? 其中$\tau$是softmax功能中溫度的超參數

• Distance correlation

  它測量任意兩個變量的線性和非線性關聯，當且僅當這些變量獨立時，其系數為零。最小化用戶意圖的距離相關性使我們能夠減少不同意圖的依賴性，其公式如下：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-5wftaqNg-1634540652292)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018104309356.png)]

? 其中，[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-M4wiQUoN-1634540652294)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018104347706.png)]是兩個意圖$p$和$p^{/}$之間的距離；

? [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-X204d8gt-1634540652296)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018104723653.png)]是兩個意圖表示的方差距離；

優化這種損失可以鼓勵不同意圖之間的分歧，使這些意圖具有清晰的邊界，從而賦予用戶意圖更好的解釋性。

3.2 Relational Path-aware Aggregation

在對用戶意圖進行建模之后，我們繼續在GNN基礎范式下學習用戶和項目的表示。

先前基于GNN的推薦模型表明，鄰域聚合方案是一種很有前途的端到端方法，可以將多跳鄰居集成到表示中。更具體地說，ego節點的表示向量是通過遞歸聚合和轉換其多跳鄰居的表示來計算的。

然而，我們認為當前的聚合方案大多基于節點，這限制了結構知識的好處，這是由于兩個問題：

（1）聚合器專注于組合鄰域信息，而不區分它們來自哪些路徑?？紤]圖2中的示例，在ego節點1和它的2-hop鄰居$v_2$之間有三個信息通道[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-pgw7x8dQ-1634540652299)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018105742029.png)]在構建由$v_2$傳遞的神經信息時，基于節點的聚合器主要通過衰減因子變換和重新縮放$v_2$的表示，而不考慮不同通道的影響（縮放不是不同權重)。因此，它們不足以在表示中保留結構信息。

（2)當前基于節點的聚合器通常通過注意網絡對衰減因子中的KG關系進行建模，以控制從鄰居傳播的信息量。這限制了KG關系對節點表示的貢獻。此外，沒有關系依賴被一個隱藏的方式捕獲，因此，我們的目標是設計一個關系路徑感知聚合方案來解決這兩個限制。

3.2.1 Aggregation Layer over Intent Graph.

首先，我們將個人歷史（即用戶以前采用的物品）視為個人用戶預先存在的特性。

在我們的IG中，我們可以通過假設具有相似意圖的用戶對item表現出相似的偏好，在用戶意圖的粒度級別捕獲更細粒度的模式。

考慮在IG中的一個user $u$，我們使用表示意圖感知歷史和$u$周圍的一階連接。從技術上講，我們可以集成歷史item中的意圖感知信息，以創建用戶$u$的表示：

其中是用戶$u$的表示;是描述每個一階連接（u、p、i）的聚合函數。因此我們實現為：

而對于不同的意圖將會對一個用戶的行為不同的重要性，因此我們使用一個注意力分數來區分該意圖$p$的重要性為：

${\mathrm{e}}_u^{(0)}$是用戶u的ID嵌入，使得重要性分數個性化。

我們不用衰減因子或者是正則化項，我們在聚合中突出了意圖關系的重要性。 因此我們通過元素乘積構造item $i$的消息

因此，我們能夠在用戶表示中顯式表達一階意圖感知信息。

3.2.2 Aggregation Layer over Knowledge Graph.

然后，我們重點討論以KG為單位的聚合方案。由于一個實體可以包含多個KG三元組，因此它可以將其他連接的實體作為其屬性，以反映項目之間的內容相似性。

我們使用表示item $i$的屬性和一階連接性，然后集成來自連接實體的關系感知信息，以生成item $i$的表示：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-NgHHytxs-1634540652301)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018135743908.png)]

這里，我們考慮聚合器中的關系上下文。直觀地說，每個KG實體在不同的關系上下文中具有不同的語義和含義。

為了控制不同上下文，原來的方法是通過注意力機制的衰減因子。 相反，我們將聚合器中的關系上下文建模為：

對于每個三元組$(i,r,v)$，我們設計一個關系信息，通過將關系建模為投影或旋轉操作符。 因此，關系消息能夠揭示三元組攜帶的不同含義，即使它們獲得相同的實體。

類似的，我們可以獲得每個KG實體$v\in \mathcal{V}$的表示。

3.2.3Capturing Relational Paths.

上面是一階，這里是高階。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-KNBN8AaY-1634540652303)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018140728265.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-9Dsmm2Hp-1634540652306)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018140900504.png)]關系路徑表示為關系序列也就是$(r_1,r_2,...,r_l)$，我們可以重寫表示如下：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-Qpg85YXy-1634540652308)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141118169.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-sx6FXcVp-1634540652310)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141140638.png)]

顯然，這種表示反映了關系之間的交互，并保留了路徑的整體語義。這與當前知識感知推薦中采用的聚合機制有很大不同，后者忽略了KG關系的重要性，因此無法捕獲關系路徑。

3.3 Model Prediction

經過L 層后，我們獲得了用戶u和item i在不同層上的表示，然后將它們匯總為最終表示：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-XZ9JUOE4-1634540652312)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141315847.png)]

3.4 Model Optimization

我們選擇成對的BPR損失[26]來重建歷史數據。具體而言，它認為，對于給定用戶，其歷史項目的預測分數應高于未觀察到的項目：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-cxiSdoJk-1634540652314)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141339506.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-3iMLS4ga-1634540652316)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141437244.png)]

通過結合獨立性損失和BPR損失，我們最小化以下目標函數來學習模型參數：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-G1wFlUYK-1634540652319)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141452364.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-8GTXdXKw-1634540652322)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018141521294.png)]

4 實驗

我們提供了實證結果來證明我們提出的KGIN的有效性。這些實驗旨在回答以下研究問題：

RQ1：與最先進的知識感知推薦模型相比，KGIN的表現如何

RQ2：設計（例如，用戶意圖的數量和獨立性，關系路徑的深度）對KGIN關系建模的改進有什么影響

RQ3：KGIN能否提供關于用戶意圖的見解，并給出可解釋性的直觀印象？

4.1 實驗設置

在實驗中，我們使用三個基準數據集來推薦書籍、音樂和時裝：

（1） 我們使用的是亞馬遜圖書和KGAT發布的最新FM數據集[41]；

（2）我們進一步引入阿里巴巴iFashion數據集[8]來研究項目知識的有效性。這是從阿里巴巴網上購物系統收集的時尚服裝數據集。服裝被視為推薦的item，每一套服裝都由多個時尚物品組成（例如上衣、底褲、鞋子、配飾），這些物品遵循時尚分類法，被分配到不同的時尚類別（如牛仔褲、T恤衫）。我們提取服裝的KG數據等屬性，比如： 丟棄少于十次交互的用戶和項目，過濾掉少于十個三元組的KG實體。

表1總結了數據集的統計信息，其中我們只列出了典型關系的數量，并在實驗中用反向關系構造了三元組。緊跟之前的研究[41,45]，我們使用相同的數據分區。在訓練階段，每個觀察到的用戶項目交互都是一個積極的實例，而用戶之前沒有采用的項目則隨機抽樣，將用戶配對為一個消極的實例。

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-5iH8InJj-1634540652324)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018142635299.png)]

4.1.2Evaluation Metrics.

在評估階段，我們執行全排名策略[20]，而不是抽樣指標。更具體地說，對于每個用戶，她以前沒有采用過的完整項目被視為負面，測試集中的相關項目被視為正面。所有這些item都是根據推薦人模型的預測進行排名的。 為了Top-K推薦，我們采用了recall@K和ndcg@K。 其中K默認是20. 我們報告測試集中所有用戶的平均指標。

4.1.3Alternative Baselines.

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-yqQdyqHv-1634540652326)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018143036573.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-MyQzTh51-1634540652328)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018143105718.png)]

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-jQx6Z5LB-1634540652330)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018143046996.png)]

4.1.4Parameter Settings.

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-cexhePIe-1634540652332)(C:\Users\小軒\AppData\Roaming\Typora\typora-user-images\image-20211018144109049.png)]

關系可以被分配給意圖！ 意圖的意思就是讓用戶選擇這個物品的關鍵！

對于一個意圖，一個關系的權重表明了它對用戶行為的重要性（也就是說上圖中，關系都是從高到低排列后的選擇的！！ ）學習意圖抽象出用戶選擇的共同原因。

此外，由于獨立性建模，意圖往往有明確的邊界，從而從不同和獨立的角度描述用戶行為。然而，p1和p3是高度敏感的

可以發現，一些關系在多個意圖中都有很高的權重，比如Last-FM的version！ 那么這就是共同的特征的了，這叫做特殊特性。

Related Work

Embedding和path-based 自不用說！

policy-based ：

基于策略的方法[40,45,49,52,53]從強化學習（RL）最近的成功中得到啟發，并設計RL代理來學習路徑發現策略。例如，PGPR[49]利用策略網絡來探索目標用戶感興趣的項目。這些基于RL的策略網絡可以被視為蠻力搜索的高效且廉價的替代方案，蠻力搜索是會話推薦系統的骨干模型[10,21]。然而，稀疏的獎勵信號、巨大的行動空間和基于策略梯度的優化使得這些網絡難以訓練并收斂到穩定且令人滿意的解[50,52]。

GNN-based Methods：基于圖形神經網絡（GNN）的信息聚合機制[13,14,19,34,42]。通常，它包含從一跳節點更新自我節點的表示信息；當遞歸地執行這種傳播時，來自多跳節點的信息可以在表示中編碼。因此，這些方法能夠模擬遠程連接。例如，KGAT[41]將用戶項交互和KG組合為一個異構圖，然后對其應用聚合機制。CKAN[47]使用兩種不同的策略分別傳播協作信號和知識感知信號。最近，NIRec[17]提出將基于路徑和GNN的模型結合起來，通過元路徑引導的鄰域在兩個節點之間傳播交互模式

然而，據我們所知，當前基于GNN的方法假設用戶和項目之間只存在一種關系，但未探究隱藏的意圖。此外，它們中的大多數都無法保持路徑中的關系依賴性。我們的工作與他們的不同之處在于這些關系建?！覀儗Ｗ⒂谠谝鈭D的粒度上展示用戶項關系，并將關系路徑編碼到表示中，以實現更好的性能和可解釋性。

總結

以上是生活随笔為你收集整理的（二十七）【2021 WWW】Learning Intents behind Interactions with Knowledge Graph for Recommendation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。