浅谈个性化推荐系统中的非采样学习
?PaperWeekly ·?作者｜陳沖、張敏
單位｜清華大學人工智能實驗室信息檢索組
研究方向｜推薦系統
引言
隨著互聯網技術和產業的迅速發展，推薦系統（Recommender System）成為網絡應用中不可缺少的重要組成部分，是當前解決信息過載問題的最有效的方法之一，因此也受到了學界和工業界的廣泛關注。
近年來，深度學習技術在許多領域展現出非凡的應用效果。然而，現有的將深度學習應用到推薦系統任務的工作主要集中在探索和引入不同的神經網絡框架，在模型學習算法方面的研究相對較少。
為了優化模型，現有的工作往往使用負采樣策略（Negative Sampling）進行訓練。雖然負采樣方便并且易于實現，但是許多最近的研究表明負采樣策略的魯棒性較差，可能會忽略掉重要的訓練樣例從而導致模型無法收斂到最優的狀態。
在近兩年，清華大學信息檢索課題組（THUIR）首次探索了將非采樣策略（Non-Sampling, Whole-data based Learning）應用到基于神經網絡的推薦系統中。
通過嚴格的數學推理，我們設計了一系列高效的非采樣學習算法，使得整體數據中學習的時間復雜度在理論數量級上有所降低。基于所設計的高效非采樣算法框架，我們分別設計了不同應用場景下的神經網絡推薦模型，并在多個現實數據集上相比于已有?state-of-the-art?方法在訓練時間和模型表現上均取得了非常顯著的效果，包括：
1. 基礎場景 （只使用用戶和商品 ID 信息）：推薦效果提升?5%?以上，訓練時間快?30 倍以上（TOIS 錄用）；
2. 基于社交關系的推薦系統：推薦效果提升 4% 以上，訓練時間快?7 倍以上（SIGIR 2019 錄用）；
3. 基于多行為數據的推薦系統：推薦效果提升 40% 以上，訓練時間快?10 倍以上（AAAI 2020 錄用）；
4. 包含特征（feature）和上下文（context）的推薦系統：推薦效果提升?9%?以上，訓練時間快?5 倍以上（WWW 2020 錄用）。
接下來我們簡要介紹相關工作的主要內容。
負采樣策略 v.s. 非采樣策略
推薦系統中經常用到的數據是隱式反饋數據（Implicit Feedback Data），如瀏覽歷史，點擊日志等。這些數據往往只有正反饋而沒有負反饋，并且數據是高度稀疏的（相比于用戶點擊過的產品，沒有被點擊過的產品的數量非常多）。在推薦系統中使用隱式反饋數據，有兩種常見的學習方法：1）負采樣策略，2）非采樣策略。
負采樣策略是從所有用戶未標記的樣例中抽取一部分作為負例，而非采樣策略則是將所有用戶未標記的樣例作為負例。兩種方法都有各自的優點和缺點：
以上兩種策略在傳統的推薦算法中均有廣泛應用，如 BPR 使用負采樣策略訓練而 WMF 使用非采樣策略訓練。由于傳統的非采樣策略復雜度較高，現有的基于深度學習的工作通常采用負采樣進行訓練來保證效率，但是可能會降低模型的表現效果。
高效非采樣學習算法
在隱式數據中，用戶（user）和商品（item）的交互數據定義如下：
傳統的非采樣學習使用加權回歸的 loss function：
其中 B 代表一個 batch 的 user，V 代表全部的 item，d 表示 embedding 的大小，?表示該樣例的權重。可以看到，訓練復雜度是?，非常大并且在基于神經網絡的推薦模型中往往是不可接受的。
因此，我們對該 loss 進行推導，我們首先有如下結論：
定理 1：對于一個預測函數如下的泛化矩陣分解模型（其中??和??表示用戶和商品向量，⊙ 表示向量點積）。
Loss (1) 的梯度等價于下列 loss：
證明過程如下（詳細證明請參考論文）：
將??帶入，并且進行合并操作：
合并之后，再將??展開代入得到：
通過上述推導，我們有：
非采樣訓練復雜度如右上所示，由于在實際數據中正反饋數量?，因此新推導的 loss 的復雜度從理論上降低了一個數量級。
高效非采樣訓練策略的應用
基于所設計的高效非采樣訓練策略，我們提出了若干個神經網絡模型，簡單介紹如下。
基礎場景（只使用用戶和商品ID信息）
首先是在基礎的推薦場景下，即只使用用戶和商品的 ID 信息時，我們提出了非采樣的高效神經網絡矩陣分解框架（Efficient Neural Matrix Factorization, ENMF）。模型框架如下圖所示：
ENMF 是一個非常基礎的一層矩陣分解框架，模型結構與 Neural Collaborative Filtering (NCF) 類似但是有兩個主要區別：
1. 與 NCF 每次輸入 user-item pair (u,v) 不同，ENM 的輸入是用戶和他/她所有的交互商品（user-based），或是商品和它所有的交互用戶（item-based）。
2. 與現有的通常基于負采樣的神經網絡模型不同，我們采用所設計的高效非抽樣算法對模型進行訓練，因為考慮了所有的訓練樣例，這樣的方式更能夠更充分的對模型進行訓練。
數據集
我們對比了多個 state-of-the-art 推薦模型，包括傳統推薦模型 BPR (UAI’09)，WMF (ICDM’08) 和 ExpoMF (WWW’16)，以及神經網絡模型? GMF (WWW’17)，NCF (WWW’17) 和 ConvNCF (IJCAI’18)。各方法之間的比較如下：
為了驗證 ENMF 的效果，我們在 3 個公開數據集上進行了實驗，數據集如下所示：
對比方法
我們對比了多個 state-of-the-art 推薦模型，包括傳統推薦模型 BPR (UAI’09)，WMF (ICDM’08) 和 ExpoMF (WWW’16)，以及神經網絡模型? GMF (WWW’17)，NCF (WWW’17) 和 ConvNCF (IJCAI’18)。各方法之間的比較如下：
模型表現
我們的 ENMF 與對比方法的表現結果展示在下表中，從表中我們可以觀察到幾個重要的結論：
1. 使用非采樣策略的方法往往表現好于負采樣的方法，在傳統方法中，WMF，ExpoMF 的表現均優于 BPR，在神經網絡方法中，我們的 ENMF 顯著優于 GMF，NCF 以及基于 CNN 的 ConvNCF。
2. 我們的 ENMF 取得了最好的效果，并且顯著優于所有對比方法。ENMF 是一個淺的神經網絡方法，參數量和模型復雜度均少于 ConvNCF，但是模型表現卻更好，這顯示了使用非采樣學習算法帶來的訓練優勢。
訓練效率
我們也在相同的機器上對比了 ENMF 和神經網絡推薦算法的訓練效率（Intel Xeon 8-Core CPU of 2.4 GHz and single NVIDIA GeForce GTX TITAN X GPU）。各個模型所需訓練時間如下表所示：
從表中可以看到，我們的方法 ENMF 所需要的訓練時間比對比方法少了幾個數量級。比如，在 Epinion 數據集上，以往方法需要超過 30 小時的訓練時間，而我們的方法分別只需要 27 分鐘，70 分鐘，以及 53 分鐘達到收斂，快了大約?30 倍。
在現實應用場景中，訓練效率也是一個重要的考慮因素。我們的 ENMF 在這方面與已有方法相比展現了非常顯著的優勢，也驗證了我們新提出的非采樣學習方法的高效性。
該部分工作發表在 CCF A 類期刊：
Chong Chen, Min Zhang, Yongfeng Zhang, Yiqun Liu and Shaoping Ma.?Efficient Neural Matrix Factorization without Sampling for Recommendation. ACM Transactions on Information Systems. (TOIS Vol. 38, No. 2, Article 14)
基于社交關系的推薦系統場景
用戶的社交信息可以用來幫助用戶偏好建模，提高推薦結果的準確性。在基于社交關系的推薦場景下，同樣可以使用非采樣的訓練策略。在這部分工作中，我們提出了一個應用于社交推薦的高效非抽樣自適應遷移網絡（Efficient Adaptive Transfer Neural Network, EATNN）。模型框架如下圖所示：
在已有的遷移學習方法中，通常采用靜態傳輸方案來共享用戶在商品和社交領域之間的共同偏好。我們認為這樣是不符合實際場景的，因此，我們通過進入注意力機制，自動為每個用戶分配一個個性化的遷移方案。我們同時擴展了高效非采樣學習算法，使其可以支持多任務學習。模型具體結構如下：
對于商品推薦任務：
對于社交發現任務：
聯合學習（Joint Learning）：
數據集
為了驗證所提出的 EATNN 的效果，我們在 3 個公開數據集上進行了實驗，數據集如下所示：
對比方法
我們對比了多個 state-of-the-art 推薦模型，包括 BPR (UAI’09)，ExpoMF(WWW’16)，NCF (WWW’17)，SBPR (CIKM’14)，TranSIV (CIKM’17)，以及 SAMN (WSDM’19)。各方法之間的比較如下：
模型表現
我們的 EATNN 與對比方法的表現結果展示在下表中，從表中可以觀察到, 所提出的 EATNN 模型顯著的優于所有的對比方法。我們認為有兩點原因：
1. EATNN 引入注意力機制來自適應的遷移用戶在商品和社交領域之間的偏好，這更符合實際場景并且可以讓社交信息得到更精準的利用。
2. 我們使用非采樣學習策略來同時對商品推薦以及社交發現任務進行訓練，相比于基于負采樣的方法，非采樣的覆蓋面更廣，使得模型能夠收斂到一個更加優秀的狀態。
訓練效率
我們也在相同的機器上對比了 EATNN 和基于社交信息的推薦算法的訓練效率（Intel Xeon 8-Core CPU of 2.4 GHz and single NVIDIA GeForce GTX TITAN X GPU）。各個模型所需訓練時間如下表所示：
從表中可以看到，我們的方法 EATNN 所需要的訓練時間顯著少于對比方法。比如，在最大的 Flixster 數據集上，同樣是神經網絡方法，SAMN 需要 8 天才能訓練完畢，而我們的 EATNN 只需要 27 小時。對于其他兩個數據集，EATNN 在效率上的提升同樣引人注目。
該部分工作發表在 CCF A 類會議：
Chong Chen, Min Zhang, Chenyang Wang, Weizhi Ma, Minming Li, Yiqun Liu and Shaoping Ma. An Efficient Adaptive Transfer Neural Network for Social-aware Recommendation. The 42th International ACM SIGIR Conference on Research and Development in Information Retrieval. (SIGIR 2019)
基于多行為數據的推薦系統場景
在許多實際的網絡場景中，用戶可以在平臺上與商品有多種交互信息。例如，在電商平臺上用戶可以瀏覽商品（View），加入購物車（Add-to-cart），以及直接購買（Purchase）。
在許多以往的工作中，這些用戶的多行為數據沒有被很好的利用到。大多數現有方法僅利用一種主要類型的用戶反饋，如購買。在這項工作中，我們提出了一個新的非采樣學習模型，稱為高效異構協同過濾（EHCF）。它不僅可以對細粒度的用戶—商品關系進行建模，而且可以很好地從整個異構數據（包括所有未標記的數據）中學習模型參數，同時保持很低的時間復雜度。
我們提出的 EHCF 主要基于以下兩個 motivation：
1. 為了利用多行為數據，已有的基于負采樣方法需要對每一種行為進行采樣，這會產生一個非常大的隨機性（K 倍于單行為數據），并且不利于多任務學習。針對上述問題，我們設計了基于非采樣的多任務學習框架來全面地利用用戶的多行為數據。
2. 用戶的多種行為之間不是互相獨立的，存在著一定的遷移關系。如上圖中虛線所示，用戶的購買行為通常發生在用戶觀看或者加入購物車之后。考慮行為之間遷移關系可以更精細的利用多行為數據。
所設計的 EHCF 模型如下圖所示：
對第 k 種行為的預測函數：
從行為 t 到 k 的轉移函數：
行為 k 的預測向量定義如下：?
我們同樣使用所設計的高效非抽樣算法對每種行為進行優化：
多任務學習：
數據集
為了驗證所提出的 EHCF 的效果，我們在 3 個公開數據集上進行了實驗，數據集如下所示：
對比方法
我們對比了多個 state-of-the-art 推薦模型，包括單行為模型 BPR (UAI’09)，ExpoMF (WWW’16)，NCF (WWW’17) 以及多行為模型 CMF (WWW’15)，MC-BPR (RecSys’16)，以及 NMTR (ICDE’19, TKDE’20)。
模型表現
我們的 EHCF 與對比方法的表現結果展示在上表中，從表中可以觀察到, 所提出的 EHCF 模型顯著的優于所有的對比方法。相比于最新提出的同樣利用多行為數據的神經網絡模型 NMTR，我們的 EHCF 在 Beibei 和 Taobao 數據集上的相對提升達到了驚人的?47.5% 以及 57.1%。
我們認為原因主要是因為 NMTR 是一個基于負采樣的模型，雖然負采樣在單行為數據中被廣泛的應用，但是其并不適合用來學習多行為數據，由于需要對每一種行為進行采樣，負采樣策略所產生的隨機性是成倍增加的，較大的隨機性會忽視掉許多有用的訓練樣例，使得模型沒辦法得到充足的訓練。
NMTR 是一個基于 NCF 的方法，當使用了多行為數據時，它相比于 NCF 在 Beibei 和 Taobao 數據集上分別提升了 34.6% 和 46.9%（與該作者報告基本一致）。而我們的 EHCF 在使用了多行為數據時，相比于單行為的 EHCF-sin 在這兩個數據集上分別提升了 79.4% 和 108.8%。表中的結果顯示非采樣學習策略對于多行為數據的利用是非常有效的。
訓練效率
我們也在相同的機器上對比了 EHCF 和對比算法的訓練效率（Intel Xeon 8-Core CPU of 2.4 GHz and single NVIDIA GeForce GTX TITAN X GPU）。各個模型所需訓練時間如下表所示：
從表中可以看到，我們的方法 EHCF 所需要的訓練時間顯著少于對比方法。比如，在 Taobao 數據集上，同樣是基于神經網絡的多行為推薦模型，NMTR 需要 600 分鐘（10 小時）才能訓練完畢，而 EHCF 只需要 54 分鐘，比 NMTR 快了 10 倍。在 Beibei 數據集上，EHCF 的訓練時間比 NMTR 快了超過 20 倍。
該部分工作發表在 CCF A 類會議：
Chong Chen, Min Zhang, Weizhi Ma, Yongfeng Zhang, Yiqun Liu and Shaoping Ma. Efficient Heterogeneous Collaborative Filtering without Negative Sampling for Recommendation. The 44th AAAI Conference on Artificial Intelligence. (AAAI 2020).
包含特征（feature）和上下文（context）的推薦系統場景
為了提供更準確的推薦結果，考慮用戶和商品的特征以及上下文是非常重要的。考慮上下文的推薦系統（Context-aware Recommendation）正是這樣一個任務。?
分解機模型（Factorization Machines，FM）是一類很好的考慮上下文的推薦方法。然而，現有的對于 FM 的研究主要集中于使用不同的神經網絡結構來建模高階（high-order）關系，并且這些工作往往致力于解決評分預測（而不是 Top-N 推薦）任務。?
雖然也有一些研究者結合負采樣策略和 FM 來提供推薦結果，但由于負采樣的不穩定性（容易忽視重要的訓練樣例導致訓練不足），我們認為現有的 FM 方法對于考慮上下文的 Top-N 推薦系統仍然是不足夠的。?
在這部分工作中，我們提出從全部數據中學習 FM 來進行 Top-N 推薦，并設計了一個高效的非采樣分解機框架（Efficient Non-Sampling Factorization Machines, ENSFM）。通過嚴格的數學推導，ENSFM 不僅在兩類常用的推薦方法——分解機（FM）和矩陣分解（MF）之間建造了一個橋梁，并且可以高效的從整體數據中學習 FM 參數。?
所設計的 ENSFM 框架如下所示：
ENSFM 的預測函數是一個泛化的 FM 函數：
我們首先給出一個結論：
定理 2：一個泛化的 FM 預測函數可以重構成一個矩陣分解的形式：
其中??只跟 u 的上下文相關，?只跟 v 的上下文相關。
證明（詳細證明請參考論文）：
首先對 f(x) 展開，分成只跟用戶 u 相關的?，只跟商品 v 相關的?，以及跟用戶和商品都相關的部分：
第二步，我們構建 3 個輔助向量如下：
得證。?
根據定理 1 和定理 2，我們可以得到 ENSFM 的高效非抽樣 loss：
數據集
為了驗證所提出的 ENSFM 的效果，我們在 3 個公開數據集上進行了實驗，數據集如下所示：
數據集中 Frappe 和 Last.fm 和 CFM (IJCAI’19) 論文中使用的完全一致。
對比方法?
我們對比了多個 state-of-the-art 推薦模型，包括 FM (ICDM’10)，DeepFM (IJCAI’ 17)，NFM (SIGIR’17)，ONCF (IJCAI’18)，CFM (IJCAI’19) 以及我們之前的 ENMF (TOIS’20)。
模型表現
實驗結果如上表所示，首先，我們的 ENSFM 效果顯著優于所有的對比方法。與各種 FM 方法，包括最近提出的基于 CNN 的 CFM 相比，ENSFM 在三個數據集上的相對提升分別超過了 9.15%，48.05% 以及 20.22%。?
ENSFM 是一個只有一層預測層的淺 FM 模型，跟 DeepFM, CFM 相比在復雜度和參數量上都更少，卻在模型效果上表現顯著的優勢。這樣的結果再一次驗證了我們的觀點：負采樣策略并不足以使模型收斂到最優。與之相比，非采樣學習對于優化 Top-N 推薦任務是非常有效的。?
同時也可以看到，雖然深度學習的方法如 NFM, DeepFM, CFM 在使用同樣的負采樣訓練時表現會優于 FM，所帶來的提升相比于我們的 ENSFM 是相對較小的，這也顯示了一個行之有效的學習方法有時候比更深更復雜的神經網絡所帶來的提升更加明顯。
訓練效率?
我們也在相同的機器上對比了 ENSFM 和對比算法的訓練效率（Intel Xeon 8-Core CPU of 2.4 GHz and single NVIDIA GeForce GTX TITAN X GPU）。各個模型所需訓練時間如下表所示：
表中的實驗結果顯示，我們的 ENSFM 相比于現有的 FM 算法在訓練效率上展現出巨大的優勢。如在 Movielens 數據集上，已有的各種 FM 方法分別需要 5 小時，6 小時，9 小時和 3 天才能訓好，而 ENSFM 只需要 7 分鐘即可訓練完畢，這比 NFM 快了?50 倍，以及比 CFM 快了?600 倍。這驗證了我們新提出的非采樣學習方法的高效性。
該部分工作發表在 CCF A 類會議：
Chong Chen, Min Zhang, Weizhi Ma, Yiqun Liu and Shaoping Ma. Efficient Non-Sampling Factorization Machines for Optimal Context-Aware Recommendation. The Web Conference 2020 (WWW 2020)
約束，能夠作為輔助的監督信息，適用于多種基于匹配代價體的立體匹配方法。
總結
在本文中，我們討論了在個性化推薦系統中的非采樣學習策略。我們首先介紹了非采樣學習策略的優勢（覆蓋面廣，訓練效果更好），隨后針對傳統非采樣策略的劣勢（效率低，復雜度高），提出了一系列新的高效算法，使得整體數據中學習的時間復雜度在理論數量級上有所降低。
基于所設計的高效非采樣算法框架，我們分別設計了不同應用場景下的神經網絡推薦模型，并在多個現實數據集上相比于已有 state-of-the-art 方法在訓練時間和模型表現上均取得了非常顯著的效果。
近年來，基于深度學習的推薦系統研究越來越多，但是大部分的工作集中于嘗試各種新提出來的神經網絡框架在推薦任務上的應用。
本文對我們最近在非采樣推薦模型上的研究做了一些總結。所設計的高效非采樣模型在推薦效果與訓練效率上都顯著優于現有的深度學習模型。我們的工作顯示，非采樣訓練策略對于推薦系統有著非常明顯的促進效果，所帶來的提升甚至超過復雜先進的模型結構及更多的參數量。
未來，我們希望會有更多的研究人員從各個不同的角度對推薦系統進行更加深入的研究。歡迎感興趣的同學老師們和我們一起進行交流。
作者介紹
陳沖，清華大學人工智能實驗室信息檢索組（THUIR）三年級博士生，本科畢業于清華大學計算機科學與技術系。研究方向包括基于深度學習的推薦系統，可解釋推薦系統，以及高效快速的推薦系統。他在 WWW，SIGIR，WSDM，TOIS，AAAI 等發表了多篇學術論文。?
Github:?
https://github.com/THUIR
https://github.com/chenchongthu
主頁：https://chenchongthu.github.io?
郵箱：cstchenc@163.com
張敏，清華大學計算機科學與技術系長聘副教授，主要研究領域 Web 信息檢索、個性化推薦以及用戶建模。現任計算機系智能技術與系統實驗室副主任，清華大學人工智能研究院智能信息獲取中心副主任，同時擔任 ACM SIGIR 執行委員會委員，ACM TOIS 期刊編委，WebConf 2020 的 Web 挖掘和內容分析領域主席等。曾任 SIGIR 2018 的短文主席，WSDM 2017 的程序委員會主席等。發表多篇論文，引用指數 H-index 36。她還與國際國內產業界開展深入合作，并擁有 12 項專利。
點擊以下標題查看更多往期內容：?
工業界必讀：基于深度學習的推薦模型
推薦系統閱讀清單：最近我們在讀哪些論文？
KDD 2019?| 基于異質圖神經網絡的用戶意圖推薦
KDD 2019 | 使用神經網絡為A*搜索算法賦能
AAAI 2020 開源論文 | 多成分圖卷積協同過濾
SIGIR 2019?| 基于圖神經網絡的協同過濾算法
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
???? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取最新論文推薦
與50位技術專家面對面20年技術見證，附贈技術全景圖總結
以上是生活随笔為你收集整理的浅谈个性化推荐系统中的非采样学习的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： AAAI 2020 开源论文 | 用于深
- 下一篇： 特斯拉首席信息官 Nagesh Sald