本文轉載自機器之心

僅從一個人的抖音、快手、騰訊視頻的觀看記錄里，我們能發現什么？這篇被信息檢索領域頂級國際會議 SIGIR 接受為長文章的論文可以告訴你。

近日，騰訊看點推薦團隊、Google Research 和中科大的研究工作首次證實，僅依靠用戶視頻新聞觀看記錄，就可以精確地推測出用戶的各種個人信息信息，包括但不限于用戶年齡段、性別、喜好、人生狀況（例如單身/已婚/懷孕等）、職業、學歷等信息，甚至是否有心理抑郁暴力傾向。

這一客觀發現和研究方法將有利于改進現有的一些公共服務質量，提供相關輔助依據實現更為精準的政府決策，也可以為商家和廣告商等帶來更大的利潤，同時也會進一步推動隱私保護的相關研究和相關法案（可以想像以抖音快手這種短視頻 APP 為例，每天每個常規用戶可以產生數百乃至數千的點擊記錄，如此巨大的用戶行為數據潛在地包含了我們無法想象的個人隱私數據）。該項研究已經被信息檢索領域頂級國際會議 SIGIR 接受為長文章。以下主要針對該文章的技術部分進行總結介紹。

論文題目：Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation

鏈接：https://arxiv.org/pdf/2001.04253.pdf

開源代碼：

https://github.com/fajieyuan/sigir2020_peterrec

會議：SIGIR2020

摘要：推導遷移學習對計算機視覺和 NLP 領域產生了重大影響，但尚未在推薦系統廣泛使用。雖然大量的研究根據建模的用戶-物品交互序列生成推薦，其中很少嘗試表征和遷移這些模型從而用于下游任務（數據樣本通常非常有限）。

在本文中，我們深入研究了通過學習單一用戶表征用戶各種不同的下游任務，包括跨域推薦和用戶畫像預測。優化一個大型預訓練網絡并將其適配到下游任務是解決此類問題的有效方法。但是，微調通常要重新訓練整個網絡，優化大量的模型參數，因此從參數量角度微調是非常低消效的。為了克服這個問題，我們開發了一種參數高效的遷移學習架構，稱為 PeterRec。PeterRec 可以快速動態地配置成各種下游任務。具體來說，PeterRec 通過注入一些的的小型但是極具表達力的神經網絡，使得預訓練參數在微調過程中保持不變。我們進行大量的實驗和對比測試以展示學習到的用戶表示在五個下游任務中有效的。此外，我們證實了 PeterRec 可以在多個領域進行高效的遷移學習時可以達到與微調所有參數相當或有時更好的性能。

序言：

在過去的十年中，社交媒體平臺和電子商務系統（例如抖音，Amazon 或 Netflix）越來愈多的被使用。大量的點擊和購買互動，以及其他用戶反饋是在此類系統中顯式或隱式創建的。

以抖音為例，常規用戶在每個周可能觀看成百上千個短視頻。與此同時，大量的研究表明這些用戶交互行為可以用來建模用戶對于物品的喜好。比較有代表性的深度學習模型，例如 GRU4Rec 和 NextItNet 在時序推薦系統任務中都取得了較大的成功。然而絕大多數已有工作僅僅研究推薦任務在同一平臺的場景，很少的工作嘗試學習一個通用用戶表征，并且將該用戶表征應用到下游任務中，例如冷啟動用戶場景，用戶畫像預測。

為了解決這個挑戰，本文嘗試一種無監督訓練方式預訓練一個神經網絡，然后將此神經網絡遷移到下游任務中。為此，論文需要至少解決三個問題；（1）構造一個有效的預訓練模型，能夠建模超長用戶點擊序列；（2）設計一種微調策略，能夠將預訓練網絡適配到下游任務。目前為止，沒有相關文獻證實這種無監督學習的用戶表征是否對其他場景有幫助。（3）設計一個適配方法，能夠使得不同任務都能充分利用預訓練網絡參數，從而不需要微調整個網絡，達到更加高效的遷移學習方式。

圖1:PeterRec進行用戶畫像預測示意圖

注意：PeterRec 不需要借助于任何圖像和文本特征，僅需要用戶點擊物品 ID 即可。中間網絡為大量堆疊的空洞卷積網絡。

為了達到以上目標，研究者提出采用空洞卷積神經網絡構建大型的預訓練模型，采用一定空洞率設置的多層卷積網絡可以實現可視域指數級增長，從而捕獲和建模超長的用戶點擊行為，這一優勢是目前很多時序網絡難以達到的，例如經典的 RNN 網絡建模長序列時通常會遇到梯度消失和爆炸問題，并且并行訓練低效，Transformer 等知名 NLP 網絡對顯存需求和復雜度也會隨著序列長度以二次方的級增加。同時為了實現對預訓練網絡參數的最大化共享，論文提出了一種模型補丁方式，類似于植物嫁接技術，只需要在預訓練網絡插入數個的模型補丁網絡，既可以實現預訓練網絡的快速遷移，效果甚至好于對整個模型全部微調。研究主要貢獻：

提出一種通用用戶表征學習架構，首次證實采用無監督或者自監督的預訓練網路學習用戶點擊行為可以內用來推測用戶的屬性信息。這一發現將有望改進很多公共服務，帶來更大的商業利潤，同時也會引發甚至推動對于隱私保護的相關問題的研究。

論文提出了一種非常有效的模型補丁網絡，網絡相對于原來的空洞卷積層參數量更小，但是具有同等表達能力。

論文提出了兩種模型補丁的插入方式，并行插入和串行插入

論文通過分割實驗報告了很多有洞察的發現，可能會成為這個領域的未來一些研究方向

論文開源相關代碼和高質量的數據集，從而推動推薦系統領域遷移學習的研究，建立相關基準。

方法：

圖1: PeterRec 預訓練網絡（a）和微調網絡（b）的參數分布

本研究預訓練網絡采用空洞卷積網絡，每層空洞因子以

增加，通過疊加空洞卷積層達到可視域指數級的增加，這一設計主要遵循時序模型 NextItNet[1]，如圖 1 所示。預訓練優化方式，本文采用了兩種自監督方式，分別是單向自回歸方式[1]以及雙向遮掩法[2]，分別對應因果卷積和非因果卷積網絡，如圖 2 所示。圖2: 采用空洞卷積網絡的幾種微調策略。（a）(b)為因果卷機，（c）(d)為非因果卷積

本文的微調方式非常簡單，采用直接移除預訓練 softmax 層，然后添加新任務的分類層，另外，本文的主要貢獻是在預訓練的殘差塊（圖 3（a））插入了模型補丁網絡，每個模型補丁有一個瓶頸結構的殘差塊構成，如圖 3（f）所示。本研究提出了幾種可選擇的插入方式，如圖 3（b）（c）（d）。注意（e）的設計效果非常差，文章分析很可能是因為模型補丁的和操作，并行插入的和操作與原始殘差網絡的和操作夾雜在一起，影響最終優化效果。另外文中給出分析，通常模型補丁的參數量僅有原始空洞卷積不到十分之一的參數量，但是可以達到與所有參數一起優化類似或者更好的效果。

圖3:（a）為原始殘差塊；（b）（c）（d）（e）為插入模型補丁后的微調殘差塊；（f）為模型補丁

實驗：

本文作者進行了大量的實驗，并且論文會開源代碼和相關脫敏后的數據集。

實驗 1

論文首次證實采用無監督預訓練方式非常有效，論文對比 PeterRec 的兩種設置，有無預訓練下的實驗效果，如圖 4. 圖中所示 PeterRec 大幅度超越 PeterZero，證實了本研究預訓練的有效性。

圖4 PeterRec在有無預訓練下的預測效果。PeterZero為無預訓練初始化的PeterRec

實驗 2

幾種微調方式比較，如圖 5 所示。圖中證實 PeterRec 僅僅微調模型補丁和 softmax 層參數達到了跟微調所有參數一樣的效果，但是由于僅有少數參數參與優化，可以很好的抗過擬合現象。

圖5 各種微調方式

FineAll 微調所有參數，FineCLS 只微調最后 softmax 層，FineLast1 微調最后一個空洞卷積層，FineLast2 微調最后兩個空洞卷積層。

實驗 3

與常規的比較知名的 baseline 比較冷啟動推薦效果和用戶畫像預測效果。具體分析可參見原文分析。

實驗 4

在少量標簽有效的情況下 PeterRec 效果。可以發現 PeterRec 不僅超過 FineAll，而且相對于 FineAll 微調過程幾乎不會出現過擬合現象。

圖6少量target數據標簽下 PeterRec vs. FineAll

論文在結論和未來工作部分說明 PeterRec 不僅僅可以用戶論文中的實驗，甚至可以用來提前感知青少年心理健康，例如如果我們如果知道青少年每天觀看瀏覽的視頻信息，通過 PeterRec 僅需要少量的標簽數據就可以預測出該少年是否心理健康，是否存在暴力傾向陰郁等問題，從而提前告知父母以便提前采取措施。

[1] A simple convolutional generative network for next item recommendation.Yuan, Fajie and Karatzoglou, Alexandros and Arapakis, Ioannis and Jose, Joemon M and He, Xiangnan, WSDM2019.

[2] Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation. Yuan, Fajie and He, Xiangnan and Jiang, Haochuan and Guo,Guibing and Xiong, Jian and Xu, Zhezhao and Xiong, Yilin. WWW2020

總結

以上是生活随笔為你收集整理的仅需少量视频观看记录，就可以精准推断你的习惯的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。