以往多任務學習(MTL)的研究都是針對小數量級任務做的,但是在推薦系統里需要對大數量的任務做multi-task的學習.舉例來說,在推薦系統中會用MTL對用戶多種行為進行建模,不同任務之間有著各種維度的相關性.所以這篇論文<Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations>就提出了一個多視角層級MTL模型(MFH).使用層級結構可以充分挖掘出不同任務之間的關系并在工業數據集上也優于其他MTL模型.

一本有仙氣的筆記，記錄AI的不凡

PRELIMINARY

先介紹下MTL在工業場景下推薦系統里的應用.比如微視app,每天上千萬人看視頻,可供挑選的候選視頻也有上千萬,用戶也會有各種各樣的action,如點贊、踩、關注、評論、分享等,當用戶滑過一個視頻時就會推薦下一個,那用戶的滿意度就可以用在app的停留時長來衡量. 該文以3個task為例介紹多任務模型.

任務一(回歸): 播放率預估

任務二(分類): 完播率預估

任務三(分類): 跳出率預估

該問還提到了一個冷啟問題,對于高活躍度的用戶,模型會過擬合,對于低活躍的用戶模型會欠擬合,解決這個問題的方法是 把用戶分成3檔,高/中/低,和上面3個任務組合成9個任務去學習.

該文還提出了Switcher的概念,如下圖所示,它表示一種網絡機構,有一個輸入,但有多個隱層輸出

論文表示使用SOTA的switcher在數據充分的情況下會獲得收益. base model如下圖所示:

MFH

對于上節中的9個task的任務,一個switcher已經完全不夠用了,因此層級MTL隆重登場,第0個level學習用戶不同behavior的關系,第1個level直接精細到不同級別用戶的各個task,如下圖所示:

你以為這樣就完了?H-MTL是不是有點死板,最上層是個樹結構,并沒有信息共享.MFH由多個H-MTL構成,從多個視角學習9個任務:

兩個視角:

三個視角:

更多細節參考原文.

實驗效果

參考文獻

1.Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations ttps://http://arxiv.org/pdf/2110.13365.pdf

十方

總結

以上是生活随笔為你收集整理的腾讯多任务模型MFH的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。