文 | 谷育龍Eric

源 |?搜索推薦廣告排序藝術

---

我是谷育龍Eric，研究方向有深度學習、搜索推薦，喜歡為大家分享深度學習在搜索推薦廣告排序應用的文章。CIKM作為信息檢索、數據挖掘等領域的國際一流會議，每年都有很多搜索推薦廣告領域的精彩論文。近日，CIKM 2020于10月19-23日在線上召開，工業界搜索推薦廣告的算法又取得了什么新進展呢？本文和大家分享下Alibaba, JD, Tencent, Baidu, Huawei, Amazon, Google, Microsoft, LinkedIn, Yahoo等互聯網公司的線上算法技術。

公眾號【夕小瑤的賣萌屋】后臺回復 【CIKM2020】 可打包下載本文相關paper和CIKM論文集。

Matching （召回）

[1] 2020 (Microsoft) (CIKM) TwinBERT: Distilling Knowledge to Twin-Structured Compressed BERT Models for Large-Scale Retrieval

作者：Wenhao Lu, Jian Jiao and Ruofei Zhang

在召回階段，如何根據Query、用戶狀態等，召回最相關的item？Microsoft在這篇論文里提出基于知識蒸餾和Bert的檢索模型，來解決大規模召回問題。

[2] 2020 (JD) (CIKM) Decoupled Graph Convolution Network for Inferring Substitutable and Complementary Items

作者：Yiding Liu, Yulong Gu, Zhuoye Ding, Junchao Gao, Ziyi Guo, Yongjun Bao and Weipeng Yan

相似相關關系挖掘，是推薦系統召回階段最重要的問題。GNN在挖掘圖中的節點關系任務上取得了state-of-the-art的效果，但一般的GNN為每個節點學習一個embedding，無法很好的建模節點的多種特性、節點間的多種關系。JD這篇論文里，提出為每一個節點學習兩個embedding，同時建模、聯合學習相似相關兩種關系，巧妙地解決了這個問題。

[3] 2020 (Amazon) (CIKM) P-Companion : A Principled Framework for Diversified Complementary Product Recommendation

作者：Junheng Hao, Tong Zhao, Jin Li, Xin Luna Dong, Christos Faloutsos, Yizhou Sun and Wei Wang

互補（或相關）商品推薦在電商中具有重要的作用，Amazon這篇論文提出基于GNN的模型，同時建模考慮了互補商品推薦時的相關性和多樣性問題。

Ranking （排序）

[4] 2020 (JD) (CIKM) Deep Multifaceted Transformers for Multi-objective Ranking in Large-Scale E-commerce Recommender Systems

作者：Yulong Gu, Zhuoye Ding, Shuaiqiang Wang, Lixin Zou, Yiding Liu and Dawei Yin

在排序階段，用戶多種行為序列如何更精細化地建模、多任務如何更好的共同學習、如何解決Bias問題？JD這篇論文給出了工業界實用高效的解決方案。

相似的排序模型，在淘寶搜索、推薦 [37] 等場景，同樣取得了很好的線上效果。搜索和推薦排序模型，共同的特性是：給定user和context （搜索中主要關注query, 推薦中主要關注長短期行為），給待排序item打分，不同點在于：在推薦中通常使用待排序item做target attention，在搜索中通常使用user和query做target attention，而且搜索中行為序列構造時可以只需要選取和query預測類目相同的歷史行為。

[5] 2020 (Alibaba) (CIKM) Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction

作者：Qi Pi, Xiaoqiang Zhu, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan and Kun Gai

CTR預測中通常考慮用戶近期的行為，Alibaba介紹了如何通過從用戶長期行為搜索最相關的行為，來更完整地建模用戶的興趣。

[6] 2020 (Alibaba) (CIKM) MTBRN : Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction

作者：Yufei Feng, Fuyu Lv, Binbin Hu, Fei Sun, Kun Kuang, Yang Liu, Qingwen Liu and Wenwu Ou

CTR模型在建模用戶行為序列時，通常使用序列行為建模embedding信息。Alibaba的這篇論文，介紹了如何利用item-item相似關系圖、知識圖譜等信息，來更好地建模item間更豐富多樣的關系。

[7] 2020 (Alibaba) (CIKM) Deep Time-Aware Item Evolution Network for Click-Through Rate Prediction

作者：Xiang Li, Chao Wang, Bin Tong, Jiwei Tan, Xiaoyi Zeng and Tao Zhuang

已有的論文通常考慮user下item的行為序列，Alibaba這篇論文里，介紹了如何考慮每個item下最近交互的用戶和時間信息，來更好地建模item的動態變化特性（例如新款爆品），實現CTR預測。

[8] 2020 (Alibaba) (CIKM) Personalized Flight Itinerary Ranking at Fliggy

作者：Jinhong Huang, Yang Li, Shan Sun, Bufeng Zhang and Jin Huang

旅行網站搜索如何做？Alibaba這篇論文介紹了飛豬搜索排序中如何利用attention機制，建模context信息、輸入間的關系以及同時考慮個人和群組的行為。

[9] 2020 (Linkedin) (CIKM) Efficient Neural Query Auto Completion

作者：Sida Wang, Weiwei Guo, Huiji Gao and Bo Long

Query自動補全，作為搜索的入口，對用戶體驗至關重要。Linkedin這篇論文，介紹了如何在召回和排序中建模context信息、query的深度語義信息。

[10] 2020 (Twitter) (CIKM) Relevance Ranking for Real Time Tweet Search

作者：Yan Xia, Yu Sun, Tian Wang, Juan Manuel Caicedo Carvajal, Jinliang Fan, Bhargav Mangipudi, Lisa Huang and Yatharth Sar

相關性是搜索中的重要任務，Twitter場景下時效性很強，query和item變化都非常迅速，加大了相關性任務的挑戰性。這篇論文介紹了Twitter多階段相關性排序的系統。

[11] 2020 (Huawei) (CIKM) Ensembled CTR Prediction via Knowledge Distillation

作者：Jieming Zhu, Jinyang Liu, Weiqi Li, Jincai Lai, Xiuqiang He, Liang Chen and Zibin Zheng

Huawei這篇論文介紹了在知識蒸餾中，使用多個Teacher網絡，學習得到更好的student CTR模型。

[12] 2020 (LinkedIn) (CIKM) DeText : A Deep Text Ranking Framework with BERT

作者：Weiwei Guo, Xiaowei Liu, Sida Wang, Huiji Gao, Ananth Sankar, Zimeng Yang, Qi Guo, Liang Zhang, Bo Long, Bee-Chung Chen and Deepak Agarwa

BERT是非常強大的文本建模模型，但對于線上要求低延遲的場景來說模型過于復雜。LinkedIn這篇論文介紹了如何構造一個有效的基于BERT的搜索排序模型。

Post-ranking（重排序）

重排序階段，如何考慮多樣性等問題，生成更好的Top-K結果？

[13] 2020 (Alibaba) (CIKM) EdgeRec: Recommender System on Edge in Mobile Taobao

作者：Yu Gong, Ziwen Jiang, Yufei Feng, Binbin Hu, Kaiqi Zhao, Qingwen Liu and Wenwu Ou

推薦系統如何做到在端上實時響應用戶反饋，對結果重排序？Alibaba這篇Awesome的論文給出了非常精彩的解決方案，在線上取得了很好的效果。

[14] 2020 (Huawei) (CIKM) Personalized Re-ranking with Item Relationships for E-commerce

作者：Weiwen Liu, Qing Liu, Ruiming Tang, Junyang Chen, Xiuqiang He and Pheng Ann Heng

對于重排序問題，Huawei這篇論文將item的表示成一個異構圖，提出一個基于GNN的框架，來建模item的關系、用戶的個性化意圖等信息。

Graph Neural Networks

[15] 2020 (Tencent) (CIKM) Graph Neural Network for Tag Ranking in Tag-enhanced Video Recommendation

作者：Qi Liu, Ruobing Xie, Lei Chen, Shukai Liu, Ke Tu, Peng Cui, Bo Zhang and Leyu Lin

騰訊微信在這篇文章提出基于GNN的tag排序模型，將user, video, tag關系建模為一個異構圖，然后在基于transformer, GraphSAGE和FM進行節點聚合，在微信看一看視頻推薦中取得了很好的效果。

Transfer Learning

[16] 2020 (Google) (CIKM) Zero-Shot Heterogeneous Transfer Learning from Recommender Systems to Cold-Start Search Retrieval

作者：Tao Wu, Ellie Ka-In Chio, Heng-Tze Cheng, Yu Du, Steffen Rendle, Dima Kuzmin, Ritesh Agarwal, Li Zhang, John Anderson, Sarvjeet Singh, Tushar Chandra, Ed Chi, Wen Li, Ankit Kumar, Xiang Ma, Alex Soares, Nitin Jindal and Pei Cao

如何借助推薦系統的物品間的關系，解決搜索中的冷啟動、長尾問題？Google的這個工作，是搜索、推薦共同學習的一個很好的起點。

[17] 2020 (Alibaba) (CIKM) MiNet : Mixed Interest Network for Cross-Domain Click-Through Rate Prediction

作者：Wentao Ouyang, Xiuwu Zhang, Lei Zhao, Jinmei Luo, Yu Zhang, Heng Zou, Zhaojie Liu and Yanlong Du

實際推薦系統中，通常有多個域，跨域推薦系統如何共同學習？Alibaba這篇論文給出了實用巧妙的解決方案，獲得了best paper的提名。

[18] 2020 (Alibaba) (CIKM) Improving Multi-Scenario Learning to Rank in E-commerce by Exploiting Task Relationships in the Label Space

作者：Pengcheng Li, Runze Li, Qing Da, An-Xiang Zeng and Lijun Zhang

搜索系統中，通常有多個場景。Alibaba這篇論文提出了在跨境電商中，基于MMoE思想，學習一個通用的模型，同時服務多個場景的搜索，取得了更好的效果，同時具備方便部署、減少成本的優勢。

[19] 2020 (Rakuten) (CIKM) Learning to Profile : User Meta-Profile Network for Few-Shot Learning

作者：Hao Gong, Qifang Zhao, Tianyu Li, Derek Cho and Duykhuong Nguyen

Rakuten在這篇論文里，提出了基于Few-shot Learning的用戶畫像學習，用于電商場景。

Reinforcement Learning

[20] 2020 (Baidu) (CIKM) Whole-Chain Recommendations

作者：Xiangyu Zhao, Long Xia, Lixin Zou, Dawei Yin, Jiliang Tang and Hui Liu

這篇MSU和Baidu的論文，介紹了如何利用基于multi-agent的強化學習來優化推薦系統的多個場景，實現整體最優，對強化學習在推薦系統中的應用具有很好的啟示作用。

[21] 2020 (Amazon) (CIKM) Learning to Rank in the Position Based Model with Bandit Feedback

作者：Beyza Ermis, Patrick Ernst, Yannik Stein and Giovanni Zappella

Amazon在這篇論文擴展了經典的contextual bandit算法，考慮了位置點擊模型解決bias問題，來優化個性化推薦。

User Profiling （用戶畫像）

[22] 2020 (Tencent) (CIKM) Learning to Build User-tag Profile in Recommendation System

作者：Su Yan, Xin Chen, Ran Huo, Xu Zhang and Leyu Lin

用戶畫像是搜索推薦廣告的重要基石，騰訊微信在這篇論文中，將用戶的tag profiling問題看成一個multi-label分類問題，并使用multi-head attention和改進的基于FM特征交叉模型，應用到微信看一看。

更多精彩內容

[23] 2020 (Alibaba) (CIKM) A Deep Prediction Network for Understanding Advertiser Intent and Satisfaction. Liyi Guo, Rui Lu, Haoqi Zhang, Junqi Jin, Zhenzhe Zheng, Fan Wu, Jin Li, Haiyang Xu, Han Li, Wenkai Lu, Jian Xu and Kun Gai

[24] 2020 (Alibaba) (CIKM) Multi-Channel Sellers Traffic Allocation in Large-scale E-commerce Promotion. Shen Xin, Yizhou Ye, Martin Ester, Cheng Long, Jie Zhang, Zhao Li, Kaiying Yuan and Yanghua Li

[25] 2020 (Alibaba) (CIKM) Spending Money Wisely : Online Electronic Coupon Allocation based on Real-Time User Intent Detection. Liangwei Li, Liucheng Sun, Chenwei Weng, Chengfu Huo and Weijun Ren

[26] 2020 (Didi) (CIKM) Masked-field Pre-training for User Intent Prediction. Peng Wang, Jiang Xu, Chunyi Liu, Hao Feng, Zang Li and Jieping Ye

[27] 2020 (eBay) (CIKM) Intent-Driven Similarity in E-Commerce Listings. Gilad Fuchs, Yoni Acriche, Idan Hasson and Pavel Petrov

[28] 2020 (Huawei) (CIKM) U-rank : Utility-oriented Learning to Rank with Implicit Feedback. Xinyi Dai, Jiawei Hou, Qing Liu, Yunjia Xi, Ruiming Tang, Weinan Zhang, Xiuqiang He, Jun Wang and Yong Yu

[29] 2020 (LinkedIn) (CIKM) Incorporating User Feedback into Sequence to Sequence Model Training. Michaeel Kazi, Weiwei Guo, Huiji Gao and Bo Long

[30] 2020 (Meituan) (CIKM) Query-aware Tip Generation for Vertical Search. Yang Yang, Junmei Hao, Canjia Li, Zili Wang, Jingang Wang, Fuzheng Zhang, Rao Fu, Peixu Hou, Gong Zhang and Zhongyuan Wang

[31] 2020 (Microsoft) (CIKM) AutoADR : Automatic Model Design for Ad Relevance. Yiren Chen, Yaming Yang, Hong Sun, Yujing Wang, Yu Xu, Wei Shen, Rong Zhou, Yunhai Tong, Jing Bai and Ruofei Zhang

[32] 2020 (Netease) (CIKM) Personalized Bundle Recommendation in Online Games. Qilin Deng, Kai Wang, Minghao Zhao, Zhene Zou, Runze Wu, Jianrong Tao, Changjie Fan and Liang Chen

[33] 2020 (Pingan) (CIKM) Learning Effective Representations for Person-Job Fit by Feature Fusion. Junshu Jiang, Songyun Ye, Wei Wang, Jingran Xu and Xiaosheng Luo

[34] 2020 (Yahoo) (CIKM) Learning to Create Better Ads : Generation and Ranking Approaches for Ad Creative Refinement. Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani and Wei Wang

[35] 2020 (Yahoo) (CIKM) Prospective Modeling of Users for Online Display Advertising via Deep Time-Aware Model. Djordje Gligorijevic, Jelena Gligorijevic and Aaron Flores

[36] CIKM 2020完整論文集合：https://dl.acm.org/doi/proceedings/10.1145/3340531。

[37] Chen, Qiwei, Huan Zhao, Wei Li, Pipei Huang, and Wenwu Ou. "Behavior sequence transformer for e-commerce recommendation in alibaba." DLP-KDD 2019.

我是谷育龍Eric，研究方向有深度學習、搜索推薦，喜歡為大家分享深度學習在搜索推薦廣告排序應用的文章。歡迎大家到我的公眾號“深度學習排序藝術”進行更多交流。

公眾號【夕小瑤的賣萌屋】后臺回復 【CIKM2020】 可打包下載本文相關paper和CIKM論文集。

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

有頂會審稿人、大廠研究員、知乎大V和妹紙

等你來撩哦~

總結

以上是生活随笔為你收集整理的从信息检索顶会CIKM'20看搜索、推荐与计算广告新进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。