關于 KDD

ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）是國際數據挖掘領域的頂級會議，由 ACM 的數據挖掘及知識發現專委會（SIGKDD）主辦，被中國計算機協會推薦為A類會議。自 1995 年以來已連續舉辦 26 屆，今年將于 8月14日至18日 在新加坡舉辦。

據 KDD2021 官方發布的信息，本屆會議共吸引了 1541 篇論文投遞，其中有 238 篇論文被接收，接收率為15.44%，相比 KDD2020 的接收率16.9%有所下降。

阿里媽媽論文概述

阿里媽媽技術團隊此次共有6篇論文被接收，涵蓋深度學習、投放策略推薦、端到端機制優化、協同競價博弈等多個方向的技術沉淀和應用。關注公眾號，回復 KDD?一次性獲取已公開論文下載鏈接~

為系統性探討深度學習在大規模工業級稀疏數據上的應用實踐及高度個性化內容體驗目標下的數字廣告趨勢，阿里媽媽資深技術專家懷人和廣呆還將在會議期間組織和主持兩場 workshop（線上線下同步）：DLP-KDD 和 AdKDD，歡迎感興趣的同學關注并參與。

今天，我們帶來了這次被接收的6篇論文（其中5篇已開放下載）。接下來，我們會陸續邀請論文作者來為大家詳細解析論文思路和技術成果，敬請期待！

???A Unified Solution to Constrained Bidding in Online Display Advertising

一種對在線展示廣告約束出價問題的通用解決方案

摘要：在線展示廣告場景下，廣告主通常以實時競價的方式獲取曝光機會。在大多數廣告平臺，廣告主最常見的需求就是在預算及某些KPI約束下最大化競得流量的價值（如在預算和點擊成本約束下最大化點擊量）。每個廣告主的投放需求在營銷目標（如點擊、曝光）、KPI約束類型（如點擊成本上界、點擊率下界）以及KPI約束數量三個維度上都有很大不同。現有的研究通常局限于某個特定的投放需求，缺乏通用性，或者很難達到最優投放結果。

在本文中，我們將廣告主的各種投放需求形式化為約束出價問題，并且推導出了統一的最優出價策略。對于每個廣告投放計劃來說，其最優出價公式由m個參數組成，m為約束數量。然而在實際應用過程中，由于參競環境不斷波動，確定每天的最優出價參數是很困難的事。針對該問題，本文提出了一個強化學習方法，該方法會在計劃投放過程中根據投放狀態動態調整出價參數，使其盡可能逼近最優參數。其中，我們基于約束出價問題的子問題特性，對強化學習訓練過程進行了優化，使其能夠更快地收斂到最優解。我們將提出的統一的約束出價問題的形式化與強化學習方法稱為Unified Solution to Constrained Bidding in Online(USCB)。USCB在工業場景真實數據集上取得了很好的效果，與此同時，該方法已經在阿里媽媽廣告投放策略平臺成功部署，為各個業務線提供出價參數調控服務，為平臺收入與廣告主投放效果帶來了顯著提升。

???NeuralAuction: End-to-End Learning of Auction Mechanisms for E-Commerce Advertising

NeuralAuction: 電商廣告中的端到端機制優化方法

摘要：在電商廣告系統中，綜合考慮多利益方（用戶、廣告主、平臺）的目標十分關鍵。傳統的拍賣機制（例如GSP/VCG）由于分配規則確定且專注于優化單一目標（例如收入/社會福利），在優化多利益方指標時可能是次優解。一種可能的研究方向是使用基于數據驅動的機器學習方法，它能從真實數據中直接學習拍賣機制，并有能力使機制朝著給定的業務目標靈活調控。然而，拍賣機制的執行過程中涉及一些不可導的操作（如排序等），這些操作可能和基于梯度的大多數深度學習方法難以兼容，制約了機制模型的學習能力。

在本文中，我們進一步將深度學習和機制設計方法深度融合，提出一種可端到端學習的深度拍賣機制——Deep Neural Auction (DNA)，并將其應用在工業界電商廣告場景中。DNA使用深度神經網絡從原始拍賣數據中提取特征信息，并將機制分配過程編碼到模型內部，利用一種可微分算子對該分配過程中的排序操作進行松弛，在分配結果和反饋信號間建立可微分梯度計算關系以支持端到端訓練。此外，我們將機制的博弈均衡屬性（廣告主激勵兼容）顯式融入模型設計中。DNA機制已被部署在淘寶電商廣告系統中，在大規模離線數據集實驗以及在線A/B實驗中，DNA機制對比傳統機制在優化多利益方指標上都展現出了更好的效果。

論文下載：https://arxiv.org/abs/2106.03593

???Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling

一種使用真負樣本的在線延遲反饋建模

摘要：轉化率 (CVR) 預測的難點之一是轉化可能會延遲并在點擊后很長時間內發生。延遲反饋帶來了挑戰：新數據有利于在線學習，但在它們在注入到訓練流程時可能沒有完整的標簽信息。為了平衡模型新鮮度和標簽確定性，以前的方法設置了一個較短的等待窗口，甚至不等待轉化信號。如果轉換發生在等待窗口之外，則此樣本將被復制并以正標簽注入到訓練流程中。但是，這些方法存在一些問題。首先，他們假設觀察到的特征分布與實際分布保持一致。但是由于獲取了重復樣本，這個假設不成立。其次，轉化動作的確定性僅來自正例。但由于商業系統中的轉化數據很少，因此正例很少。這些問題在延遲反饋的建模過程中會導致偏差。

在本文中，我們提出了 Defer建模方法來解決這些問題。所提出的方法將真實的負樣本注入到訓練管道中。注入真實負樣本確保觀察到的特征分布與實際分布等效，從而減少偏差。真實負樣本的注入也給轉化帶來了更多確定性信息。為了糾正分布偏移，Defer使用重要性采樣來權衡損失函數。工業數據集的實驗結果驗證了Defer 的優越性。Defer 已部署在阿里巴巴的展示廣告系統中，在多個場景下獲得超過 6.0% 的 CVR 提升。

論文下載：https://arxiv.org/abs/2104.14121

???We Know What You Want: An Advertising Strategy Recommender System for Online Advertising

廣告主端的“猜你喜歡”：在線廣告投放策略推薦系統

摘要：廣告主在電子商務平臺中起著重要作用，其廣告支出是電子商務平臺的主要收入來源。通過減少廣告實時出價過程中的試錯成本為廣告主提供更好的廣告體驗，對于電子商務平臺的長期收入至關重要。為了實現這一目標，廣告平臺需要了解廣告主的獨特營銷需求，并積極為其推薦個性化和最佳的廣告策略。在這項工作中，我們首先在淘寶展示廣告平臺上部署了一個原型推薦系統，以實現廣告主人群出價和人群選擇的優化。然后，我們提出了一種新穎的用于動態出價策略推薦的推薦系統，該系統將廣告主的策略推薦問題建模為上下文老虎機問題。我們使用神經網絡，根據廣告主的信息和歷史采納行為來預測廣告主的需求。基于預測的需求，我們應用模擬競價來推導用于推薦的最佳出價策略，并通過顯示預估的廣告效果與廣告主進行交互。為了解決探索/利用問題，我們用Dropout表示網絡的不確定性，以進行有效的策略探索，可以證明這種方式近似等價于湯普森采樣。在線評估表明，原型推薦系統可以優化廣告主的廣告效果，廣告主愿意打開該系統，選擇并采納建議，這也進一步增加了平臺的收入。基于阿里巴巴在線競價數據的仿真實驗證明，上下文老虎機算法可以有效優化廣告主的采納率。對比實驗證明湯普森采樣可以更好地平衡探索和利用，進一步優化模型的性能。

論文下載：https://arxiv.org/abs/2105.14188

???Multi-Agent Cooperative Bidding Games for Multi-Objective Optimization in e-Commercial Sponsored Search

基于多智能體協同競價博弈的電商搜索廣告多目標競價優化

摘要：在線廣告是一種以互聯網為載體，幫助廣告主觸達目標消費者，從而實現商業訴求的廣告形式。在線廣告通常通過實時競價的方式決定勝出者。電商搜索廣告是一種主流的在線廣告：消費者在電商平臺表達搜索請求，觸發相關廣告主的實時競價以及平臺流量分配，并帶來可能的成交行為。在高度動態的電商市場，每天通常有數百萬的廣告主，這些廣告主訴求各異，經由上千億次的實時競價競爭接近百億次的用戶曝光。如何在如此大規模的電商流量場景下，通過優化實時競價，滿足廣告主多樣化目標訴求是一個頗具挑戰的問題。學術界和工業界已經深入研究了單廣告主視角的競價優化問題，這些研究往往即假設其他競爭者不改變出價，這一強假設往往不成立，導致策略在運用于多廣告主真實競價時往往表現較差。少量現有工作從多廣告主視角，利用多智能體強化學習，通過構建一致的目標進行出價的協同優化，但他們存在如下缺陷：（1）由于信息完全共享，這些方法很難避免多廣告主串謀的問題，一種顯而易見的更優解是廣告主串通出較低價競價流量，導致平臺收益受損；（2）在復雜動態的競價環境中，這些策略需要較長時間收斂并且極度不穩定。此外，針對電商搜索廣告競價優化問題，以往的工作很少考慮同時優化廣告主多樣化的訴求目標。

針對以上問題，本文提出了一套新穎的多目標協同出價優化框架，即多智能體協同出價博弈。在該合作博弈框架中，本文通過引入一個全局的目標以優化所有廣告主的總體利益，鼓勵了廣告主更好的協同，從而間接保護了自主出價廣告主的利益，使得流量分配更加公平。為解決多廣告主串謀問題，本文也額外引入了平臺的收入作為約束。本文通過理論分析給出了最優出價公式的泛函形式，并設計了一種策略網絡用于探索泛函出價公式中的最優參數。為尋找最優參數，本文同時設計了一種高效的多智能體進化策略搜索算法。進化策略不需要顯式建模動態環境，使得求解過程具有更好的魯棒性。淘寶搜索廣告平臺上廣泛的離線評測和在線A/B測試，都顯示本文的方法顯著優于現有最新的工作。該模型已經上線部署到淘寶搜索廣告平臺，每天服務上百萬廣告主的實時競價優化，使得整體大盤效率指標以及廣告主自身訴求均有5%以上提升。

論文下載：https://arxiv.org/abs/2106.04075

???Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning

基于深度置信度感知學習的廣告投放探索方案

摘要：目前先進的在線廣告系統得益于個性化方法，例如點擊率預估技術。依托于深度學習豐富的表示能力，深層點擊率預估模型在工業界獲得大規模應用，并取得了巨大成功。但是，這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機（Contextual Bandit）方法來解決探索與利用的權衡問題，但這些方法難以兼容深層模型，因而表示能力受限。

在本文中，我們提出了一種新穎的深度置信度感知學習（DUAL）方法，基于高斯過程（Gaussian Process）學習點擊率模型。該方法可以在保持深層模型靈活表示能力的同時，提供模型預估不確定性的估計。DUAL可以輕松地在現有模型上實現，并以極少的額外計算開銷部署于實時系統中。通過結合DUAL對模型預估不確定性的估計能力與Bandit算法，我們進一步提出了基于DUAL的廣告投放策略，以提高廣告系統的長期效用。在幾個公共數據集上的實驗結果均表明了該方法的有效性。同時，在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結果顯示，DUAL方法顯著提升了平臺收入等指標。

論文下載：https://arxiv.org/abs/2012.02298

寫在最后

據不完全統計，在過去三年，阿里媽媽技術團隊發表在國際頂會的論文數量超過50篇，相信很多內容也有被業內同學所關注。

比如，在 KDD2018 上由阿里媽媽技術團隊首先提出的深度興趣網絡（Deep Interest Network，簡稱 DIN），被普遍認為是該領域的開篇之作。DIN 是一種有效的用于 CTR（點擊率）、個性化推薦的深度學習模型，其效果在阿里媽媽的業務中得到驗證并已經開源，可適用于其他很多場景。感興趣同學可在公眾號回復 DIN 獲取相關資料~

接下來，阿里媽媽技術團隊會持續以深度學習為核心，在阿里自研的業?AIOS、MaxComputer 等基礎上面，構建?XDL、MDL、EULER?三大AI平臺（其中?XDL、EULER?已經開源）和八大智能方向，包括：深度匹配（Intelligent Matching）、行為預測（Deep Response Prediction）、機制設計學習（Learning-based Mechanism Design）、智能出價（Smart Bidding）、智能創意（Smart Creative）、智能多觸點歸因（Multi-Touch Attribution）、聯邦學習（Federated Learning）、圖神經網絡（Graph Neural Network）。當然，我們也會定期分享我們在業務上的技術創新與實踐，希望給從事相關工作的同學帶來啟發。

正如阿里媽媽 CTO 鄭波所提到的：“深研AI前沿技術，是為了大規模應用于實際業務；論文不是目的，重要的是分享。我們也會盡可能多的開源，和大家共享AI技術帶來的紅利。”

瘋狂暗示↓↓↓↓↓↓↓

總結

以上是生活随笔為你收集整理的KDD2021 放榜，6 篇论文带你了解阿里妈妈AI技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。