WSDM 2022 | 点击率模型特征交叉方向的发展及CAN模型介绍
丨目錄：
· 摘要
· 背景
· 問題和方法
·??Co-Action Network方案
· 方案擴展
· 總結(jié)
·?References
· 關(guān)于我們
??一、摘要
排序模塊在廣告、推薦和搜索等系統(tǒng)中扮演著非常重要的角色。排序結(jié)果會直接影響用戶的體驗。因此排序技術(shù)一直是工業(yè)界和學(xué)術(shù)界的研究熱點，其中的點擊率預(yù)估技術(shù)更是重中之重。而特征交叉則是點擊率預(yù)估模型的重要技術(shù)方向，本文介紹了近年來特征交叉的熱門技術(shù)方案及其挑戰(zhàn)，并提出了一種新的特征協(xié)同交互模型Co-Action Network（CAN），通過提高非線性特征交互的隱式學(xué)習(xí)容量來探索特征協(xié)同交互的潛力。該模型相關(guān)工作論文已發(fā)表在WSDM 2022，歡迎閱讀交流。
論文下載：https://arxiv.org/abs/2011.05625
??二、背景
我們團隊主要負責(zé)展示廣告場景的排序預(yù)估，點擊率預(yù)估模型的性能除了影響平臺營收，也關(guān)系到用戶體驗和廣告主的營銷效率。在展示廣告的業(yè)務(wù)場景下，點擊率預(yù)估模型的目標是預(yù)估給定廣告、場景、用戶的情況下該用戶會點擊該廣告的概率，即 ?。近年來隨著深度學(xué)習(xí)的發(fā)展，點擊率預(yù)估模型也逐漸從傳統(tǒng)的LR、FM、MLR等模型過渡到DNN模型，其整體的表達方式可以看做是一種Embedding&MLP的范式，基于這種范式逐漸涌現(xiàn)出了兩類優(yōu)秀的工作，一類是通用范式的特征交叉，例如：xDeepFM, ONN，FiBiNET等，這部分模型充分利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力挖掘特征信息的低階、高階融合從而提升點擊率預(yù)估能力。另一類是基于物理意義先驗的顯式語義特征交互，例如DIN和PCF-GNN等，分別采用用戶行為序列和圖結(jié)構(gòu)去捕捉用戶和目標商品的相關(guān)性。在后者我們團隊提出了興趣建模這一技術(shù)方向，并持續(xù)耕耘產(chǎn)出了DIN/DIEN/MIMN/SIM等工作。因此我們也希望能在通用范式的特征交叉迭代中尋求技術(shù)增長，一開始我們的嘗試是基于笛卡爾積的特征交叉，但遠未達到預(yù)期的目標，隨后我們打破以往的笛卡爾積組合慣性，嘗試直接對序列特征和目標特征進行笛卡爾積組合，取得了不錯的離線結(jié)果，不過在工業(yè)化上線的時候，這種方法在離線都遇到各種問題，且嚴重威脅到未來的技術(shù)迭代。因此我們轉(zhuǎn)而嘗試FM等參數(shù)化方案，這類方案性能可以，但效果遠不如笛卡爾積。于是我們轉(zhuǎn)而思考是否有更優(yōu)雅的方式能夠覆蓋并超越笛卡爾積的效果，且不影響未來技術(shù)更迭。基于這樣的思考路徑，我們展開相關(guān)研究并最終設(shè)計出了Co-Action Network（CAN）。
??三、問題和方法
通用范式的特征交叉指的是通過組合兩個（或多個）特征來學(xué)習(xí)特征間非線性的組合高階表達，其收益則是來自通過挖掘特征之間的共現(xiàn)組合，拓展了特征輸入的表達，從而使得模型能更容易的學(xué)習(xí)到共現(xiàn)組合提供的信息。例如在真實的業(yè)務(wù)場景下，我們可以挖掘海量數(shù)據(jù)中用戶特征和商品特征間的共現(xiàn)信息，如下圖所示：
上述特征交叉的工業(yè)實現(xiàn)方案可以主要分為非參數(shù)化方案和參數(shù)化方案。
非參數(shù)化方案：顯式的表達特征交叉ID，例如特征求交，笛卡爾積特征等。
參數(shù)化方案：主要通過模型參數(shù)隱式擬合的形式去捕捉特征的非線性組合能力，而參數(shù)化方案在DNN基礎(chǔ)上的創(chuàng)新迭代又主要分為以下兩類范式：
范式一：通過模型參數(shù)擬合的過程中能夠明確特征的交互關(guān)系，例如DeepFM，IPNN，ONN，以及本文的CAN。
范式二：無法明確特征具體交互關(guān)系，通過設(shè)計更復(fù)雜的后端網(wǎng)絡(luò)追求特征的implict組合和高階融合，例如DCN，xDeepFM，FIBNET。
需要注意的是，兩種范式并不沖突，如果我們將范式一定義豐富輸入X，則范式二則是在復(fù)雜化F表達式，那么兩者結(jié)合的F(X)可能會帶來進一步收益，本文會在最后介紹CAN和范式二的結(jié)合升級。下面依次介紹一下各方法的實現(xiàn)和認識：笛卡爾積，IPNN，ONN，xDeepFM，FiBiNET，這些方法主要選取華為CTR Survey工作《Open Benchmarking for Click-Through Rate》里效果顯著的模型。
1. 笛卡爾積
傳統(tǒng)的笛卡爾積一般是將樣本輸入的任意兩個特征進行組合拼成一個新的特征作為輸入，我們在多種組合嘗試后將其擴展到序列特征的組合中，具體操作是將待預(yù)估的商品信息（如item id）和用戶行為序列信息（如item id sequence）做笛卡爾積，形成一個新的id sequence，對其直接做embedding后pooling，將該信息輸入到后續(xù)DNN網(wǎng)絡(luò)，在我們現(xiàn)有的主模型SIM上有比較明顯的提升。但這種序列笛卡爾積在訓(xùn)練端和在線服務(wù)端成本很大，訓(xùn)練需要采用各種優(yōu)化手段防止模型無限膨脹，且大小驟增的模型嚴重影響OL更新。在線服務(wù)因為每一次預(yù)估需要生成的ID（特征量級擴展參競規(guī)模倍），和查詢embedding的ID會急劇膨脹，RT和QPS都明顯遭遇性能瓶頸，一言以蔽之則是給在離線都帶來巨大挑戰(zhàn)。
2. IPNN
IPNN，全稱為Inner Product-based Neural Network，認為在embedding輸入到MLP之后學(xué)習(xí)的交叉特征表達并不充分，提出了一種product layer的思想，即基于乘法的運算來體現(xiàn)體征交叉的DNN網(wǎng)絡(luò)結(jié)構(gòu)。
3. ONN
ONN可以看成是在IPNN基礎(chǔ)上的基于Feature組合參數(shù)獨立性的擴展，即可以理解成ONN=IPNN+FFM，ONN認為相同特征在交互過程中執(zhí)行不同的操作應(yīng)當使用不同嵌入向量，例如一共有n個特征，每個特征與其他特征做Inner Product會執(zhí)行(n-1)次操作，加上不交互的嵌入向量，即一個特征需要有n個對應(yīng)的嵌入向量。
4. xDeepFM
xDeepFM雖然命名看起來是DeepFM的延續(xù)，但其核心模塊CIN實際是DCN的一種升級。對比DCN，CIN則從bit-wise改進為vector-wise，不同F(xiàn)eature Group的向量逐層與融合信息進行交互，特性同樣是有限高階、自動叉乘、參數(shù)共享。xDeepFM的模型架構(gòu)圖如下。
其中CIN才是該模型核心，其具體前饋流程如下圖：
是Embedding的維度，是Feature Group的數(shù)量，是第層轉(zhuǎn)移矩陣數(shù)量，轉(zhuǎn)移矩陣的shape為，該轉(zhuǎn)移矩陣也可以看成是一個卷積核，是原始Embedding，是第層的輸出，具體執(zhí)行邏輯是：
和的每一列進行外積后拼接得到的矩陣P，對于來說，這里的 = m；
將矩陣P經(jīng)過個轉(zhuǎn)移矩陣Conv1D后得到；
將k層Layer的沿列SUM后送入DNN網(wǎng)絡(luò)。
5. FiBiNET
文章指出當前的許多通過特征組合進行CTR預(yù)估的工作主要使用特征向量的內(nèi)積或哈達瑪積來計算交叉特征，這種方法忽略了特征本身的重要程度。提出通過使用Squeeze-Excitation network (SENET) 結(jié)構(gòu)動態(tài)學(xué)習(xí)特征的重要性以及使用一個雙線性函數(shù)來更好的建模交叉特征。
SENET有效性在論文中的解釋是獲取不同特征的重要性，但其實也可以看做是一種XF(X)的特征交叉，其中F是SENET計算權(quán)重的非線性擬合函數(shù)，權(quán)重可以看做vector-size特征交叉的相對向量，獨特之處在于確保了特征交叉的時候不做Embedding向量內(nèi)部的差異化，這種形式可以降低學(xué)習(xí)難度。
6. 挑戰(zhàn)
如背景中所述，我們在迭代的過程中希望尋找一種參數(shù)化的方案能夠超越笛卡爾積效果，但又能屏蔽掉笛卡爾積帶來的在離線問題，但在嘗試現(xiàn)有參數(shù)化方案后發(fā)現(xiàn)均有一定差距，分析原因主要是存在coupled-gradient和信息容量的問題，因此我們分析了笛卡爾積獨立空間學(xué)習(xí)特征共現(xiàn)記憶的原理，基于此我們通過參數(shù)化的方式 將表征神經(jīng)元化(micro net)設(shè)計了Co-Action Network，無需顯式構(gòu)建id即可逼近大規(guī)模序列端笛卡爾積效果，同時性能更友好。下文我們將詳細展開，與此同時CAN模型主要針對的是范式一的優(yōu)化升級，因此也存在和范式二的合并優(yōu)化，后文會介紹合并后的模型設(shè)計與效果。
??四、Co-Action Network方案
1. 方案概述
點擊率預(yù)估模型的核心目標是給定用戶、場景、商品等信息，預(yù)估用戶的點擊率。以DNN為基礎(chǔ)的主流預(yù)估模型，均采用交叉熵損失函數(shù)進行監(jiān)督訓(xùn)練，即商品特征、場景特征以及用戶特征取完Embedding后送入全連接層中。其形式化描述是：
其中和分別表示用戶特征和廣告特征，表示將原始的離散ID映射為d維可學(xué)習(xí)的嵌入向量（embedding），作為整個模型的輸入。將特征間交互建模考慮進來后，可進一步描述為：
其中表示和之間的交互建模。由于特征共現(xiàn)的存在，模型可以受益于特征交互。因此如何有效地對特征交互進行建模是提高模型表達能力的關(guān)鍵。仔細回顧以往的方法可以發(fā)現(xiàn)，它們要么以特征交互作為權(quán)重，要么同時隱式學(xué)習(xí)與其他目標的相關(guān)性，可能會產(chǎn)生不理想的結(jié)果。學(xué)習(xí)特征交互最直接的方法是將特征組合視為新的特征，直接學(xué)習(xí)每個特征組合的嵌入向量，如笛卡爾積。笛卡爾積提供了獨立的參數(shù)空間，具有足夠的靈活性來學(xué)習(xí)協(xié)同作用信息，從而提高預(yù)測能力。
然而，笛卡爾積式的建模也有一些嚴重的缺陷。首先是參數(shù)爆炸問題。大小為的兩個特征進行笛卡爾積操作后的參數(shù)空間將從擴展到，其中D為嵌入維度，這將給在線系統(tǒng)帶來巨大的負擔(dān)。此外，由于笛卡爾積將<A, B>和<A, C>視為完全不同的特征，組合之間不存在信息共享，這也限制了組合的表示能力。
考慮到笛卡爾積的優(yōu)點和計算的服務(wù)效率，我們提出了一種新的特征交互建模方法CAN。將笛卡爾積的表達變得可學(xué)習(xí)、可擴展并具備更高的自由度，演進過程如下：
對于每個特征對，其笛卡爾積產(chǎn)生一個新的特征和相應(yīng)的嵌入。由于不同的特征對可能具有相同的特征，因此任意兩個特征對之間存在隱含的相似度，而笛卡爾積忽略了這一點。如果能夠有效地處理隱式相似度，則可以用比笛卡爾積更小的參數(shù)尺度更有效地建模這些特征對之間的相互作用。CAN模型受笛卡爾積獨立編碼的啟發(fā)，首先對嵌入?yún)?shù)和特征交互進行區(qū)分，避免了特征間的相互干擾。考慮到DNN具有強大的擬合能力，進而設(shè)計了一個以micro net形式參數(shù)化特征嵌入的協(xié)同單元。由于不同的特征對可以共享同一個micro net，因此在該micro net中可以自然地學(xué)習(xí)和存儲相似度信息。
2. 模型設(shè)計
該模型主要包括特征抽取模塊、興趣抽取模塊、序列建模模塊、特征交互模塊等，整體框架如下圖所示。其中左側(cè)的Co-Action Unit具體刻畫了隱式特征交互的過程。
CAN的主要改進是，在原有結(jié)構(gòu)基礎(chǔ)上將不同特征送入新設(shè)計的算子得到特征交互的表達向量，再額外送入全連接層中作為信息補充。其形式化表達如下，其中表示模型的參數(shù)：
CAN的實現(xiàn)細節(jié)主要有三部分，首先引入了一個動態(tài)可插拔的特征交互學(xué)習(xí)單元Co-Action Unit，該單元實現(xiàn)特征組合信息的表達。此外，為了在模型中加入高階信息，引入了多階增強的邏輯，它顯式地為特征交互學(xué)習(xí)單元構(gòu)造了一個多項式輸入。為了防止不同特征組合的信息學(xué)習(xí)的數(shù)據(jù)穿越相互干擾，針對性地在多個方面合理的開辟新的參數(shù)空間，在有限的參數(shù)擴增下，有效的提高了自由度。
一般來說，特征交互學(xué)習(xí)單元是每個特征對的一個獨立的MLP，即micro net，由特征對提供MLP的權(quán)值、偏置和輸入。對于一個特定的用戶特征ID ,使用參數(shù)查詢獲得可學(xué)習(xí)的參數(shù)，相應(yīng)的目標商品ID 其參數(shù)為。然后，對進行重構(gòu)，將其分割為micro net的權(quán)重矩陣和偏置向量。這一過程可以公式化為:
其中和表示micro net第i層的權(quán)重和偏置表示拼接運算，𝐿表示micro net的網(wǎng)絡(luò)層數(shù)，表示變量的長度。此過程的可形式化為下圖。
然后將輸入到micro net中，最后將micro net各層的輸出拼接，得到最終特征與的特征交互:
其中表示矩陣點乘，表示激活函數(shù)，表示特征交互學(xué)習(xí)單元，其輸入是和。對于序列類的特征，例如用戶的歷史點擊行為序列, 特征交互學(xué)習(xí)單元會作用于每個點擊行為上，并求和：
在上面的描述中，和分別是通過商品和用戶的特征得到的。不過，同樣可以作為micro net的參數(shù)，作為micro net的輸入。根據(jù)經(jīng)驗，在廣告系統(tǒng)中，廣告對應(yīng)的商品庫遠小于用戶行為中的商品庫規(guī)模。因此，此處選擇廣告ID作為提供micro net參數(shù)，以減少參數(shù)總量，使學(xué)習(xí)過程更簡單、更穩(wěn)定。
需要注意，micro net的網(wǎng)絡(luò)深度取決于學(xué)習(xí)的難度。根據(jù)經(jīng)驗，當ID個數(shù)較多時通常需要更深的網(wǎng)絡(luò)層數(shù)，但最后一層一般不帶偏置項效果會更穩(wěn)定。事實上，deepFM也可以看作是CAN的一種特殊情況，即micro net是一層1×𝐷矩陣，沒有偏置項和激活函數(shù)。
與其他方法相比，CAN模型所提出的Co-Action Unit至少具有三個優(yōu)點。首先，不同于以往在不同類型的特征域?qū)W習(xí)中使用相同嵌入向量的研究，Co-Action Unit利用了神經(jīng)網(wǎng)絡(luò)強大的計算能力，并將和兩個分量特征動態(tài)耦合，而不是固定模型，為保證兩者的解耦更新提供了更大的能力。其次，需要學(xué)習(xí)的參數(shù)規(guī)模較小。例如，考慮兩個特征都有N個ID，它們的笛卡爾積的參數(shù)量級應(yīng)該是，其中𝐷是Embedding維度。但若以CAN模型的Co-Action Unit進行建模，則該參數(shù)規(guī)模降至，其中為的維度，顯著的減輕在線系統(tǒng)負擔(dān)。同時與笛卡爾積全盤從0學(xué)起相比，在給定一個新的特征組合時，CAN可以復(fù)用特征組合對應(yīng)的well-trained embedding，僅需要訓(xùn)練Co-action Net中的少量參數(shù)即可，所以Co-Action Unit對新特征組合具有更好的泛化能力。
上述特征交互方式是在一階特征的基礎(chǔ)上形成的，然而特征交互可以認為存在高階表達，盡管此單元可以通過多層全連接隱式學(xué)習(xí)高階特征交互，并且進一步增大參數(shù)量和算子復(fù)雜度達到學(xué)習(xí)到的可能，但受限與生產(chǎn)化過程中的參數(shù)規(guī)模以及稀疏學(xué)習(xí)無法使得參數(shù)對于高階表達學(xué)習(xí)充分，因而需要顯式輸入高階信息。為此，CAN明確地在Co-Action Unit中引入多階信息以獲得多項式輸入：
學(xué)習(xí)獨立性是隱式特征交互建模的一個防止學(xué)習(xí)影響、增加擬合空間，加強表達能力的關(guān)鍵方法。由于特征交互計算單元以外還有其他計算單元，這些單元之間可能涉及到相同的特征，但由于擬合邏輯不同如果同空間映射則可能造成表達能力沖突無法收斂，因此區(qū)分了表征學(xué)習(xí)和聯(lián)合行動建模的參數(shù)。
因此為了保證Co-Action Unit的學(xué)習(xí)獨立性，CAN從不同的角度提出了三層次的學(xué)習(xí)策略。
第一層，參數(shù)獨立性。即表示學(xué)習(xí)和CAN特征交互建模的更新，參數(shù)獨立性是特征交互學(xué)習(xí)的基礎(chǔ)。
第二層，組合獨立性。特征交互隨著特征組合數(shù)量的增加而線性增長。根據(jù)經(jīng)驗，像“item_id”和“category_id”這樣的目標特征被選擇為，而用戶特征被選擇為。由于可以與相結(jié)合，因此CAN可以方便地以指數(shù)形式擴大模型的表達能力。形式上，如果和分別有𝑄和𝑆組，特征交互組合應(yīng)滿足:
其中表示第q個micro net的輸入維度。在前向傳播過程中，將分成若干部分并輸入進不同的micro net。
第三層，階數(shù)獨立性。為了進一步提高特征交互建模在多階輸入下的靈活性，CAN模型可以對不同階次的特征進行了不同的向量嵌入。當然，這些嵌入向量的維度也會相應(yīng)增加。
多層次的獨立性有助于特征交互建模，但同時也帶來了額外的內(nèi)存訪問和計算。在獨立性級別和部署成本之間存在權(quán)衡。根據(jù)經(jīng)驗，模型使用的獨立級別越高，它需要的訓(xùn)練數(shù)據(jù)就越多。因為不同的特征的表達語義不同，所以當某個特征在和不同特征組合時應(yīng)盡量避免用相同的參數(shù)，參數(shù)使用量會隨著所做組合的特征個數(shù)成倍增加。下圖具體闡釋了特征組合的獨立性：
3. 生產(chǎn)化上線
公開數(shù)據(jù)集實驗和消融實驗大家可以參看論文，這里不再贅述，下面介紹下CAN生產(chǎn)化上線的具體設(shè)置和算力優(yōu)化。正如前面所討論的，笛卡爾積是特性交互建模中最直接的方法。然而，笛卡爾積通常會導(dǎo)致大量的資源消耗。一方面，模型的尺寸將以極快的速度擴大。模型過大給存儲和網(wǎng)絡(luò)傳輸帶來了巨大的挑戰(zhàn)，進一步影響了模型的實時更新。另一方面，隨著在輸入階段特性的增加，它增加了應(yīng)用程序請求中嵌入的查找操作，這導(dǎo)致了系統(tǒng)響應(yīng)的延遲。現(xiàn)有的方法在工業(yè)部署方面更加友好。但是，也需要注意到，在數(shù)十億數(shù)據(jù)的規(guī)模下，與笛卡爾積相比，提升非常有限。同時，單純地增加參數(shù)空間，如增加Embedding維度，并不能帶來額外的改進。在實際廣告系統(tǒng)中，選擇了21種特征，其中包括6種廣告特征(如ad_id、item_id、shop_id等)和15種用戶特征(如item_history、shop_history等)來構(gòu)建特征交互。CAN與笛卡爾積相比，只有十分之一的模型大小就可以實現(xiàn)相當?shù)男阅堋Ｓ捎谟脩籼匦源蠖嗍情L度超過100的行為序列，因此需要額外的內(nèi)存訪問，這導(dǎo)致了很大的響應(yīng)延遲。此外，特征交互的計算代價隨著特征組合數(shù)量的增加而線性增長，這也給系統(tǒng)帶來了相當大的響應(yīng)延遲。為了發(fā)揮CAN的所有能量，許多工作都致力于減少響應(yīng)延遲。在算力優(yōu)化方面，我們主要從三個方面進行了優(yōu)化：
序列截斷：用戶特征的長度從50到200不等。為了減少內(nèi)存訪問成本，簡單地對用戶特性應(yīng)用序列截斷，例如，所有長度為200的用戶行為序列被減少到50，從而保留用戶最新的行為。序列截止使QPS(每秒查詢次數(shù))提高了20%。
減少組合：6個商品特征和15個用戶特征可以得到多達90個特征組合，這是一個很重的負擔(dān)。從經(jīng)驗上看，同類型的廣告特征和用戶特征的組合可以更好地模擬特征的共現(xiàn)性。根據(jù)先驗知識，保留相關(guān)的組合，并刪除一些不相關(guān)的組合。這樣組合數(shù)量從90個減少到48個，QPS提高了30%。
計算內(nèi)核優(yōu)化：特征交互單元的計算是一個相當耗時的大規(guī)模矩陣運算， 基本線性代數(shù)子程序不能很好地優(yōu)化這種矩陣乘法。為解決這一問題，重寫了內(nèi)部計算邏輯，提高了60%的QPS，并進一步將矩陣乘法和求和運算進行了內(nèi)核融合。這樣做，可以避免矩陣乘法中間的GPU內(nèi)存寫入，這帶來了另外47%的QPS提升。
經(jīng)過以上優(yōu)化，我們今天成功在展示廣告幾乎所有場景上線了CAN模型，并取得巨大的提升，下表是在主要場景的具體提升結(jié)果：
??五、方案擴展
如第三節(jié)中所講，通用特征交叉的兩類范式并不矛盾，效果存在互補，因此我們在CAN的基礎(chǔ)上嘗試把所有算子和特征拼接后輸入DNN之前經(jīng)過一個FiBiNET中所采用的SENET結(jié)構(gòu)。
在離線實驗過程中GAUC+0.2%，但我們分析認為SENET最初設(shè)計用于圖像領(lǐng)域，而圖像的feature map的相鄰維度由于Receptive Field設(shè)計的Local Share特性存在一定的相關(guān)性，所以可以共用權(quán)重，但在搜推廣的ID化特征的Embedding中這種相關(guān)性大大減弱，因此沒有必要Embedding向量內(nèi)共享一個權(quán)重。于是我們將SENET學(xué)習(xí)的Feature Group權(quán)重對應(yīng)每個Embedding Dim學(xué)習(xí)，但實驗結(jié)果并沒有提升，且計算復(fù)雜度顯著上升，分析原因懷疑學(xué)習(xí)自由度過大，難以訓(xùn)練充分，因此我們Trade Off了學(xué)習(xí)規(guī)模， 并綜合各種算法技巧在特征向量輸入DNN之前設(shè)計了一個Feature Attribute Unit，將以Feature Group的最大公約數(shù)8 dim為粒度學(xué)習(xí)權(quán)重，將學(xué)到的權(quán)重乘到對應(yīng)的特征表達向量上，并在最后一層權(quán)重激活選擇sigmoid函數(shù)，為保證特征變換后的Scale不變，我們乘2保證期望為1。最終取得 0.36% GAUC 提升。由于我們原始feature group的embedding dim各不相同，在實現(xiàn)senet時需要遍歷，因此我們的新方法在算力上也得到了優(yōu)化。最終上線取得了CTR+2.3%，RPM+2.5%的效果。具體實現(xiàn)結(jié)構(gòu)如下所示：
? 六、總結(jié)
對于通用范式的特征交叉表達優(yōu)化，我們相信還有不少可挖掘的優(yōu)化空間，Co-Action Network只是一個拋轉(zhuǎn)引玉的工作，證明了微觀表達可以更復(fù)雜，其本身還有些許不足，比如如何差異化不同稠密度特征節(jié)點的信息容量以及如何將特征交叉的輸入組合擴展到更多階，因而未來在這個方向一定還能出現(xiàn)更優(yōu)秀的工作。
References
Bian W, Wu K, Ren L, et al. CAN: Feature Co-Action Network for Click-Through Rate Prediction[C]//Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining. 2022: 57-65.
Zhu J, Liu J, Yang S, et al. Open Benchmarking for Click-Through Rate Prediction[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021: 2759-2769.
Qu Y, Cai H, Ren K, et al. Product-based neural networks for user response prediction[C]//2016 IEEE 16th International Conference on Data Mining (ICDM). IEEE, 2016: 1149-1154.
Yang Y, Xu B, Shen S, et al. Operation-aware neural networks for user response prediction[J]. Neural Networks, 2020, 121: 161-168.
Huang T, Zhang Z, Zhang J. FiBiNET: combining feature importance and bilinear feature interaction for click-through rate prediction[C]//Proceedings of the 13th ACM Conference on Recommender Systems. 2019: 169-177.
Lian J, Zhou X, Zhang F, et al. xdeepfm: Combining explicit and implicit feature interactions for recommender systems[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining. 2018: 1754-1763.
??關(guān)于我們
阿里媽媽展示廣告核心算法團隊負責(zé)廣告系統(tǒng)的核心召回及排序算法迭代和創(chuàng)新研發(fā)，致力于利用人工智能前沿技術(shù)打造超大規(guī)模體量下的工業(yè)級深度學(xué)習(xí)框架和創(chuàng)新解決方案及相應(yīng)的基礎(chǔ)設(shè)施。團隊在用戶興趣建模、深度樹匹配范式等技術(shù)持續(xù)深耕，并在工業(yè)級領(lǐng)域的深度學(xué)習(xí)框架上有著深厚的積累。近年在SIGKDD、SIGIR、NIPS、WSDM、CIKM、AAAI等學(xué)術(shù)會議上發(fā)表多篇論文。歡迎感興趣同學(xué)加入我們~
投遞簡歷郵箱：
alimama_tech@service.alibaba.com
END
也許你還想看
丨阿里媽媽技術(shù)團隊4篇論文入選WSDM 2022
丨WSDM 2022 | 合約廣告自適應(yīng)統(tǒng)一分配框架
丨WSDM 2022 | 基于元學(xué)習(xí)的多場景多任務(wù)商家建模
歡迎關(guān)注「阿里媽媽技術(shù)」，了解更多~
瘋狂暗示↓↓↓↓↓↓↓
總結(jié)
以上是生活随笔為你收集整理的WSDM 2022 | 点击率模型特征交叉方向的发展及CAN模型介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： WSDM 2022 | 基于元学习的多场
- 下一篇： WSDM 2022 | 一种用于在线广告