簡介：紅包是電商平臺重要的用戶運營手段，本文將介紹1688基于端智能技術開發的two-stage紅包分發方案。這一方案持續在線上生效，相較于原有算法有明顯提升。

一、前言

本文是作者在1688進行新人紅包發放的技術方案總結，基于該技術方案的論文《Spending Money Wisely: Online Electronic Coupon Allocation based on Real-Time User Intent Detection》已經被CIKM2020接收，歡迎交流指正！

關于作者

李良偉：阿里巴巴算法工程師，郵箱 leon.llw@alibaba-inc.com
孫劉誠: 阿里巴巴高級算法工程師，郵箱 liucheng.slc@alibaba-inc.com

二、背景介紹

用戶權益（包括現金紅包、優惠券、店鋪券、元寶等，圖-1）是電商平臺常用的用戶運營手段，能夠幫助平臺促活促轉化。 圍繞著權益的技術優化也層出不窮[1,2,3,4,5]。

紅包發放作為一種營銷手段，其ROI是我們非常關心的一個指標，因為它直接反映了在有限的預算內紅包為整個平臺促活促成交的能力。優化紅包發放的ROI要求我們把紅包發到最合適的用戶手上。而判斷哪些用戶適合領到紅包需要我們在真正發紅包之前判斷當前用戶的意圖。舉例來講，一個購買意圖非常明確、無論是否有紅包都會下單的用戶顯然不適合領到紅包；相反，紅包對一個猶豫不決、貨比三家的用戶很有可能起到“臨門一腳”的作用。

隨著1688業務的快速發展，每天都會有大量的平臺新用戶涌入，其中有很多用戶在整個阿里經濟體的數據都十分稀疏，基于常規手段，我們很難對這種“陌生”的用戶進行精準刻畫。然而，只要一個用戶進入了APP，或多或少都會和平臺產生相互作用（滑動，點擊等），這種在端上實時產生的數據能夠幫助我們對用戶尤其是新用戶的實時意圖進行精準捕捉，進而完成紅包發放的決策。

本文將介紹我們基于端智能的用戶意圖識別和智能權益發放方案。

三、技術方案

從數學的角度，權益發放是一個帶約束的優化問題。優化目標是關心的業務指標（GMV，買家數，轉化率等），約束一般是預算約束，有時也會有其他約束比如發放疲勞度約束、單個用戶領取紅包金額約束等。

按照之前提到的先識別用戶意圖再進行權益發放這一思路，我們提出了一個two-stage的求解方案。在第一階段，我們基于端智能技術[6]，根據用戶實時行為數據，通過瞬時意圖識別網絡(Instantaneous Intent Detection Network, IIDN) 識別出用戶當前意圖；在第二階段，我們將優化問題建模成一個多選項背包問題(Multiple-Choice Knapsack Problem, MCKP),并運用[7]提到的primal-dual框架求解。在這里，我們強調我們關于IIDN的兩個創新點：

1.IIDN最主要檢測的用戶意圖是下單意圖，但是實踐發現在新人當中，用戶下單的比例是比較小的，這樣我們在進行下單意圖識別的時候會面臨一個類別不均衡的問題(下單:不下單 = 1:10甚至更低)，這樣的類別偏差會降低常見的分類器的分類效果[8]。為了解決這一問題，受到ESMM[11]和seq2seq[10]啟發，我們引入了一個輔助任務：停留意圖識別。我們隨后會從理論上驗證這一做法

2.我們采用encoder-decoder的結構，靈活地處理序列化的輸入和輸出

第一階段：瞬時意圖識別

圖-2是IIDN的整體結構,它由Embedding Layer, LSTM layer, Attention Layer, Encoder和Decoder五部分組成。接下來分別介紹。

Embedding Layer

模型的輸入主要是實時用戶特征和紅包特征，用戶特征包括實時特征（端上收集到的：點擊、加購等）、歷史特征（用戶核身、年齡等），紅包特征現在只加入了面額。這些特征是高度異質的，需要進行一步處理把它們映射到相同的向量空間中。我們采用[9]提到的嵌套技術，把原始的異質特征映射為長度固定的向量，并把該向量作為后續結構的輸入。

LSTM Layer

我們紅包發放的業務邏輯是：用戶在詳情頁產生瀏覽行為并返回landing page的時候觸發決策模型，判斷給該用戶發放紅包的面額（0元代表不發放）。由于用戶通常會產生一系列的詳情頁瀏覽行為，因此我們收集到的數據也是高度序列化的。為了更好地描述序列化數據當中的時間依賴關系，我們在特征抽取環節采用了Long Short Term Memory (LSTM) 來捕捉這種序列化信息。

Attention Layer

對于LSTM產出的序列化的feature map，我們使用注意力機制抽取當中的局部和全局依賴關系。我們將LSTM每層的輸出都通過Attention計算權重并參與最終的結果計算。這樣的好處是模型不僅關注LSTM最終層輸出，還會關注逐層的輸出結果，從而增加模型對于輸入信息的感知能力。

Encoder

由于用戶實時特征的序列長度不固定，而紅包特征和用戶歷史特征是靜態的固定特征，我們需要一種機制來進行有效的特征融合。受到Natural Language Generation (NLG) 當中語句生成的啟發，我們采用一種seq2seq的結構：包括encoder和decoder，我們將在下一小節介紹decoder。這里encoder將之前產生的所有feature map作為輸入，通過全連接層產生一個固定長度的向量，這個向量囊括了進行用戶意圖識別的一切信息，并作為之后decoder進行意圖識別的依據。

Decoder

Decoder被用來輸出最終的意圖識別結果。在最開始，我們的模型只輸出用戶下單的概率，但是隨著業務的深入，我們發現類別不均衡這一問題給結果預測造成了不小的干擾。在提高預測精度的實踐當中，我們發現了一個有趣的現象：如果在進行下單率預估的時候在特征中加入用戶在這次瀏覽之后是否離開這一信息，預測精度會有很大的提升。這引發了我們的思考：用戶離開和用戶下單之間存在什么樣的關系。隨后我們又做了一個實驗：進行用戶離開意圖識別，并在特征中加入了用戶兩小時內是否下單這一特征。實驗結果表明加入是否下單這一特征并不能給離開率預估的任務帶來增益。這樣的實驗結果其實是符合邏輯的：用戶能夠下單的前提是用戶一定要留在APP內不離開，前者的發生在邏輯上需要依賴后者的發生，因此在進行下單率預估的時候加入是否離開能夠為模型提供一定的信息增益；相反，用戶是否離開更多取決于用戶當前的心態以及APP能否很好地承接他，用戶是否下單并不能影響用戶是否離開。我們可以認為：

可以看到，在進行下單率預估的時候（P的計算），用戶停留意圖識別（S的計算，或者說離開意圖，二者等價）將可以用來作為輔助任務提升預測效果。我們的實驗也驗證了這點。

盡管在我們這一任務當中，我們只需要預測停留意圖和下單意圖，但是在之后擴展的場景中，更多意圖也可以被識別：比如用戶去往搜索的意圖，用戶去往新人專區的意圖等。所有意圖其實都像下單意圖和停留意圖一樣存在一個邏輯上的先后關系（至少所有意圖的產生都依賴于用戶不離開），這樣的關系使得我們想到了機器翻譯當中語句生成：后一個單詞的生成依賴于前一個單詞的預測，這啟發了我們在encoder-decoder的基礎上采用seq2seq的思想：decoder會先生成S，并在此之上生成P。這樣做有兩個好處：

1.在一定程度上緩解了我們一開始提到類別不均衡問題：盡管不是所有用戶都下單，但是所有用戶一定會離開APP，離開意圖識別并不存在類別不均衡的問題

2.我們這一套意圖識別框架可以擴展到無限多的意圖識別當中，只要提供先驗的邏輯先后關系

我們使用普通的RNN完成每一個意圖的識別。

loss設計

全局的loss是由停留意圖識別和下單意圖識別兩個任務的loss相加得到：

第二階段：求解MCKP

根據第一階段得到的實時意圖$P$和$S$，我們在這一階段完成紅包的最終發放。我們將這一問題建模成一個多選項背包問題，我們作以下定義：

1.j用來索引紅包，表示第j個紅包，i用來索引用戶，表示第i個用戶 2.c_j表示第$j$個紅包的面額 3.x_{ij} = 1當且僅當第i個用戶被發到了j紅包 4.\gamma 表示用戶停留興趣閾值，我們只給那些停留意圖足夠低的用戶發紅包，停留意圖如果不夠低我們認為他還會繼續瀏覽，因此這次先不發放紅包 5.P_{ij}、S_{ij}分別表示第$i$個用戶領取到第$j$個紅包以后的下單率和停留率 6.B表示全局預算約束

運用以上的定義，紅包發放問題可以被寫作：對于任意的用戶，滿足S_{ij} <= gamma，我們求解以下最優化問題：

通過上式求得的x_{ij}和j，我們就得到了最終的分配方案。

四、系統部署

目前在集團做端智能首推jarvis平臺，在這里給相關同學點贊，在最開始的時候沒少麻煩jarvis同學解決問題。運用jarvis，我們可以收集端上實時數據并將深度模型部署到端上。我們主要是將IIDN部署到端上，MCKP決策模型由于需要考慮全局最優，所以放在了服務端。

圖-3是我們整體的系統架構，每一個用戶在詳情頁回退到landing page的時候會觸發決策模型，IIDN首先根據端上采集到的行為數據識別出用戶的下單和停留意圖，隨后該意圖會被推送到服務端參與最終的紅包決策。我們這套系統在日常線上持續生效，同時還參與了0331商人節，助力買家數的提升。

五、實驗

實驗設置

我們從1688客戶端收集數據，用到的特征如下表：

實驗分為兩部分：離線實驗和在線實驗。離線實驗主要驗證IIDN對于意圖的識別效果，驗證指標是AUC和logloss；在線實驗主要驗證我們二段式建模對于紅包發放的效果，主要的驗證指標是增量買家成本 (increment cost, ic)，它被用來衡量每帶來一個增量買家需要消耗的成本，計算公式如下：

離線實驗

在離線實驗環節，我們分別使用以下方法進行下單意圖識別，并進行比較：

1.Logistic Regression (LR) 2.Gradient Boosting Decision Tree (GBDT) 3.DNN + RNN [12] 4.IIDN-single-LSTM （單層LSTM） 5.IIDN-non-attention （無Attention機制，使用簡單的全連接） 6.IIDN-non-auxiliary-task (沒有輔助任務的IIDN) 7.IIDN

離線結果如下表：

可以看到IIDN達到最高的AUC和最低的Logloss，這證明了IIDN的合理性。

在線實驗

我們主要和另外三個發放方案做比較：

1.不發：該桶所有用戶均不發紅包 2.全發：該桶所有用戶均發紅包 3.uplift：我們采用廣告營銷當中常用的uplift方案，對每一個用戶發放使他轉化率提升最大的面額，同時該面額帶來的轉化率提升需要大于一定的閾值，否則不發放紅包

在線效果如下表：

模型分析

學習曲線

圖-4展示了不同方法的學習曲線，可以看到LSTM, Attention以及停留意圖識別任務均可以起到加速模型訓練的效果。

單調性分析

正常來講，紅包面額越大，對于用戶的刺激作用也越大，用戶下單率曲線應該是一條關于紅包面額單調遞增的曲線，我們實驗得到的曲線如下圖：

可以看到所有模型基本呈現單調性，其中IIDN更加符合真實情況。

六、參考文獻

1. 競爭網絡下的智能紅包發放(ATA)

2. 花錢，我們是認真的 -- 基于用戶權益敏感與大規模分組背包的紅包發放算法(ATA)

3. 2018雙11：用戶來而未購？用戶購買意圖識別與驚喜紅包新玩法(ATA)

4. 社交營銷（1）：雙11蓋樓，紅包有多少，樓有多高！| 基于社交裂變的C2C紅包智能投放(ATA)

5. 商家增長引擎系列二：全生命周期商家建模與直通車智能紅包(ATA)

6. Jarvis端上算法平臺介紹(ATA)

7. Agrawal, Shipra, Zizhuo Wang, and Yinyu Ye. "A dynamic near-optimal algorithm for online linear programming." Operations Research 62.4 (2014): 876-890.

8. Chen, Ken, Bao-Liang Lu, and James T. Kwok. "Efficient classification of multi-label and imbalanced data using min-max modular classifiers." The 2006 IEEE International Joint Conference on Neural Network Proceedings. IEEE, 2006.

9. Guo, Long, et al. "Buying or browsing?: predicting real-time purchasing intent using attention-based deep network with multiple behavior." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019.

10. Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.

11. Ma, Xiao, et al. "Entire space multi-task model: An effective approach for estimating post-click conversion rate." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.

12. Wei, Ermo, Drew Wicke, and Sean Luke. "Hierarchical approaches for reinforcement learning in parameterized action space." 2018 AAAI Spring Symposium Series. 2018.

延伸閱讀

點我購買

推薦語：本書是阿里巴巴CBU技術部（1688.com）深耕B2B電商15年的經驗總結。阿里巴巴B2B在戰略形態上經歷了信息平臺、交易平臺和營銷平臺的升級迭代，本書聚焦營銷平臺商業形態背后的算法和技術能力，試圖從技術和商業互為驅動的視角闡述技術如何賦能業務，并結合阿里巴巴集團在基礎設域和算法創新上的沉淀，打造出智能B2B商業操作系統。

原文鏈接：https://developer.aliyun.com/article/770615?

版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的科学地花钱：基于端智能的在线红包分配方案 (CIKM2020)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。