百度計算廣告學沙龍學習筆記 - 內容匹配廣告

時間?2014-02-05 18:53:55 CSDN博客 原文? http://blog.csdn.net/three_body/article/details/18937705 主題 計算廣告

第三期百度計算廣告學沙龍(? http://wenku.baidu.com/course/view/1488bfd5b9f3f90f76c61b8d ) 介紹了內容匹配廣告和展示廣告相關技術。本博客記錄觀看內容匹配廣告部分的一些筆記， 絕大多數為原slide內容，只做簡單的整理。

背景

? ? ?涉及四方：網民（Users） + 網站主 (Publishers) + 廣告主（Advertisers） + 網盟 (AdNetwork/Matcher)

廣告計費 計費方式

? ? ? ? ? ? ? ?CPC 按點擊收費

? ? ? ? ? ? ? ?CPM 按展示收費

? ? ? ? ? ? ? ?CPC+CPM 混合收費

? ? ? ? ? 廣義二階價格拍賣 (Generalized second price)

網盟廣告檢索系統

廣告系統整體架構

廣告系統相關技術

應用技術 - 分層實驗框架

AB-Test

? ? ?用戶實驗/頁面實驗/隨機實驗

? ? ?通過分層流量復用提高實驗并發率

? ? ?Reference： Overlapping Experiment Infrastructure: More, Better, Faster Experimentation (Google KDD 2010)

應用技術 - 用戶識別

? ? ?瀏覽器插件/客戶端軟件/HTTP Cookie/Flash Cookie/本地用戶數據(如everCookie)/IP+UA/登陸帳號

? ? ?用戶識別技術新動向 - CookieMatching

應用技術 - 高性能檢索

計算模型

? ? ?觸發策略->過濾策略->初選策略->精選策略 (廣告量減少， 計算量增加)

網絡模型

? ? ?同步模型， 半異步模型， 全異步模型

? ? ?慢Query對系統吞吐量影響

? ? ? ? ? 產生原因： 攻擊行為， 實驗引入， 服務bug， 網絡抖動， 機器異常

? ? ? ? ? 監控處理： 比例波動檢測以確定原因；自我保護，超過閾值則終端； Cache結果； 簡化算法犧牲效果， 直接丟棄

索引模型

? ? ?廣告庫的邏輯結構

? ? ? ? ? 帳戶->計劃->推廣組->廣告

技術要求

? ? ? ? ? 實時性更新： 1s內生效， 高并發讀寫

? ? ? ? ? 高查詢性能： 查詢qps達到每秒100萬 - 1000萬

? ? ?技術方案需要

? ? ? ? ? 無鎖的并發模型

? ? ? ? ? 全內存的數據模型

? ? ?無鎖的并發模型

? ? ? ? ? COW(Copy on Write) 讀寫分離

? ? ? ? ? 延遲銷毀

索引擴展

? ? ?劃分： 數據均勻， 計算均勻， 計算重復， 數據重復，帶寬增長

? ? ?整體索引系統框架

系統要求

? ? ?高時效性;? 高容錯性 (實時檢索服務， 特征存儲服務， 數據推送服務);? 高實驗性;? 高一致性;? 高擴展性;? 高可用性

網盟廣告匹配算法

廣告投放

? ? ?按廣告主表達方式分類

? ? ? ? ? 1. 關鍵詞 (輸入)

? ? ? ? ? 2. 標簽(選擇)

? ? ? ? ? 3. 規則(輸入/選擇)

? ? ?按建模對象分類

? ? ? ? ? 1. 用戶維度 - 以Cookie為建模對象

? ? ? ? ? 2. 流量維度 - 以當前URL為建模對象

? ? ?其他分類維度

? ? ? ? ? 1. 時空維度：當前/歷史，長期/短期，地域

? ? ? ? ? 2. 優化目標：品牌，展現，點擊，轉化

? ? ? ? ? 3. 數據來源：搜索、瀏覽

廣告特點

? ? ?1. 低點擊率

? ? ?2. 低margin

? ? ?3. ROI難量化

? ? ?4.用戶體驗難量化

廣告檢索

廣告檢索漏斗模型

? ? ?1. 片段觸發;? 2. 相關性排序;? 3. 業務過濾;? 4. CPM排序; 5. 機制調整

? ? ?效果與性能的折中

片段觸發

片段來源: 1.? 當前網頁; 2.? 用戶歷史行為

? ? ?片段類型: 1.? 關鍵詞; ? 2. 用戶/流量標簽;? 3. 規則模板

相關性排序

? ? ?衡量匹配度:? 1. Term Match;? 2. Topic Match;? 3. Category Match

? ? ?相關性排序

? ? ? ? ? 綜合考慮各個匹配度的回歸模型

? ? ? ? ? 1. 人工語料標注

? ? ? ? ? 2. 模型訓練

? ? ? ? ? 3. 隨著語料規模的增加， 更多離散特征

? ? ? ? ? 4. 人工輔助規則（行業矩陣）

業務過濾

? ? ?地域過濾，時間過濾，預算過濾，IP過濾，站點過濾，創意優選

CPM排序

eCPM排序

? ? ? ? ? eCPM = bid * Q

? ? ? ? ? price_i = (bid_(i+1) * Q_(i+1)) / Q_i

機制調整

? ? ?過展現控制

? ? ?Hidden Cost

? ? ? ? ? 廣告對用戶/站點體驗的傷害

? ? ? ? ? 對排名CPM調整 CPM = (Bid - HC) * Q

? ? ? ? ? 對計費進行調整 Price = CPM(next) / Q + HC

頁面特征提取

? ? ?基礎特征提取

? ? ? ? ? 頁面結構特征

? ? ? ? ? Refer Query提詞

? ? ? ? ? 站點頻道提詞

? ? ? ? ? 流量質量劃分

? ? ? ? ? 頁面主題分類

? ? ?Term賦權

? ? ? ? ? 統計維度：基本的TF*IDF賦權方式

? ? ? ? ? 結構維度：網頁結構角度，主要是Term的位置

? ? ? ? ? 語義維度：從語義角度理解網頁，利用篇章主題校驗

? ? ? ? ? 廣告庫維度：關鍵詞的購買信息

用戶特征提取

? ? ?歷史Query特征

? ? ? ? ? 拍賣詞包含匹配算法

? ? ? ? ? 切詞/專名邊界校驗

? ? ? ? ? 語義相關性校驗

? ? ? ? ? Query分類

? ? ?歷史瀏覽特征

? ? ? ? ? 網頁關鍵詞提取

? ? ? ? ? 網頁分類特征

? ? ? ? ? 歷史廣告點擊

? ? ? ? ? 歷史瀏覽頁面模板

? ? ?用戶分類特征

? ? ? ? ? 特征提取

? ? ? ? ? ? ? ?Query關鍵詞

? ? ? ? ? ? ? ?Query分類

? ? ? ? ? ? ? ?站點

? ? ? ? ? ? ? ?頁面標題，目錄，主要區域

? ? ? ? ? ? ? ?頁面分類

? ? ? ? ? ? ? ?廣告點擊，廣告分類

? ? ? ? ? ? ? ?頻次，組合，時間衰減

? ? ? ? ? 規則模型

? ? ? ? ? ? ? ?特征挖掘

? ? ? ? ? ? ? ?人工評估

? ? ? ? ? ? ? ?決策樹

? ? ? ? ? 機器學習模型

? ? ? ? ? ? ? ?語料凈化（先驗語料，廣告點擊語料）

? ? ? ? ? ? ? ?特征選擇

? ? ? ? ? ? ? ?模型構建（分類模型，lookalike，推薦模型）

? ? ? ? ? ? ? ?效果評估

? ? ?時效性

? ? ?用戶體驗

? ? ? ? ? 用戶體驗

? ? ? ? ? ? ? ?單調性（連續展現）

? ? ? ? ? ? ? ?醒目度（多媒體多廣告位）

? ? ? ? ? ? ? ?敏感性（涉及敏感行業關鍵詞）

? ? ? ? ? 用戶反饋

? ? ? ? ? ? ? ?興趣

? ? ? ? ? ? ? ?廣告

? ? ?Session特征分析 (連續用戶行為)

? ? ? ? ? 關鍵詞提取修正：如：魔獸寶寶->寶寶

? ? ? ? ? 意圖識別： 購買/維修/查詢

? ? ? ? ? 語義擴展

廣告特征提取

? ? ?拍賣詞特征

? ? ? ? ? 結構分析

? ? ? ? ? Term賦權

? ? ?創意特征

? ? ? ? ? 文本創意 - 飄紅， 關鍵詞，長度

? ? ? ? ? 多媒體創意 - 顏色，形狀，大小，語義

? ? ?到達頁特征

? ? ? ? ? 網頁分析

? ? ? ? ? 頁面主題

? ? ? ? ? 轉化頁/咨詢頁

? ? ?廣告特征應用

? ? ? ? ? 廣告分類 - 行業，敏感，欺詐

? ? ? ? ? 不相關提詞挖掘

? ? ? ? ? 相關性匹配

廣告CTR 預估問題

CTR預估要解決的問題

CTR預估問題的挑戰

? ? ?挑戰1 - 數據

? ? ? ? ? 海量數據

? ? ? ? ? ? ? ?訓練樣本：每天上億級別的訪問量

? ? ? ? ? ? ? ?特征類型復雜：廣告，用戶，流量，季節，節假日等

? ? ? ? ? 點擊率偏低

? ? ? ? ? 噪音數據多

? ? ? ? ? 問題：海量 數據，高維特征，類別極端不平衡，噪音大

? ? ?挑戰2 - 時效性

? ? ? ? ? CTR隨時間改變 - 季節，興趣

? ? ? ? ? bad case快速下線 ?新廣告， 新網站迭代調優

方法

? ? ? ? ? ? ? ?在線算法

? ? ? ? ? ? ? ?移動時間窗口的Batch算法

? ? ?挑戰3 - Exploration

? ? ? ? ? CTR預估決定未來訓練樣本中的廣告

? ? ? ? ? Exploration/Exploitation trade-off

? ? ? ? ? 長期收益 vs 短期收益

從機器學習角度看CTR預估問題

CTR預估問題的訓練流程

CTR預估問題的機器學習算法

特征

? ? ?1. 主要特征

? ? ? ? ? 用戶，流量廣告

? ? ?2. 特征類型

? ? ? ? ? 類別型特征 categorical features

? ? ? ? ? 連續值特征

? ? ?3. 特征表示

? ? ? ? ? 使用one-hot編碼

? ? ? ? ? 使用特征外積表示特征組合

? ? ? ? ? 特征維數表示類別個數和，特征個數海量

特征選擇

? ? ?1. Filter類

? ? ? ? ? 單特征AUC,?單特征AUC上界, gini指數，信息熵，點擊直方圖

? ? ?2. Wrapper類

? ? ? ? ? AUC, AUC上界，MAE, WMAE, 似然Loss, 預估CTR均值，預估CTR方差

? ? ?3. embedding類

? ? ? ? ? L1正則化 Grafting分 Foba分

數據

數據來源

? ? ? ? ? 展現日志，點擊日志， 用戶搜索日志等

數據處理

? ? ? ? ? 日志拼接，不全日志刪除

數據凈化

? ? ? ? ? 異常數據過濾 (去除噪音， 比如作弊數據)

? ? ? ? ? 不可見日志刪除

模型

? ? ?線性邏輯回歸模型

參數估計

? ? ? ? ? 最大似然

? ? ? ? ? 基于擬牛頓迭代計算

模型訓練

? ? ?分布式并行計算

? ? ? ? ? MPI (Message Passing Interface) 基于進程通信的計算模型， 適合模型訓練

? ? ? ? ? Hadoop： 基于Map-Reduce超大數據量并發計算， 適合數據預處理

模型更新

? ? ? ? ? 每過一定周期，重新訓練模型

? ? ? ? ? 模型在線實時更新

評估系統

線上評估

? ? ? ? ? 通過流量對比，觀察收入各項指標的影響，包括CTR, CPM, ACP, 到達， 二跳

線下評估

? ? ? ? ? 類別不平衡

? ? ? ? ? ? ? ?模型排序能力： AUC

? ? ? ? ? ? ? ?模型擬合能力： 對數擬然

大規模分布式機器學習算法

? ? ?特征編碼及選擇

數據凈化

? ? ?大規模分布式訓練

? ? ?線上線下效果評估



總結

以上是生活随笔為你收集整理的百度计算广告学沙龙学习笔记 - 内容匹配广告的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。