9月26日下午，愛奇藝技術產(chǎn)品團隊舉辦了第19期“i技術會”，本次技術會的主題是“數(shù)據(jù)治理探索與應用”，來自快手、美團、快看的幾位資深專家同大家就相關議題進行了深入探討。

愛奇藝研究員杜益凡分享了題為《愛奇藝埋點投遞治理實踐》的內容。分享從埋點的定義、規(guī)范以及數(shù)據(jù)質量要求開始，介紹了愛奇藝在治理埋點數(shù)據(jù)、提高埋點數(shù)據(jù)質量工作中的一些實踐經(jīng)驗。

福利!!!?關注公眾號，在后臺回復關鍵詞“數(shù)據(jù)治理”，就可以獲得本次i技術會嘉賓分享PPT和錄播視頻。

以下為“《愛奇藝埋點投遞治理實踐》”干貨分享，根據(jù)【i技術會】演講整理成文。

01

什么是埋點

埋點在愛奇藝內部習慣被稱為Pingback，其本質是對事件的描述，在得到用戶允許的情況下，在一些特定過程中收集行為數(shù)據(jù)，來研究對象的使用狀況，為后續(xù)的優(yōu)化和運營策略提供數(shù)據(jù)支撐。

在愛奇藝最常見的埋點場景是在播放環(huán)節(jié)，例如在視頻“開始播放”以及“快進”“快退”這三種行為上做埋點，來獲取一個視頻具體的播放情況，進而了解用戶更喜歡看哪個片斷。很明顯，如果某個片斷用戶不喜歡看，相應的快進會比較多，如果某個片斷被拖回來次數(shù)比較多，說明用戶喜歡看這個片斷，這樣可以評估內容具體的質量，給后續(xù)的內容策略做一些數(shù)據(jù)支撐。?

再比如在播放卡頓的時候增加埋點，來探測具體視頻播放的卡頓情況，就可以了解用戶在實際播放這個視頻的時候性能觀感如何，這樣可以給網(wǎng)絡優(yōu)化以及播放器性能優(yōu)化提供很好的數(shù)據(jù)支持。? ?

埋點主要的組成要素是什么？

首先對于埋點來說很重要的一個因素是時機，因為時機選擇的好與壞和它定義的是否清晰直接影響了它所要研究事件的數(shù)據(jù)準確性。比如剛才說的開始播放，如果要探查一個視頻真正起播的數(shù)據(jù)情況，一旦把時機錯誤的選擇在用戶進入播放器就開始發(fā)送真正起播，那么這樣的埋點就會導致在計算視頻播放量的時候把廣告誤計進來。正確的操作是在視頻真正開始播放第一幀的時候發(fā)出來，這樣才是視頻的起播量，而不受廣告播放的影響。

為什么要治理埋點？

主要有四個方面：整體規(guī)劃、維護管理、質量保障、業(yè)務價值。

隨著的業(yè)務的發(fā)展，先期可能沒有意識到對于埋點需要統(tǒng)一的定義規(guī)劃，導致在業(yè)務發(fā)展大了之后埋點的數(shù)據(jù)使用難度大。比如跨業(yè)務的情況，同樣是展示事件，A業(yè)務定義的是一種規(guī)范，B業(yè)務定義是另外一種規(guī)范，但需要對整個公司分析的時候就無法使用統(tǒng)一的規(guī)則去進行分析，這樣跨業(yè)務打通很困難。

另外缺乏整體規(guī)劃，后期的埋點會泛濫，無用埋點會很多，造成資源浪費，維護成本也高。同時如果缺少質量標準，埋點的故障非常多，錯誤數(shù)據(jù)非常多，數(shù)據(jù)信任度比較低。這樣數(shù)據(jù)的業(yè)務價值無法很好地體現(xiàn)，沒有正常產(chǎn)生應有的業(yè)務價值，浪費計算存儲和開發(fā)資源。

要解決這些問題，需要把埋點治理好。要建立統(tǒng)一的埋點規(guī)范，并把現(xiàn)有的存量埋點進行梳理，把定義比較糟糕的埋點升級成新規(guī)范的埋點，并且把舊埋點下線，節(jié)省資源消耗和降低維護成本。同時建立流程和質量規(guī)范，提高埋點數(shù)據(jù)質量，同時也降低埋點數(shù)據(jù)的接入門檻，提高整體效率。

02

如何治理埋點

治理最大的挑戰(zhàn)是落地，因為歷史慣性總是很強的，歷史存量埋點非常繁雜，梳理的成本就會很高，切換的成本也會很高，落地就是個巨大的考驗。

在業(yè)務真正使用數(shù)據(jù)之前，對于切換埋點這件事情投入資源的動力是不足的，因為它的產(chǎn)出價值無法立刻體現(xiàn)，所以要把埋點治理這件事更好的落地，需要強有力的組織，去確保這個事情能夠被很好的推進。

此外還需要一個很好的方法論，讓治理達到很好的效果。同時依靠組織和方法論來制定一個新的、合理的流程。使整個規(guī)劃可以順利的進行落地。為了支持這樣一個流程和整個規(guī)范管理，需要建立一套支撐的工具平臺，助力治理的落地。

從組織與專項來看，為了讓數(shù)據(jù)從公司策略角度發(fā)揮更大的價值，需要成立數(shù)據(jù)委員會，數(shù)據(jù)委員會是從整個公司策略的角度考慮來制定數(shù)據(jù)工作的方向和目標。這些規(guī)劃和流程具體的實施是由業(yè)務數(shù)據(jù)BP組去執(zhí)行，業(yè)務數(shù)據(jù)BP組主要由各個業(yè)務具體的產(chǎn)品以及項目組成，對具體規(guī)劃的執(zhí)行落地負責。工作組會定期的跟蹤具體的執(zhí)行情況，然后再向數(shù)據(jù)委員會匯報執(zhí)行的具體成果，數(shù)據(jù)委員會會考核此項治理的具體運轉情況。由這樣的一個組織就具體運作埋點治理的專項，讓具體埋點治理能夠具體落地。

為此制定整個埋點投遞體系，首先制定好埋點規(guī)范，這是最基礎的一個方法論，由埋點規(guī)范去指導埋點平臺該如何去建立，再根據(jù)埋點規(guī)范開發(fā)出埋點SDK，來助力具體的業(yè)務開發(fā)。埋點平臺是對埋點SDK有一個控制策略的，可以控制埋點SDK具體能發(fā)出哪些投遞。埋點SDK主要發(fā)出的投遞進入收集服務，測試數(shù)據(jù)進入測試平臺，其它的直接進入ETL處理，測試平臺是在測試階段使用的，以保證埋點質量，灰度監(jiān)測是灰度階段使用，從線上數(shù)據(jù)中抽取灰度用戶的投遞數(shù)據(jù)，對它的投遞情況進行質量監(jiān)測。數(shù)據(jù)質量平臺就是之前彭濤老師在《愛奇藝數(shù)據(jù)質量監(jiān)控的探索和實踐》所講的數(shù)據(jù)質量的產(chǎn)品化的結果，它會接收灰度策略、測試平臺的結果，同時給灰度監(jiān)測提供規(guī)則引擎的服務。

數(shù)據(jù)質量平臺除了對灰度、測試階段起作用，還在上線之后的線上監(jiān)控起作用，會檢測整個埋點在線上的數(shù)據(jù)質量情況。最終數(shù)據(jù)質量沒有問題的情況下會進入統(tǒng)一數(shù)據(jù)倉庫，來給上層提供服務，如果有問題會對數(shù)據(jù)生產(chǎn)流程進行攔截。

我們對存量埋點進行梳理，從中歸納了7大類核心的事件，把核心事件的定義進行了統(tǒng)一，同時對它的發(fā)送時機也進行統(tǒng)一，避免各個業(yè)務有不一樣的發(fā)送時機，這樣讓整個數(shù)據(jù)統(tǒng)一，同時對核心事件的通用字段也做了統(tǒng)一，每個事件應該有哪些必發(fā)的字段、選發(fā)的字段，或者建議發(fā)的字段，都在埋點工具里面。

對字段進行全局的統(tǒng)一，因為在進行治理之前，同一個含義的內容可能出現(xiàn)兩種不同的字段定義。使用的時候不知道該用哪個字段，所以把整個存量的幾千個字段進行整體的梳理、合并并且剔除那些有歧義和重復字段之后得到幾百個字段，對字段進行統(tǒng)一命名，并把含義進行明確。

對于字典字段，進行統(tǒng)一的梳理，把重復和沖突的字典項剔除或者合并，對于一些核心的字典也進行統(tǒng)一的編碼。

另外對坐標進行統(tǒng)一，建立統(tǒng)一的坐標體系，使所有新坐標以及新坐標的編制有了很好的依據(jù)。

制定埋點質量體系，對于埋點數(shù)據(jù)更關注覆蓋率，需要衡量的事件都需要對其進行埋點，對于埋點信息要有完整性，不能漏收集信息，字段信息必須要完整而且準確。不能有漏發(fā)、多發(fā)，包括字段、埋點事件都不能有多發(fā)漏發(fā)，這樣才能保證完整性和準確率。

除了埋點發(fā)送，數(shù)據(jù)生產(chǎn)鏈路也是要有很好的監(jiān)控機制，或者說質量衡量機制，要保證一個生產(chǎn)鏈路的穩(wěn)定性和可靠性，它必須在合理的時間到達數(shù)倉能夠供下游使用。同時也要保證整個處理數(shù)據(jù)是比較可靠的情況，數(shù)據(jù)是沒有問題的。所以基于這兩塊，制定統(tǒng)一的校驗規(guī)則，在底層又有平臺支撐，這個平臺就是數(shù)據(jù)質量平臺。在此基礎上建立積分機制，對所發(fā)生的埋點問題建立定責定級機制，對具體的問題責任方進行積分的增加或者扣減的操作，這樣在每季度可以對具體業(yè)務的埋點治理執(zhí)行情況進行衡量。

我們對整個埋點的需求的新增也制定了一個流程，首先在產(chǎn)品的新需求規(guī)劃階段，會考慮這個需求是否會涉及到埋點，如果涉及到埋點就需要先通過埋點系統(tǒng)進行比較好的埋點設計，并把它落地在PRD里面。在需求系統(tǒng)提交需求的時候，如果設計了埋點，數(shù)據(jù)產(chǎn)品會對這個埋點進行復查，確定埋點是否合理，是否需要補充信息或者有多余的信息或者涉及錯漏的地方，確認無誤之后這項需求進入需求池，由開發(fā)團隊決定是否開發(fā)。

在開發(fā)階段具體開發(fā)會使用埋點SDK進行具體埋點需求的開發(fā)。到測試階段測試根據(jù)埋點規(guī)范中產(chǎn)出的測試用例以及使用埋點測試工具進行測試，最終產(chǎn)生的測試報告要同步給數(shù)據(jù)中臺的埋點治理團隊，進行審核，如果沒有問題才能繼續(xù)下一步的上線階段。上線階段首先經(jīng)過灰度，灰度過程中會通過灰度監(jiān)測評估這個版本的埋點質量，并出具灰度測試報告，沒有問題上線，上線之后通過數(shù)據(jù)質量平臺進行正常的數(shù)據(jù)監(jiān)測。

針對這些制定的規(guī)范和方法、流程，建立了埋點設計的工具。在這個工具中提供對事件的管理，把事件劃分成啟動、播放、展點、互動、閱讀和投屏這些事件，具體的核心事件中分了一些細的子事件：播放分開始播放、結束播放等展點分展示和點擊；閱讀有開始、結束閱讀，閱讀計時，對核心事件在工具中統(tǒng)一維護了時機的定義以及具體的事件描述以及這些事件默認的字段，就是具體的產(chǎn)品在勾選這些事件后會首先生成基礎的埋點規(guī)范，包含其中默認要投的字段，這些字段會在埋點SDK中包含自動的一個采集和發(fā)送。

QOS和自定義事件：這兩種事件自定義程度高，QOS事件偏重于開發(fā)對于性能的監(jiān)測，可能在前端也可能在后端，自定義事件更多的是臨時的產(chǎn)品的探測類事件。這些都是可以進行更加靈活的自定義處理。

字段和字典的管理：在全局字段庫中對字段名、中文含義以及具體的說明進行統(tǒng)一的維護，另外給字段打上標簽，是環(huán)境信息字段還是內容信息的字段，同時也給字段建立服務包。可能是一個字段屬于推薦服務所關注的服務包中，也可能是搜索類的可能放在搜索的服務包中，這樣的用戶在制定埋點規(guī)范的時候可以通過服務包或者通過標簽去更加方便的字段庫中檢索他所需要的字段。

字段庫同時維護了字典類型字段的字典，把字典統(tǒng)一維護，這樣用戶在埋點中選擇了這個字段后，字典直接可以被引用。

03

坐標管理

坐標的管理把頁面展示情況分為三個層次，最外層是頁面，頁面中可以包含多個區(qū)塊，比如左邊這個頁面焦點圖就是一個區(qū)塊，中間“猜你喜歡”也是個區(qū)塊，下面熱播也是區(qū)塊，區(qū)塊里面又包含不同內容，比如下面的熱播這部分在我截圖里面有四個內容，按照這個層次去組織的坐標信息。在埋點工具中進行維護，然后所有產(chǎn)品的定義都需要先把坐標錄入到埋點工具中去，錄入之后就可以在坐標上綁定具體的事件了。可以綁定展示點擊事件、具體互動事件，這樣可以更好的指導進行開發(fā)，這些事件綁定進來有默認字段，針對不同坐標，針對坐標設置個性化的字段。

坐標管理除了維護這些信息之外，同時也會去和APP后端服務進行交互，APP后端服務讀取具體坐標定義，才能給前端下發(fā)具體的展示內容，同時埋點收集、解析也會根據(jù)坐標管理中的信息來進行坐標過濾，如果沒有進行注冊的坐標是無法正確入庫。這樣對埋點質量進行衡量。

有了坐標+事件埋點定義可以解決很多問題，但對于某些細節(jié)的投遞有規(guī)范定義過寬的情況，比如熱播可能前兩個內容是編輯手動編輯的內容，后面有可能是個性化推薦內容，這樣前兩個坐標和后兩個坐標所要投遞的字段是不一樣的，在這類直接的事件綁定中，雖然可以綁定兩個不同的事件，但對于開發(fā)來說是比較疑惑的，所以引入了場景管理。

一個場景可能是一系列事件的組合，一個場景可能依次發(fā)生包括展示、點擊、播放，這樣細粒度的定義可以讓一個具體事件某些字段有確定值，以及這個事件的某個字段是否需要在這個場景下需要發(fā)送，就有很精細的定義。這樣可以更好的指導開發(fā)進行具體的業(yè)務開發(fā)。同時也可以更容易的生成一個測試校驗規(guī)則和測試用例。

所以場景管理可以向埋點質量監(jiān)測發(fā)送校驗規(guī)則，同時給測試平臺傳輸具體的測試用例以及校驗規(guī)則。這樣埋點質量監(jiān)控就可以根據(jù)校驗規(guī)則去生成具體質量校驗的結果，測試平臺也進而可以根據(jù)生成的場景測試用例生成具體的測試報告。

埋點投遞的開發(fā)是為了讓開發(fā)更多地去專注于所有開發(fā)的共有業(yè)務，而不用考慮這個埋點是如何構造和發(fā)送的，所以可以給各個不同端提供SDK，SDK首先把發(fā)送和構造全部包裝起來，這樣避免發(fā)送格式問題。

對于個性投遞需求可以在此基礎上進行擴展，把需要增加的字段和自定義字段取值給擴展，以擴展的形式注入進來。同時SDK會有云控的策略模塊，在有時發(fā)生埋點問題的時候可以緊急下線一些埋點。同時可以對具體某個字段是不是發(fā)送，需不需要連接進行控制。

埋點投遞測試平臺主要面向的用戶是具體的QA人員，這個平臺從剛才的埋點平臺中去取具體事件的校驗規(guī)則和字段的校驗規(guī)則，以及由場景管理所生成的場景測試用例來在測試階段進行功能的測試。數(shù)據(jù)源也有幾個方面，一方面根據(jù)測試用例所生成的自動化的測試執(zhí)行的腳本，這樣可以實現(xiàn)APP自動測試，同時也提供手動抓包的測試工具，在零散需要知道埋點投遞情況的時候提供有力的工具支持，在能看到抓包結果的同時就能看到這些具體埋點事件的質量檢測的結果。

04

灰度數(shù)據(jù)

灰度數(shù)據(jù)經(jīng)過灰度監(jiān)測平臺的計算也可以進入測試平臺，形成統(tǒng)一的測試報告。

數(shù)據(jù)質量平臺在埋點上主要關注事件的投遞量，來確認投遞量是否有問題，另外是重點字段的空值率、核心字段取值的分布，來評估是否新上的版本可能在某個部分存在bug之類；還有字段校驗規(guī)則的通過率，來評估沒有字典值的字段發(fā)送的質量情況；另外就是場景校驗的通過率，還有重要條件的數(shù)據(jù)量，其實就是一部分簡單的核心指標的監(jiān)測。

相關產(chǎn)出首先是報警，還有就是對于生產(chǎn)任務是否要進行攔截，或者對于灰度是否要進行攔截。

05

埋點升級流程

定義好了新的埋點規(guī)范，對于大存量的舊規(guī)范需要有一個升級的流程，所以說也制定了整個升級流程、埋點規(guī)范的升級流程，這個不管是對于現(xiàn)在存量的埋點治理還是對于未來有可能會發(fā)生的同一個事件的埋點規(guī)范的升級，都是有作用的。

首先就是要制定新的合理的埋點規(guī)范，把它錄入到埋點工具當中，然后在此過程中舊埋點先不下線，先讓開發(fā)把新的埋點加入進來，進行雙發(fā)，對雙發(fā)的數(shù)據(jù)進行數(shù)據(jù)驗證。首先是正常情況下數(shù)據(jù)對得上，或者比以前的數(shù)據(jù)更好，在數(shù)據(jù)更好的情況下，也要分析出來舊的埋點數(shù)據(jù)為什么不對，有什么問題，達到心中有數(shù)，才能確定雙發(fā)是否是通過的狀態(tài)。如果雙發(fā)通過后在統(tǒng)一數(shù)倉中對數(shù)據(jù)進行兼容，從某個版本之后開始有新的埋點數(shù)據(jù)，某個版本之前還是使用老的數(shù)據(jù)，會通知下游，如果是沒有使用統(tǒng)一數(shù)倉數(shù)據(jù)的下游，需要把他的消費遷移到統(tǒng)一數(shù)倉當中，遷移之后對老的埋點進行下線。

下線建立了埋點退出機制，對于埋點的事件和字段，通過數(shù)據(jù)圖譜來對其血緣進行分析，根據(jù)使用情況、質量情況，還有資源消耗情況以及最終是否產(chǎn)生應有的價值來對它的熱度進行評估。可以定期審查這樣的埋點事件的熱度或者字段的熱度，來決定一個埋點是否要下線或者說埋點中某個字段是否沒用了，應該要下線。如果決定要下線的埋點，可以先通過云控使它不再繼續(xù)發(fā)送，確定沒有問題之后可以在后續(xù)版本中把它的代碼、發(fā)送代碼直接給刪除。這樣先通過云控下線，萬一有問題可以方便的讓它繼續(xù)發(fā)送。

重中之重是數(shù)據(jù)安全的治理，《數(shù)據(jù)安全法》近期實施，隱私安全越來越受重視，對于新的埋點規(guī)則的審核以及存量埋點的定期的審查都是關注的重點，需要查看其中是否有不應該發(fā)的隱私信息，如果有要堅決去掉，堅決杜絕在埋點中有隱私的采集和傳輸。

數(shù)據(jù)安全，首先底層的數(shù)據(jù)是不對外開放的，所有對下游開放的是清洗處理之后的明細層，同時所有數(shù)據(jù)使用要經(jīng)過嚴格審批，而且審批的記錄都是要存檔并且定期審閱，數(shù)據(jù)使用記錄存檔并定期審閱。

愛奇藝2019年開始治理埋點，經(jīng)過這兩年的治理，埋點量整體減少了40%，資源消耗直接節(jié)省一半。同時通過新的埋點規(guī)范，業(yè)務的接入從過去一周的時間，降低到現(xiàn)在最多兩天時間就可以完成，同時故障量大幅的下降，整體達到了提效和降低成本的目的。

福利!!!?關注公眾號，在后臺回復關鍵詞“數(shù)據(jù)治理”，就可以獲得本次i技術會嘉賓分享PPT和錄播視頻。

看完心動了嗎？

戳👇“閱讀原文”直達招聘頁面

即刻加入愛奇藝！

也許你還想看

一切數(shù)據(jù)皆可配置：愛奇藝海外站的運營后臺設計實踐

愛奇藝x英特爾 “黑科技”讓你的 AI隔空手勢來了次“升級”

愛奇藝本地實時Cache方案愛奇藝數(shù)據(jù)質量監(jiān)控的探索和實踐

愛奇藝數(shù)據(jù)質量監(jiān)控的探索和實踐

?關注我們，更多精彩內容陪伴你！

總結

以上是生活随笔為你收集整理的爱奇艺埋点投递治理实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。