埋点技术:“呵呵,你在网上的一举一动,都在我眼皮子底下”
🍅 作者主頁:不吃西紅柿?
🍅 簡介:CSDN博客專家 & 總榜前十🏆、HDZ核心組成員。歡迎點贊、收藏、評論
🍅 粉絲專屬福利:知識體系、面試題庫、技術互助、簡歷模板。文末公眾號領取
1、什么是埋點
埋點又稱為事件追蹤(Event Tracking),指的是針對特定用戶行為或流程事件進行捕獲,處理和發送的相關技術及其實施過程。
埋點為優化產品和運營決策提供數據支撐,幾乎每個企業、每個app都需要用到埋點技術。
-
功能方面:埋點是用來收集用戶行為數據。比如想要了解一個用戶在APP里面點擊了哪些按鈕,看了哪些頁面,做了哪些事情等,就可以通過埋點來實現。
-
實現方面:埋點就是通過植入一段代碼到某個頁面或某個按鈕,從而監聽用戶行為并進行收集上報。
2、埋點基本流程
一般來說,需要這樣的流程:
運營人員提出埋點和指標需求
埋點研發進行埋點,收集和存儲數據
數據倉庫人員進行數據清洗、提供數據指標
運營根據數據指標,調整業務流程和運營策略
【埋點采集】通過部署埋點,收集數據
【數據傳輸】將埋點收集到的數據,進行傳輸
-
實時傳輸:flume > kafka > db
-
離線批量傳輸:jdbc > db
【數據存儲】定義數據存儲的庫
-
數據量較小建議采用mysql,oracle等關系型數據庫;
-
數據量較大,建議采用hive,hbase等分布式數據庫。定義好數據存儲的表結構,屬性盡可能采集全面。
【數據清洗】一般為數據倉庫開發人員進行數據ELT
【數據應用】業務運營人員驗證和使用數據
3、埋點采集
3.1 埋點范圍
根據業務人員的需求,選取可以衡量需求效果的數據指標,比如頁面瀏覽量,頁面轉化率,訪問人數,訪問頻次分布等等。明確需要收集哪些維度的數據,按需選擇性埋點。
3.2 埋點事件
我們可以對一條業務流程中涉及到的各種操作進行事件埋點,用于了解該業務各操作流程的用戶流失率,轉化率等情況。通常包括但不限于以下事件:
-
頁面事件:用戶訪問頁面的信息,比如可以通過頁面埋點統計頁面瀏覽量(PV),或收集該頁面上的接口;
-
點擊事件:用戶在頁面的點擊行為,比如想要收集用戶點擊搜索按鈕時,填入了哪些關鍵字,就可以在搜索按鈕上埋一個點擊事件,通過字段keywords上報的值實現分析關鍵字的目的;
3.3 采集內容
埋點時需要盡可能全面的采集數據,主要包括以下信息:
-
用戶基本信息:描述用戶的基本屬性信息,包括用戶ID,性別,運營商,設備類型等
-
時間信息:事件發生的時間
-
行為信息:用戶做了哪些行為,比如點擊行為,瀏覽行為等
-
行為對象信息:用戶的行為作用在哪些對象上,比如點擊按鈕A,瀏覽頁面B,那么A,B就是用戶行為作用對象
另外,也可以從4w1h(who,when,where,what,how)五個維度來劃分埋點屬性
3.4 選擇埋點方式
選擇后端埋點還是前端埋點
比如像點擊、瀏覽、曝光這些行為便可以用前端埋點,主要是發生在用戶與界面的交互;如果是電商中要統計下單成功這個事件,客戶端是沒有辦法知道訂單是否成功的。
如果統計的事件里有需要用到后端的數據,也是要進行后端埋點的。
3.5 埋點事件的格式
一般一條埋點數據需要記錄:事件ID、事件名(英文名、中文解釋)、事件屬性(屬性英文名、中文解釋、屬性類型)、埋點形式(前端/后端)、事件觸發時機(什么時候投遞這個事件)
3.6 埋點報文
報文(message)是網絡中交換與傳輸的數據單元,即站點一次性要發送的數據塊。
報文包含了將要發送的完整的數據信息,其長短很不一致,長度不限且可變。簡單來說就是用戶在App內有一個操作行為,就會上報一組帶有數據的字段。這些字段組成一個報文。
4、數據存儲
4.1 存儲方式
根據埋點數據量和現有平臺選擇一種最合適的存儲方式。
-
Mysql: 使用于數據量較小,優點讀寫方便
-
ES:現有埋點方案中,阿里日志系統,通過ES查詢埋點結果
-
Hbase:適合數據量較大,可考慮使用現有hbase集群。
4.2 存儲頻率
采用【定時】+【定量】的方式,保證數據時效性和數據平滑處理。
-
定時:周期觸發,進行存儲。避免當數據量較小時很長一段時間不存儲。
-
定量:設置閾值,當數據量達到一定量(1k)即進行存儲
-
程序退出:某用戶退出登錄時,需立馬進行存儲
5、埋點數據清洗
1、將埋點數據接入到數據倉庫(離線或者實時);
2、數據建模進行數據建模和數據清洗,過濾掉臟數據,最終產出數據指標;
3、數據指標通過數據報表、郵件、api等方式對外輸出。
6、埋點數據應用
常見埋點分析指標:訪問數、訪客數、停留時長、頁面瀏覽數、跳出率、轉化率。
這些數據指標為運營人員提供了決策依據,幫助其不斷調整優化運營政策、業務流程,從而達到最佳效果。
?
添加公眾號「信息技術智庫」:
🍅 硬核資料:20G,8大類資料,關注即可領取(PPT模板、簡歷模板、技術資料)
🍅 技術互助:技術群大佬指點迷津,你的問題可能不是問題,求資源在群里喊一聲。
🍅 面試題庫:由各個技術群小伙伴們共同投稿,熱乎的大廠面試真題,持續更新中。
🍅 知識體系:含編程語言、算法、大數據生態圈組件(Mysql、Hive、Spark、Flink)、數據倉庫、前端等。
👇👇送書抽獎丨技術互助丨粉絲福利👇👇
總結
以上是生活随笔為你收集整理的埋点技术:“呵呵,你在网上的一举一动,都在我眼皮子底下”的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据倾斜?几招把你安排的板板正正的!
- 下一篇: 瓦片地图与geoserver发布