埋点技术:“呵呵,你在网上的一举一动,都在我眼皮子底下”
🍅 作者主頁:不吃西紅柿?
🍅 簡介:CSDN博客專家 & 總榜前十🏆、HDZ核心組成員。歡迎點(diǎn)贊、收藏、評(píng)論
🍅 粉絲專屬福利:知識(shí)體系、面試題庫、技術(shù)互助、簡歷模板。文末公眾號(hào)領(lǐng)取
1、什么是埋點(diǎn)
埋點(diǎn)又稱為事件追蹤(Event Tracking),指的是針對(duì)特定用戶行為或流程事件進(jìn)行捕獲,處理和發(fā)送的相關(guān)技術(shù)及其實(shí)施過程。
埋點(diǎn)為優(yōu)化產(chǎn)品和運(yùn)營決策提供數(shù)據(jù)支撐,幾乎每個(gè)企業(yè)、每個(gè)app都需要用到埋點(diǎn)技術(shù)。
-
功能方面:埋點(diǎn)是用來收集用戶行為數(shù)據(jù)。比如想要了解一個(gè)用戶在APP里面點(diǎn)擊了哪些按鈕,看了哪些頁面,做了哪些事情等,就可以通過埋點(diǎn)來實(shí)現(xiàn)。
-
實(shí)現(xiàn)方面:埋點(diǎn)就是通過植入一段代碼到某個(gè)頁面或某個(gè)按鈕,從而監(jiān)聽用戶行為并進(jìn)行收集上報(bào)。
2、埋點(diǎn)基本流程
一般來說,需要這樣的流程:
運(yùn)營人員提出埋點(diǎn)和指標(biāo)需求
埋點(diǎn)研發(fā)進(jìn)行埋點(diǎn),收集和存儲(chǔ)數(shù)據(jù)
數(shù)據(jù)倉庫人員進(jìn)行數(shù)據(jù)清洗、提供數(shù)據(jù)指標(biāo)
運(yùn)營根據(jù)數(shù)據(jù)指標(biāo),調(diào)整業(yè)務(wù)流程和運(yùn)營策略
【埋點(diǎn)采集】通過部署埋點(diǎn),收集數(shù)據(jù)
【數(shù)據(jù)傳輸】將埋點(diǎn)收集到的數(shù)據(jù),進(jìn)行傳輸
-
實(shí)時(shí)傳輸:flume > kafka > db
-
離線批量傳輸:jdbc > db
【數(shù)據(jù)存儲(chǔ)】定義數(shù)據(jù)存儲(chǔ)的庫
-
數(shù)據(jù)量較小建議采用mysql,oracle等關(guān)系型數(shù)據(jù)庫;
-
數(shù)據(jù)量較大,建議采用hive,hbase等分布式數(shù)據(jù)庫。定義好數(shù)據(jù)存儲(chǔ)的表結(jié)構(gòu),屬性盡可能采集全面。
【數(shù)據(jù)清洗】一般為數(shù)據(jù)倉庫開發(fā)人員進(jìn)行數(shù)據(jù)ELT
【數(shù)據(jù)應(yīng)用】業(yè)務(wù)運(yùn)營人員驗(yàn)證和使用數(shù)據(jù)
3、埋點(diǎn)采集
3.1 埋點(diǎn)范圍
根據(jù)業(yè)務(wù)人員的需求,選取可以衡量需求效果的數(shù)據(jù)指標(biāo),比如頁面瀏覽量,頁面轉(zhuǎn)化率,訪問人數(shù),訪問頻次分布等等。明確需要收集哪些維度的數(shù)據(jù),按需選擇性埋點(diǎn)。
3.2 埋點(diǎn)事件
我們可以對(duì)一條業(yè)務(wù)流程中涉及到的各種操作進(jìn)行事件埋點(diǎn),用于了解該業(yè)務(wù)各操作流程的用戶流失率,轉(zhuǎn)化率等情況。通常包括但不限于以下事件:
-
頁面事件:用戶訪問頁面的信息,比如可以通過頁面埋點(diǎn)統(tǒng)計(jì)頁面瀏覽量(PV),或收集該頁面上的接口;
-
點(diǎn)擊事件:用戶在頁面的點(diǎn)擊行為,比如想要收集用戶點(diǎn)擊搜索按鈕時(shí),填入了哪些關(guān)鍵字,就可以在搜索按鈕上埋一個(gè)點(diǎn)擊事件,通過字段keywords上報(bào)的值實(shí)現(xiàn)分析關(guān)鍵字的目的;
3.3 采集內(nèi)容
埋點(diǎn)時(shí)需要盡可能全面的采集數(shù)據(jù),主要包括以下信息:
-
用戶基本信息:描述用戶的基本屬性信息,包括用戶ID,性別,運(yùn)營商,設(shè)備類型等
-
時(shí)間信息:事件發(fā)生的時(shí)間
-
行為信息:用戶做了哪些行為,比如點(diǎn)擊行為,瀏覽行為等
-
行為對(duì)象信息:用戶的行為作用在哪些對(duì)象上,比如點(diǎn)擊按鈕A,瀏覽頁面B,那么A,B就是用戶行為作用對(duì)象
另外,也可以從4w1h(who,when,where,what,how)五個(gè)維度來劃分埋點(diǎn)屬性
3.4 選擇埋點(diǎn)方式
選擇后端埋點(diǎn)還是前端埋點(diǎn)
比如像點(diǎn)擊、瀏覽、曝光這些行為便可以用前端埋點(diǎn),主要是發(fā)生在用戶與界面的交互;如果是電商中要統(tǒng)計(jì)下單成功這個(gè)事件,客戶端是沒有辦法知道訂單是否成功的。
如果統(tǒng)計(jì)的事件里有需要用到后端的數(shù)據(jù),也是要進(jìn)行后端埋點(diǎn)的。
3.5 埋點(diǎn)事件的格式
一般一條埋點(diǎn)數(shù)據(jù)需要記錄:事件ID、事件名(英文名、中文解釋)、事件屬性(屬性英文名、中文解釋、屬性類型)、埋點(diǎn)形式(前端/后端)、事件觸發(fā)時(shí)機(jī)(什么時(shí)候投遞這個(gè)事件)
3.6 埋點(diǎn)報(bào)文
報(bào)文(message)是網(wǎng)絡(luò)中交換與傳輸?shù)臄?shù)據(jù)單元,即站點(diǎn)一次性要發(fā)送的數(shù)據(jù)塊。
報(bào)文包含了將要發(fā)送的完整的數(shù)據(jù)信息,其長短很不一致,長度不限且可變。簡單來說就是用戶在App內(nèi)有一個(gè)操作行為,就會(huì)上報(bào)一組帶有數(shù)據(jù)的字段。這些字段組成一個(gè)報(bào)文。
4、數(shù)據(jù)存儲(chǔ)
4.1 存儲(chǔ)方式
根據(jù)埋點(diǎn)數(shù)據(jù)量和現(xiàn)有平臺(tái)選擇一種最合適的存儲(chǔ)方式。
-
Mysql: 使用于數(shù)據(jù)量較小,優(yōu)點(diǎn)讀寫方便
-
ES:現(xiàn)有埋點(diǎn)方案中,阿里日志系統(tǒng),通過ES查詢埋點(diǎn)結(jié)果
-
Hbase:適合數(shù)據(jù)量較大,可考慮使用現(xiàn)有hbase集群。
4.2 存儲(chǔ)頻率
采用【定時(shí)】+【定量】的方式,保證數(shù)據(jù)時(shí)效性和數(shù)據(jù)平滑處理。
-
定時(shí):周期觸發(fā),進(jìn)行存儲(chǔ)。避免當(dāng)數(shù)據(jù)量較小時(shí)很長一段時(shí)間不存儲(chǔ)。
-
定量:設(shè)置閾值,當(dāng)數(shù)據(jù)量達(dá)到一定量(1k)即進(jìn)行存儲(chǔ)
-
程序退出:某用戶退出登錄時(shí),需立馬進(jìn)行存儲(chǔ)
5、埋點(diǎn)數(shù)據(jù)清洗
1、將埋點(diǎn)數(shù)據(jù)接入到數(shù)據(jù)倉庫(離線或者實(shí)時(shí));
2、數(shù)據(jù)建模進(jìn)行數(shù)據(jù)建模和數(shù)據(jù)清洗,過濾掉臟數(shù)據(jù),最終產(chǎn)出數(shù)據(jù)指標(biāo);
3、數(shù)據(jù)指標(biāo)通過數(shù)據(jù)報(bào)表、郵件、api等方式對(duì)外輸出。
6、埋點(diǎn)數(shù)據(jù)應(yīng)用
常見埋點(diǎn)分析指標(biāo):訪問數(shù)、訪客數(shù)、停留時(shí)長、頁面瀏覽數(shù)、跳出率、轉(zhuǎn)化率。
這些數(shù)據(jù)指標(biāo)為運(yùn)營人員提供了決策依據(jù),幫助其不斷調(diào)整優(yōu)化運(yùn)營政策、業(yè)務(wù)流程,從而達(dá)到最佳效果。
?
添加公眾號(hào)「信息技術(shù)智庫」:
🍅 硬核資料:20G,8大類資料,關(guān)注即可領(lǐng)取(PPT模板、簡歷模板、技術(shù)資料)
🍅 技術(shù)互助:技術(shù)群大佬指點(diǎn)迷津,你的問題可能不是問題,求資源在群里喊一聲。
🍅 面試題庫:由各個(gè)技術(shù)群小伙伴們共同投稿,熱乎的大廠面試真題,持續(xù)更新中。
🍅 知識(shí)體系:含編程語言、算法、大數(shù)據(jù)生態(tài)圈組件(Mysql、Hive、Spark、Flink)、數(shù)據(jù)倉庫、前端等。
👇👇送書抽獎(jiǎng)丨技術(shù)互助丨粉絲福利👇👇
總結(jié)
以上是生活随笔為你收集整理的埋点技术:“呵呵,你在网上的一举一动,都在我眼皮子底下”的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数据倾斜?几招把你安排的板板正正的!
- 下一篇: 瓦片地图与geoserver发布