數倉 DW層中主題表之頁面交互事件概況主題(分享,點贊,收藏)
1. 背景
在大數據開發中,本身的數據處理分析目的一般就是2類,一個是基于現有數據找出規律,做總結和分類統計。一個是基于現有數據找出規律,然后訓練出模型,最后預測未來變化。
- 前者就是傳統的大數據分析和處理
- 后者就是近幾年火起來的機器學習
大數據處理中,數據來源一般是三大類,爬蟲數據,行為日志埋點數據,業務數據。當然特殊場合還會有購買來的線程數據。行為日志數據中,顧名思義,一般就是對用戶行為記錄的數據,由于目前都是互聯網迭代敏捷開發,一個功能出現后,并不能很好確定對業務和業績帶來的變化是正面還是負面,以及影響程度。這時候就可以從行為日志中對一些基本指標做統計,從側面來評估一個功能或者頁面,或者流程對現有用戶和業務業績的影響。贊,轉,踩,收藏,很常見的四個指標,互聯網需求開發中會經常遇到。本文就是解析基于行為日志數據對這幾個指標做統計分析
2. 分享
分享的行為日志模擬數據
{"account":"","appId":"cn.doitedu.app1","appVersion":"3.4","carrier":"中國移動","deviceId":"8QEmr7ljihxQ","deviceType":"GALAXY-2","eventId":"share","ip":"237.104.179.108","latitude":26.48286080225125,"longitude":106.05814604570286,"netType":"3G","osName":"android","osVersion":"6.5","properties":{"pageId":"301","productId":"888","shareMethod":"qq空間","title":"PhT KoH yhG","url":"ril/wkL"},"releaseChannel":"檸檬助手","resolution":"1024*768","sessionId":"OQSWOhT8WsC","timeStamp":1602063077854}
需要的指標數據統計思路
- 因為數據是每天產生的,所以每日滾動做分析,按照日期做分區存儲,這個指標沒問題
- 商品品類,商品品牌,所在頁面,所述欄目,分享平臺都是現成的上報字段,直接獲取即可
- 時段,這里需要確定一下口徑,本文以時間向下取整,計算出所述的小時時段
- 設備類型,也是現成指標,但這里需要確定設備類型是大類型還是小類型(手機、平板;抑或是安卓,ios手機;抑或是精確到 手機品牌?)
- 分享次數,顧名思義,就是統計eventId是share類型的數據條數
- 分享人數,這里需要count時,基于guid進行distinct統計
綜上,無法一次性拿到所有指標,所以分2部分獲取,一部分直接拿對應的指標,并按照對應字段做group by統計。注意加上guid作為group by字段;另外一部分直接計算分享次數,分享人數等統計
3. 點贊
點贊的行為日志模擬數據
{"account":"wWRAho9y","appId":"cn.doitedu.app1","appVersion":"3.4","carrier":"騰訊移動","deviceId":"8MHvYuyzpkYB","deviceType":"MI-10","eventId":"thumbup","ip":"71.108.129.236","latitude":28.223969803957008,"longitude":106.58697132089286,"netType":"WIFI","osName":"android","osVersion":"8.0","properties":{"pageId":"744","productId":"215","title":"lAW cLb jmC","url":"Mat/akI"},"releaseChannel":"小米應用商店","resolution":"1024*768","sessionId":"zJ6FB9XqKQw","timeStamp":1602063084875}
需要的指標
分析思路,和上述分享是一樣的
4. 收藏
收藏的行為日志模擬數據
{"account":"OojqS36Vk","appId":"cn.doitedu.app1","appVersion":"4.0","carrier":"中國移動","deviceId":"5hZaxgYv2Vdp","deviceType":"REDMI-6","eventId":"collect","ip":"228.241.223.115","latitude":34.344448280621755,"longitude":105.58117092708984,"netType":"WIFI","osName":"android","osVersion":"7.5","properties":{"pageId":"890","productId":"959","title":"Baa kvn sIi","url":"rQY/iFa"},"releaseChannel":"拇指玩","resolution":"1024*768","sessionId":"6xyR0rGoA0Y","timeStamp":1602063085415}
所需要指標分析思路,和分享是一樣的解決思路
總結
以上是生活随笔為你收集整理的数仓 DW层中主题表之页面交互事件概况主题(分享,点赞,收藏)的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。