1、聚類

算相似人群的時(shí)候會(huì)根據(jù)人的特征進(jìn)行聚類或者相似度計(jì)算，scala kmeans代碼如下所示:

2 、HashLSH計(jì)算

三、信用評(píng)分模型構(gòu)建

四、一些創(chuàng)建hive 表以及寫入數(shù)據(jù)的sql（主要掌握hive的一些窗口函數(shù)，如case..when , row number, collect_set.....）

簡(jiǎn)單的寫幾個(gè)如下所示：

以及每個(gè)維度畫像標(biāo)簽有一個(gè)表或者多個(gè)表，最終需要把不同維度的表合成一個(gè)寬表，如下所示：

五、hive數(shù)據(jù)寫入到ES

ES與其它庫(kù)的區(qū)別:

? ? ?幾十億用戶下, 根據(jù)不同維度查詢 達(dá)到秒級(jí) ?——> hbase-實(shí)時(shí)查詢但是聚合沒法做的 ?es

? ? ?在線計(jì)算 ?－－> ES ?查詢速度快，穩(wěn)定性 ?每天數(shù)據(jù)更新

? ? ?hive、spark sql、impala、presto －－延遲比較大

? ? ES不適合做關(guān)聯(lián)－主要是方便查詢,檢索 es? ? ?很消耗內(nèi)存

? ? 關(guān)聯(lián)適合離線 hive? ? ? 更多占用硬盤數(shù)據(jù)相比內(nèi)存便宜很多

總結(jié)

以上是生活随笔為你收集整理的用户画像－撸一部分代码啊的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。