克拉克拉（KilaKila）是國(guó)內(nèi)專注二次元、主打年輕用戶的娛樂互動(dòng)內(nèi)容社區(qū)軟件。KilaKila 推出互動(dòng)語音直播、短視頻配音、對(duì)話小說等功能，滿足當(dāng)下年輕用戶個(gè)性化、碎片化的文娛需求。隨著業(yè)務(wù)規(guī)模增長(zhǎng)，海量數(shù)據(jù)存儲(chǔ)與計(jì)算的瓶頸也日益突出，由于單臺(tái)服務(wù)器的處理能力有限，海量數(shù)據(jù)的分析需要分布式計(jì)算模型。分布式的計(jì)算模型對(duì)數(shù)據(jù)分析人員要求較高且不易維護(hù)：數(shù)據(jù)分析人員不僅需要了解業(yè)務(wù)需求，同時(shí)還需要熟悉底層分布式計(jì)算模型。MaxCompute提供完善的數(shù)據(jù)導(dǎo)入方案以及多種經(jīng)典的分布式計(jì)算模型，可快速解決克拉克拉所面臨的海量數(shù)據(jù)的計(jì)算問題，有效降低企業(yè)成本并保障數(shù)據(jù)安全。對(duì)于使用方的我們不必關(guān)心分布式計(jì)算和維護(hù)細(xì)節(jié)便可輕松完成大數(shù)據(jù)分析，最終我們采用阿里云MaxCompute方案進(jìn)行數(shù)據(jù)上云。

一、數(shù)據(jù)上云

克拉克拉（KilaKila）數(shù)據(jù)源主要分為兩部分：1.結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)表（MySQL）；2.非結(jié)構(gòu)化用戶行為日志

??結(jié)構(gòu)化業(yè)務(wù)庫(kù)上云主要使用阿里云datax、DTS兩種工具。

▲圖一：datax數(shù)據(jù)同步

datax原理是將MySQL數(shù)據(jù)完全透明化同步至MaxCompute數(shù)據(jù)表中，是表對(duì)表的映射。

▲圖二：DTS數(shù)據(jù)同步

DTS主要以MySQL binlog方式來進(jìn)行數(shù)據(jù)同步，該同步的優(yōu)勢(shì)在于不會(huì)影響線上生產(chǎn)環(huán)境MySQL庫(kù)I/O壓力，與此同時(shí)對(duì)于刪除操作也會(huì)進(jìn)行實(shí)時(shí)同步。

? 用戶行為日志上云，該日志主要使用阿里云日志服務(wù)（Log Service）組件。該組件除了滿足將海量日志存儲(chǔ)在MaxCompute數(shù)據(jù)倉(cāng)庫(kù)中外，也解決了實(shí)時(shí)業(yè)務(wù)計(jì)算需求，如storm集群。

▲圖三：Log Service工作流

▲圖四：日志服務(wù)各Topic日志源

▲圖五：克拉克拉用戶行為日志片段

二、數(shù)據(jù)計(jì)算
為滿足各類批處理計(jì)算業(yè)務(wù)需求，基于MaxCompute建立了小時(shí)維度、天維度、月維度等不同維度的工作流以及業(yè)務(wù)流程。在數(shù)據(jù)開發(fā)階段我們使用MaxCompute的Web datawork進(jìn)行任務(wù)開發(fā)、任務(wù)運(yùn)維、任務(wù)監(jiān)控等。

▲圖六：datawork SQL開發(fā)
在datawork中可以創(chuàng)建SQL腳本，通過編寫SQL語言滿足我們的臨時(shí)查詢需求。

▲圖六：datawork工作流

在datawork中可以根據(jù)業(yè)務(wù)場(chǎng)景配置工作流，解決生產(chǎn)環(huán)節(jié)中所面臨的定時(shí)計(jì)算任務(wù)等訴求。

圖七：datawork運(yùn)維中心
運(yùn)維中心可實(shí)時(shí)監(jiān)控任務(wù)的狀態(tài)，對(duì)應(yīng)不同的任務(wù)狀態(tài)進(jìn)行不同情況的報(bào)警；
綜上所訴，得益于datawork強(qiáng)大的數(shù)據(jù)開發(fā)多樣性和豐富的內(nèi)置函數(shù)，我們可以針對(duì)不同業(yè)務(wù)場(chǎng)景進(jìn)行快速的項(xiàng)目開發(fā)和上線。
**
三、克拉克拉業(yè)務(wù)應(yīng)用場(chǎng)景**

克拉克拉(KilaKila)在實(shí)際生產(chǎn)環(huán)境中，主要有以下四個(gè)數(shù)據(jù)業(yè)務(wù)應(yīng)用場(chǎng)景。如下：

1. 報(bào)表系統(tǒng)

▲圖八：克拉克拉BI報(bào)表系統(tǒng)架構(gòu)

基于MaxCompute與quickBI組合快速構(gòu)建了業(yè)務(wù)報(bào)表系統(tǒng)。該系統(tǒng)通過datawork部署系列報(bào)表計(jì)算任務(wù)，最終的計(jì)算結(jié)果可存儲(chǔ)MaxCompute表中以及MySQL表中。quickBI通過數(shù)據(jù)源關(guān)聯(lián)即可實(shí)現(xiàn)前端趨勢(shì)圖靈活展示。

圖八：克拉克拉BI報(bào)表系統(tǒng)

2. 克拉克拉（KilaKila）榜單業(yè)務(wù)

圖九：克拉克拉榜單業(yè)務(wù)計(jì)算場(chǎng)景

通過MaxCompute滿足了克拉克拉主播排行榜、熱門榜單等排序業(yè)務(wù)。

3. 對(duì)外開放接口平臺(tái)（Restful API ）
為了滿足第三方通過API接口獲取克拉克拉數(shù)據(jù)倉(cāng)庫(kù)中的用戶標(biāo)簽數(shù)據(jù)，基于MaxCompute Lightning架構(gòu)搭建開放接口服務(wù)，通過該服務(wù)的網(wǎng)關(guān)鑒權(quán)機(jī)制保證了授權(quán)訪問和防DDOS攻擊。

圖九：克拉克拉開放接口結(jié)構(gòu)

4.算法業(yè)務(wù)
阿里云機(jī)器學(xué)習(xí)平臺(tái)是構(gòu)建在阿里云MaxCompute（原ODPS）計(jì)算平臺(tái)之上，集數(shù)據(jù)處理、建模、離線預(yù)測(cè)、在線預(yù)測(cè)為一體的機(jī)器學(xué)習(xí)平臺(tái)。克拉克拉（KilaKila）預(yù)測(cè)算法業(yè)務(wù)、推薦業(yè)務(wù)等相關(guān)項(xiàng)目均建立在機(jī)器學(xué)習(xí)平臺(tái)基礎(chǔ)上，項(xiàng)目上線快且效果符合預(yù)期。

▲圖九：克拉克拉短視頻推薦業(yè)務(wù)

圖十：克拉克拉渠道ROI預(yù)測(cè)業(yè)務(wù)
通過阿里云所提供大數(shù)據(jù)解決方案，除了解決了克拉克拉所遇到的大數(shù)據(jù)挑戰(zhàn)，也極大的縮短了克拉克拉（Kilakila）諸多數(shù)據(jù)項(xiàng)目從想法到落地的研發(fā)周期。

更多內(nèi)容：

1.《克拉克拉：基于阿里云PAI實(shí)現(xiàn)渠道ROI投放預(yù)測(cè)系統(tǒng)》

2.《克拉克拉（KilaKila）：借力阿里云快速構(gòu)建短視頻推薦系統(tǒng)》

3.《克拉克拉(KilaKila)：大規(guī)模實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)實(shí)戰(zhàn)》?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的发光的二次元克拉克拉 满足年轻用户个性化、碎片化的文娱需求的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。