基于阿里云实现游戏数据运营(附Demo)
摘要：?原作者：阿里云解決方案架構師，陸寶。通過閱讀本文，您可以學會怎樣使用阿里云的maxcompute搭建一套數據分析系統。
一、總覽
一個游戲/系統的業務數據分析，總體可以分為圖示的幾個關鍵步驟：1、數據采集：通過SDK埋點或者服務端的方式獲取業務數據，并通過分布式日志收集系統，將各個服務器中的數據收集起來并送到指定的地方去，比如HDFS等；（注：本文Demo中，使用flume，也可選用logstash、Fluentd等）2、數據同步：構建數據通道，接受數據采集agent的數據流，并且分發到不同的存儲/計算引擎中去；（注：本文Demo中，使用阿里云datahub作為通道，maxcompute作為存儲/計算引擎）3、數據開發：按照日志格式、業務領域，構建數據模型；（注：本文Demo中，在maxcompute中創建對應的project、table）4、數據計算/分析：按照業務場景的分析要求，編寫SQL腳本 或者 使用工具，完成數據的分析及展現；（注：本文Demo中，基于阿里云quickBI，完成多維分析、儀表盤的配置）接下來按照上述步驟，給大家具體介紹，如何利用相關的平臺/工具，實現一個簡單的數據分析場景。二、環境準備
首先，需要準備一臺服務器，作為日志采集的agent，此處選用阿里云的ECS（具體ECS選購過程不再贅述），服務器配置信息：實例規格：4 核 16GB地域：華東 1（華東 1 可用區 F）操作系統：CentOS 7.4 64位網絡類型：專有網絡安全組：允許遠程ssh本地遠程登錄ECS服務器ssh ?{username}@{host}Step1：安裝JDK
Flume運行依賴java環境，因此需要在服務器安裝SDK，本文采用先下載到本地，再上傳服務器的方式安裝。1、下載并上傳SDK （demo選用jdk1.8.0_151，可至oracle官網下載）scp {本地文件路徑} ?{username}@{host}:{服務器目錄}3、檢查SDK是否安裝完成：java -version
Step2：安裝flume
同樣，對于flume，也可采用先下載到本地，再上傳服務器的方式安裝。1、下載并上傳flume安裝文件 （demo選用apache-flume-1.8.0，可至apache官網下載）scp {本地文件路徑} ?{username}@{host}:{服務器目錄}2、上傳完成，解壓并設置相應的環境變量1、tar -zxvf ?{flume壓縮包名}
2、環境變量設置# vi /etc/profile增加：export FLUME_HOME=/usr/local/flume修改：path= $path :$FLUME_HOME/bin#source /etc/profile
3、檢查flume是否安裝完成：#此處注意，需要寫flume安裝的全路徑{flume安裝路徑}/bin/flume-ng version
Step3：安裝Datahub Sink插件
因為Demo選用datahub作為數據通道，所以還需要安裝flume-datahub的插件，該文件不大，此處可以選擇直接在服務器下載安裝。1、下載flume-datahub插件包wget https://github.com/aliyun/aliyun-odps-flume-plugin/releases/download/1.1.0/flume-datahub-sink-1.1.0.tar.gz三、數據開發
Demo使用阿里云大數據服務maxCompute作為存儲計算引擎。Step1：開通maxcompute服務
阿里云實名認證賬號訪問https://www.aliyun.com/product/odps ，開通maxcompute，此處選擇按量付費進行購買。Step2：創建項目及業務模型
1、進入數加控制臺 https://data.aliyun.com/console ，點擊“dataworks->項目列表” ；注：具體可以參考對應的建表腳本（建表及維表初始化腳本.sql）可在數據開發的IDE環境編寫、調測腳本：
四、數據同步
step1：數據通道設置
Demo使用阿里云datahub作為數據同步的通道。1、首先，申請開通datahub服務（公測中，鏈接）；2、進入Datahub的管理控制臺-項目管理（鏈接），創建project；3、進入創建好的project，點擊“創建topic”；需要注意，此處的topic內容需要與日志文件、表的結構一致，此處可以選擇“導入MaxCompute表結構”的方式，填寫相應信息，快速完成創建；
step2：數據采集agent配置及啟動
登錄安裝了flume環境的ECS服務器，配置、啟動日志采集agent，并對接datahub的數據通道；1、數據準備：通過手工方式，上傳準備好的日志文件（實際應用場景中，應該是通過服務寫入）；
2、Flume作業配置：1）在Flume安裝目錄的conf文件夾下，創建任務的conf文件；vi ?{任務名稱}.conf2）輸入任務的配置信息#示例如下（重點關注{}中的內容）#a1是要啟動的agent的名字a1.sources = r1 ? #命名agent的sources為r1a1.sinks = k1 ? ? #命名agent的sinks為k1a1.channels = c1 ?#命名agent的channels為c1# Describe/configure the sourcea1.sources.r1.type = exec #指定r1的類型為execa1.sources.r1.command =cat {日志文件的位置} ? #寫入本地文件路徑# Describe the sinka1.sinks.k1.type = com.aliyun.datahub.flume.sink.DatahubSink #指定k1的類型a1.sinks.k1.datahub.accessID ={ accessID }a1.sinks.k1.datahub.accessKey ={ accessKey }a1.sinks.k1.datahub.endPoint = http://dh-cn-hangzhou.aliyuncs.coma1.sinks.k1.datahub.project = {datahub_project_name}a1.sinks.k1.datahub.topic ={datahub_ topic _name}a1.sinks.k1.batchSize = 100 #一次寫入文件條數a1.sinks.k1.serializer = DELIMITEDa1.sinks.k1.serializer.delimiter = {字段間隔符}a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔開，注意需要與日志文件的順序、datahub topic的順序保持一致}a1.sinks.k1.serializer.charset = {文字編碼格式}a1.sinks.k1.shard.number = ?{分片數，需要與datahub 的topic配置一致}a1.sinks.k1.shard.maxTimeOut = 60# Use a channel which buffers events in memorya1.channels.c1.type = memory ?#指定channel的類型為memorya1.channels.c1.capacity = 1000 ?#設置channel的最大存儲數量為1000a1.channels.c1.transactionCapacity = 1000 #每次最大可從source中拿到或送到sink中的event數量是1000# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1
3、檢查無誤后，啟動flume日志采集agent；bin/flume-ng agent -n a1 -c conf -f conf/ {任務名稱}.conf -Dflume.root.logger=INFO,console如果能正常啟動，可以看到數據正在按照配置往datahub中同步；
step3：數據檢查
在datahub的topic頁面，可以看到數據同步的情況：可以通過兩種方式來檢查數據：
1、topic的數據抽樣，查看數據格式是否正常；
2、因為已經配置了datahub到maxcompute的數據鏈路，可以在maxcompute中檢查數據入庫情況；
OK，數據同步的工作，到此就基本完成了。
五、數據分析&報表制作
接下來需要基于日志，做業務分析，那么這里我們可以選擇quickBI工具，來快速完成多維分析報表、儀表盤等數據產品的配置；
通過 鏈接 ，打開quickBI的產品頁面，并開通對應服務。
Step1：分析模型設置（數據集）
1、進入數據工作臺https://das.base.shuju.aliyun.com/console.htm，點擊左側QuickBI；
2、在引導頁，點擊“添加數據源”；
3、設置數據源的屬性
按demo場景，選擇maxcompute；
并設置對應的peoject信息：
4、數據源連接成功后，可以看到project下的表，選擇需要分析的表，創建數據集；
5、按照分析場景需求，可以對數據集的邏輯模型做設置；
demo的分析場景，需要 基于事實表（充值數據，recharge_record_log）和維表（商品信息表，t_item_record）關聯，來完成業務分析，因此可以點擊編輯數據集：
完成：
1）構建關聯模型
2）可以對時間維度做拆分，會自動生成多個level
Step2：多維分析報表配置
1、分析模型設置好之后，接下來就可以開始分析了，點擊“表格分析”：
2、進入多維分析報表的IDE工作臺：
3、可以看到，左側的字段屬性區，會自動加載物理表的對應字段（默認加載comment描述）：
4、具體分析操作，比較簡單，按需雙擊、拖拽需要分析的字段，點擊查詢即可看到報表，比如：
1）按商品(維度)，看充值（計量）的整體情況
2）增加角色等級（維度），做交叉表
3）同時也支持各種查詢條件的設置
按時間
多層嵌套的高級查詢
Step3：儀表盤、數據產品配置
靈活性較強的數據探查類場景，可以通過多維報表支撐，對于展現形式要求較高的，可以通過儀表盤來靈活實現；
1、數據集List頁面，點擊“新建儀表盤”：
2、進入儀表盤的IDE工作臺，頁面分為左、中、右三欄：
3、同樣，可以通過拖拽的方式，快速完成儀表盤頁面的配置：
1）拖拽/雙擊 選擇需要作圖的字段:
2）點擊更新，刷新圖表，同時可以自由設置圖表的樣式
3）拖拽設置頁面布局
比如，可以做一個專門的充值分析頁面，效果示例：
數據產品是類似于分析專題、報表門戶，具體配置就不再贅述：
六、架構總結
一、Demo涉及的產品 以及 數據流
如圖所示：
二、如何實現生產場景下的動態數據采集及常見問題處理
和Demo不同的是，在生產場景下，我們的日志文件是動態的，因此需要實現如下邏輯：
1、 監控日志目錄下的文件變化；
2、 根據配置的頻率，采集日志；
1、flume1.7及以上版本
包含TaildirSource組件，可以實現監控目錄，并且使用正則表達式匹配該目錄中的文件名進行實時收集。
Flume作業配置：
1）在Flume安裝目錄的conf文件夾下，創建任務的conf文件；
vi ?{任務名稱}.conf
2）輸入任務的配置信息（注意，此處差異較大）
#示例如下（重點關注{}中的內容）
#a1是要啟動的agent的名字
?a1.sources = r1 ? #命名agent的sources為r1
a1.sinks = k1 ? ? #命名agent的sinks為k1
a1.channels = c1 ?#命名agent的channels為c1
# TaildirSource配置
a1.sources.r1.type = org.apache.flume.source.taildir.TaildirSource
a1.sources.r1.channels = memory_channel
a1.sources.r1.positionFile = /tmp/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = {/usr/logfile/s51/mylog/*}
a1.sources.r1.batchSize = 100
a1.sources.r1.backoffSleepIncrement ?= 1000
a1.sources.r1.maxBackoffSleep ?= 5000
a1.sources.r1.recursiveDirectorySearch = true
# Describe/configure the source
a1.sources.r1.type = exec #指定r1的類型為exec
a1.sources.r1.command =cat {日志文件的位置} ? #寫入本地文件路徑
# Describe the sink
a1.sinks.k1.type = com.aliyun.datahub.flume.sink.DatahubSink #指定k1的類型
a1.sinks.k1.datahub.accessID ={ accessID }
a1.sinks.k1.datahub.accessKey ={ accessKey }
a1.sinks.k1.datahub.endPoint = http://dh-cn-hangzhou.aliyuncs.com
a1.sinks.k1.datahub.project = {datahub_project_name}
a1.sinks.k1.datahub.topic ={datahub_ topic _name}
a1.sinks.k1.batchSize = 100 #一次寫入文件條數
a1.sinks.k1.serializer = DELIMITED
a1.sinks.k1.serializer.delimiter = {字段間隔符}
a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔開，注意需要與日志文件的順序、datahub topic的順序保持一致}
a1.sinks.k1.serializer.charset = {文字編碼格式}
a1.sinks.k1.shard.number = ?{分片數，需要與datahub 的topic配置一致}
a1.sinks.k1.shard.maxTimeOut = 60
# Use a channel which buffers events in memory
a1.channels.c1.type = memory ?#指定channel的類型為memory
a1.channels.c1.capacity = 1000 ?#設置channel的最大存儲數量為1000
a1.channels.c1.transactionCapacity = 1000 #每次最大可從source中拿到或送到sink中的event數量是1000
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
3、檢查無誤后，啟動flume日志采集agent；
bin/flume-ng agent -n a1 -c conf -f conf/ {任務名稱}
.conf -Dflume.root.logger=INFO,console
2、flume 1.6?
原生不支持TaildirSource，需要自行下載集成：
下載地址：http://7xipth.com1.z0.glb.clouddn.com/flume-taildirfile-source.zip
將源碼單獨編譯，打成jar包，上傳到$FLUME_HOME/lib/目錄下，之后配置方法可以參考上文；
3、常見問題：
1、日志文件解析錯誤
? 異常信息截圖：
? 原因分析及解決方法
出現圖示異常的原因，一般是因為解析日志文件得到的屬性數量和配置文件不一致所致，此時需要重點排查：
1） 配置文件的間隔符、屬性是否正確
a1.sinks.k1.serializer.delimiter = {字段間隔符}
a1.sinks.k1.serializer.fieldnames= {字段 “,” 隔開，注意需要與日志文件的順序、datahub topic的順序保持一致}
a1.sinks.k1.serializer.charset = {文字編碼格式}
2） 日志文件格式是否符合預期、是否包含特殊字符
2、文件適配符模式下，找不到文件
? 異常信息截圖：
? 原因分析及解決方法
出現圖示異常的原因，一般是因為按照通配符設置，未找到文件導致異常退出，此時需要重點檢查配置文件中的日志路徑設置：
a1.sources.r1.filegroups.f1 = {/usr/logfile/s51/mylog/*}
3、 修改配置文件后，重新啟動，無異常信息但是不加載數據
? 異常信息截圖：
? 原因分析及解決方法
該問題比較隱秘，任務可以啟動，沒有明顯的異常日志，但是到sink環節后不再加載數據，一般是因為修改了配置文件設置，但是沒有刪除對應的描述文件，需要：
1） 找到配置的描述文件路徑
a1.sources.r1.positionFile = /tmp/taildir_position.json
2） 刪除描述文件，重啟任務
可正常加載數據；
三、擴展場景的產品架構&數據流
作者：阿里云云棲社區
原文地址：https://zhuanlan.zhihu.com/p/33777705
干貨好文，請關注掃描以下二維碼：
總結
以上是生活随笔為你收集整理的基于阿里云实现游戏数据运营(附Demo)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 业务代码解构利器--SWAK
- 下一篇： 深入了解机器学习