15分钟构建超低成本数据大屏:DataV + DLA
為什么80%的碼農(nóng)都做不了架構(gòu)師?>>> ??
第一步:準(zhǔn)備低成本存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)和DLA表
- OSS(https://www.aliyun.com/product/oss)是云上低成本數(shù)據(jù)存儲(chǔ)的優(yōu)選方案
- DLA(https://www.aliyun.com/product/datalakeanalytics)是云上低成本、無(wú)服務(wù)器化的支持OSS數(shù)據(jù)查詢(xún)、分析的優(yōu)選方案
參考如下文檔使用案例,準(zhǔn)備OSS上存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)和DLA表:
https://yq.aliyun.com/articles/623282
此步驟預(yù)計(jì)耗時(shí):5分鐘。
第二步:使用DataV訪問(wèn)DLA制作數(shù)據(jù)大屏
- DataV(https://data.aliyun.com/visual/datav)是云上大數(shù)據(jù)可視化大屏的優(yōu)選方案
1. 準(zhǔn)備DataV
以第一步中的業(yè)務(wù)數(shù)據(jù)為例,構(gòu)建企業(yè)銷(xiāo)售數(shù)據(jù)大屏,本大屏主要涉及三張表:
- orders表,銷(xiāo)售訂單數(shù)據(jù);
- customer表,客戶(hù)記錄數(shù)據(jù);
- nation表,國(guó)家記錄數(shù)據(jù);
登錄控制臺(tái)DataV控制臺(tái):http://datav.aliyun.com/data,購(gòu)買(mǎi)基礎(chǔ)版:
使用“兼容MySQL”的方式,就能連接DLA服務(wù),本例中基礎(chǔ)版就能滿(mǎn)足。
2. 準(zhǔn)備DLA數(shù)據(jù)源
點(diǎn)擊 “我的數(shù)據(jù)”,“添加數(shù)據(jù)”
編輯數(shù)據(jù)源:
- 選擇“兼容MySQL數(shù)據(jù)庫(kù)”類(lèi)型;
- 名稱(chēng)按需進(jìn)行命名;
- 根據(jù)在DLA控制臺(tái)https://datalakeanalytics.console.aliyun.com/overview上的鏈接信息(經(jīng)典網(wǎng)絡(luò))和在阿里云站內(nèi)信收到用戶(hù)名、密碼信息,填入相應(yīng)欄目,選擇目標(biāo)的tpch數(shù)據(jù)庫(kù),確定保存。
3. 準(zhǔn)備大屏模板
點(diǎn)擊 “我的可視化”,“新建可視化”
選擇“銷(xiāo)售實(shí)時(shí)監(jiān)控模板”,點(diǎn)“創(chuàng)建”
本示例大屏中,目標(biāo)顯示各個(gè)國(guó)家的銷(xiāo)售數(shù)據(jù)情況,把下面標(biāo)紅的框內(nèi)的組件刪除。
然后為了布局,美觀,重新調(diào)整一個(gè)組件在畫(huà)布上的位置。
為了顯示各個(gè)國(guó)家的銷(xiāo)售數(shù)據(jù)情況,需要世界地圖,刪除現(xiàn)有的中國(guó)地圖組件,然后在導(dǎo)航欄的“地圖”中選擇“3D平面世界地圖”。
4. 給大屏中的組件配置數(shù)據(jù)
4.1 給地圖配置數(shù)據(jù)
根據(jù)如下操作,給地圖render數(shù)據(jù):
- 選擇地圖,在數(shù)據(jù)tab頁(yè)面中,“數(shù)據(jù)源類(lèi)型數(shù)據(jù)庫(kù)選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計(jì)算按國(guó)家銷(xiāo)售額排序的數(shù)據(jù);
- 字段id和value,分別填入上述SQL返回的n_id列和total_price列;
- 根據(jù)業(yè)務(wù)數(shù)據(jù)更新需求(見(jiàn)附一:架構(gòu)示意),選擇大屏數(shù)據(jù)“自動(dòng)更新請(qǐng)求”,比如60秒一次;
- 然后點(diǎn)擊“刷新數(shù)據(jù)”。
4.2 給總銷(xiāo)售額配置數(shù)據(jù)
根據(jù)如下操作,給總銷(xiāo)售額配置數(shù)據(jù):
- 選擇銷(xiāo)售總額組件,在數(shù)據(jù)tab頁(yè)面中,“數(shù)據(jù)源類(lèi)型數(shù)據(jù)庫(kù)選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計(jì)算銷(xiāo)售總額的數(shù)據(jù);
- 字段value,填入上述SQL返回的total_price列;
- 根據(jù)業(yè)務(wù)數(shù)據(jù)更新需求(見(jiàn)附一:架構(gòu)示意),選擇大屏數(shù)據(jù)“自動(dòng)更新請(qǐng)求”,比如60秒一次;
- 然后點(diǎn)擊“刷新數(shù)據(jù)”。
4.3 給按國(guó)家銷(xiāo)售排名配置數(shù)據(jù)
根據(jù)如下操作,給總銷(xiāo)售額配置數(shù)據(jù):
- 選擇銷(xiāo)售額國(guó)家排名組件,在數(shù)據(jù)tab頁(yè)面中,“數(shù)據(jù)源類(lèi)型數(shù)據(jù)庫(kù)選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計(jì)算按國(guó)家銷(xiāo)售額排序的數(shù)據(jù);
- 字段value和content,填入上述SQL返回的total_price列和n_name列;
- 根據(jù)業(yè)務(wù)數(shù)據(jù)更新需求(見(jiàn)附一:架構(gòu)示意),選擇大屏數(shù)據(jù)“自動(dòng)更新請(qǐng)求”,比如60秒一次;
- 然后點(diǎn)擊“刷新數(shù)據(jù)”。
5. 預(yù)覽和發(fā)布大屏
點(diǎn)擊右上角的“預(yù)覽”,可以看到大屏發(fā)布后的效果。
確認(rèn)無(wú)誤后,可以進(jìn)行發(fā)布:
此步驟預(yù)計(jì)耗時(shí):10分鐘。
附:架構(gòu)示意
和使用傳統(tǒng)數(shù)據(jù)庫(kù)加DataV構(gòu)建大屏相比,DataV + DLA + OSS的方案是另外一種低成本選擇,在絕大部分頻率較低的數(shù)據(jù)刷新的業(yè)務(wù)大屏場(chǎng)景下,DataV + DLA + OSS的方式遠(yuǎn)比DataV + 傳統(tǒng)數(shù)據(jù)庫(kù)的成本低。結(jié)合業(yè)務(wù)數(shù)據(jù)的產(chǎn)生,整體架構(gòu)示意如下:
可能的業(yè)務(wù)數(shù)據(jù)產(chǎn)出的大屏數(shù)據(jù)刷新鏈路:
- 業(yè)務(wù)應(yīng)用程序產(chǎn)出的增量數(shù)據(jù),直接上傳到OSS中,通過(guò)定時(shí)查詢(xún),刷新到業(yè)務(wù)數(shù)據(jù)大屏中;
- 業(yè)務(wù)應(yīng)用程序產(chǎn)出的業(yè)務(wù)日志,采集到日志服務(wù)中,通過(guò)定時(shí)日志投遞(最小5分鐘延遲),投遞到OSS中,再通過(guò)定時(shí)查詢(xún),刷新到業(yè)務(wù)數(shù)據(jù)大屏中。
作者: julian_zhou
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
轉(zhuǎn)載于:https://my.oschina.net/yunqi/blog/3016816
總結(jié)
以上是生活随笔為你收集整理的15分钟构建超低成本数据大屏:DataV + DLA的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 如何制作可以在 MaxCompute 上
- 下一篇: 【蓝桥杯真题】地宫取宝(搜索-记忆化搜索