云棲號案例庫：【點擊查看更多上云案例】
不知道怎么上云？看云棲號案例庫，了解不同行業不同發展階段的上云方案，助力你上云決策！

概述

中郵智遞數據平臺發展到現在經歷了四個階段:

(1) 直接在業務生產系統開發生成報表,提供業務部門查詢
(2) 采用kettle等工具抽取各業務系統數據并處理生成報表
(3) 使用hive構建離線數據倉庫,抽取業務數據統一處理并生成報表推送至報表系統
(4) canal+kafka+tidb構建實時數倉進行實時OLAP分析,spark streaming+kafka+redis構建實時數據展示

最近我們在嘗試把現在ECS主機上的系統和服務遷移到阿里云的大數據平臺中,例如數加和datav。以及使用ADB實現實時OLAP達到低延遲,高并發。

數加使用實例

我們將數據倉庫一個非關鍵主題-基點模型的全部業務鏈路遷移到數加中,使用數加的數據集成可以進行數據加載和數據導出,數據開發可以進行數據倉庫模型開發。能夠進行調度依賴配置和血緣關系、生命周期管理，如圖1所示。

數加的運維中心能夠查看任務的運行情況,與歷史運行情況的對比。以及查看具體的任務運行日志、配置告警監控，能夠完美替換類似azkaban，airflow等工作流調度工具，如圖2，3所示：

?

圖1

?

圖2

?

圖3

數加數據集成模塊自帶各種數據源的接入,包括阿里云的各種組件以及一些常用的數據源。滿足從關系數據庫,現有大數據平臺,nosql等數據源接入和導出數據。結構清楚，配置簡單，避免了以前接入異構數據需要開發多種接入程序的問題。如圖4所示。

?

圖4

數加數據開發模塊可以完成離線數據倉庫hive的模型開發功能，如圖5所示。數據管理模塊可以查看數據開發概覽，元數據管理、權限管理、血緣關系管理、查找數據,如圖6所示。也可以通過客戶端操作odps的數據，如圖7所示。

?

圖5

?

圖6

?

圖7

datav使用實例

中郵智遞以前的實時數據大屏展示是由數據開發使用spark streaming+redis+前端開發的模式來完成的,優點是自定義程度比較高,前端同事可以使用各種圖表框架進行數據實時展示，權限接入和業務系統接入也能完美兼容我們現在的統一系統接入平臺。缺點當然也很明顯，每次任務開發需要前端參與開發，需要占用前端開發資源，迭代的時效性也比較差。特別是一些非長期型的實時展示項目，需要快速迭代上線，一定時間周期之后會廢棄。例如短期活動開展,類似雙11營銷活動，以前的開發模式就不是很適用。Datav可以同步簡單配置使用各種圖表和特性,非前端開發人員通過配置就能使用地圖、散點圖、柱狀圖、飛線，并將生成的圖標發布到現有的統一業務接入系統.如圖8所示。

?

圖8

云棲號案例庫：【點擊查看更多上云案例】
不知道怎么上云？看云棲號案例庫，了解不同行業不同發展階段的上云方案，助力你上云決策！

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的中邮智递通过数加和datav将系统和服务迁移到大数据平台的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。