数据交换平台_从零开始理解大数据架构之数据交换平台
項(xiàng)目簡(jiǎn)介
Exchangis是一個(gè)輕量級(jí)的、高擴(kuò)展性的數(shù)據(jù)交換平臺(tái),支持對(duì)結(jié)構(gòu)化及無結(jié)構(gòu)化的異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)傳輸,在應(yīng)用層上具有數(shù)據(jù)權(quán)限管控、節(jié)點(diǎn)服務(wù)高可用和多租戶資源隔離等業(yè)務(wù)特性,而在數(shù)據(jù)層上又具有傳輸架構(gòu)多樣化、模塊插件化和組件低耦合等架構(gòu)特點(diǎn)。
Exchangis的傳輸交換能力依賴于其底層聚合的傳輸引擎,其頂層對(duì)各類數(shù)據(jù)源定義統(tǒng)一的參數(shù)模型,每種傳輸引擎對(duì)參數(shù)模型進(jìn)行映射配置,轉(zhuǎn)化為引擎的輸入模型。每聚合一種引擎,都將增加Exchangis一類特性,對(duì)某類引擎的特性強(qiáng)化,都是對(duì)Exchangis特性的完善。默認(rèn)聚合以及強(qiáng)化Alibaba的DataX傳輸引擎。
核心特點(diǎn)
- 數(shù)據(jù)源管理以綁定項(xiàng)目的方式共享自己的數(shù)據(jù)源;設(shè)置數(shù)據(jù)源對(duì)外權(quán)限,控制數(shù)據(jù)的流入和流出。
- 多傳輸引擎支持傳輸引擎可橫向擴(kuò)展;當(dāng)前版本完整聚合了離線批量引擎DataX、部分聚合了大數(shù)據(jù)批量導(dǎo)數(shù)引擎SQOOP
- 近實(shí)時(shí)任務(wù)管控快速抓取傳輸任務(wù)日志以及傳輸速率等信息,實(shí)時(shí)關(guān)閉任務(wù);可根據(jù)帶寬狀況對(duì)任務(wù)進(jìn)行動(dòng)態(tài)限流
- 支持無結(jié)構(gòu)化傳輸DataX框架改造,單獨(dú)構(gòu)建二進(jìn)制流快速通道,適用于無數(shù)據(jù)轉(zhuǎn)換的純數(shù)據(jù)同步場(chǎng)景。
- 任務(wù)狀態(tài)自檢監(jiān)控長(zhǎng)時(shí)間運(yùn)行的任務(wù)和狀態(tài)異常任務(wù),及時(shí)釋放占用的資源并發(fā)出告警
與現(xiàn)有的系統(tǒng)的對(duì)比
對(duì)現(xiàn)有的一些數(shù)據(jù)交換工具和平臺(tái)的對(duì)比:
整體設(shè)計(jì)
架構(gòu)設(shè)計(jì)
項(xiàng)目開源地址:https://gitee.com/WeBank/Exchangis
總結(jié)
以上是生活随笔為你收集整理的数据交换平台_从零开始理解大数据架构之数据交换平台的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python内核大小_关于keras.l
- 下一篇: r k-means 分类结果_机器学习-