項(xiàng)目簡(jiǎn)介

Exchangis是一個(gè)輕量級(jí)的、高擴(kuò)展性的數(shù)據(jù)交換平臺(tái)，支持對(duì)結(jié)構(gòu)化及無結(jié)構(gòu)化的異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)傳輸，在應(yīng)用層上具有數(shù)據(jù)權(quán)限管控、節(jié)點(diǎn)服務(wù)高可用和多租戶資源隔離等業(yè)務(wù)特性，而在數(shù)據(jù)層上又具有傳輸架構(gòu)多樣化、模塊插件化和組件低耦合等架構(gòu)特點(diǎn)。

Exchangis的傳輸交換能力依賴于其底層聚合的傳輸引擎，其頂層對(duì)各類數(shù)據(jù)源定義統(tǒng)一的參數(shù)模型，每種傳輸引擎對(duì)參數(shù)模型進(jìn)行映射配置，轉(zhuǎn)化為引擎的輸入模型。每聚合一種引擎，都將增加Exchangis一類特性，對(duì)某類引擎的特性強(qiáng)化，都是對(duì)Exchangis特性的完善。默認(rèn)聚合以及強(qiáng)化Alibaba的DataX傳輸引擎。

核心特點(diǎn)

• 數(shù)據(jù)源管理以綁定項(xiàng)目的方式共享自己的數(shù)據(jù)源；設(shè)置數(shù)據(jù)源對(duì)外權(quán)限，控制數(shù)據(jù)的流入和流出。
• 多傳輸引擎支持傳輸引擎可橫向擴(kuò)展；當(dāng)前版本完整聚合了離線批量引擎DataX、部分聚合了大數(shù)據(jù)批量導(dǎo)數(shù)引擎SQOOP
• 近實(shí)時(shí)任務(wù)管控快速抓取傳輸任務(wù)日志以及傳輸速率等信息，實(shí)時(shí)關(guān)閉任務(wù)；可根據(jù)帶寬狀況對(duì)任務(wù)進(jìn)行動(dòng)態(tài)限流
• 支持無結(jié)構(gòu)化傳輸DataX框架改造，單獨(dú)構(gòu)建二進(jìn)制流快速通道，適用于無數(shù)據(jù)轉(zhuǎn)換的純數(shù)據(jù)同步場(chǎng)景。
• 任務(wù)狀態(tài)自檢監(jiān)控長(zhǎng)時(shí)間運(yùn)行的任務(wù)和狀態(tài)異常任務(wù)，及時(shí)釋放占用的資源并發(fā)出告警

與現(xiàn)有的系統(tǒng)的對(duì)比

對(duì)現(xiàn)有的一些數(shù)據(jù)交換工具和平臺(tái)的對(duì)比：

整體設(shè)計(jì)

架構(gòu)設(shè)計(jì)

項(xiàng)目開源地址：https://gitee.com/WeBank/Exchangis

總結(jié)

以上是生活随笔為你收集整理的数据交换平台_从零开始理解大数据架构之数据交换平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。