DataX3.0使用手冊(cè)目錄一、dataX概述11dataX作用12DataX3.0框架設(shè)計(jì)23DataX3.0插件體系2二、dataX安裝31創(chuàng)建用戶組及用戶32環(huán)境變量配置43安裝python4三、dataX使用41生成配置文件模板42配置定時(shí)任務(wù)73常見(jiàn)問(wèn)題及處理8四、dataX插件開(kāi)發(fā)及安裝81.Reader插件開(kāi)發(fā)82.Writter插件開(kāi)發(fā)93.插件部署10dataX概述dataX作用DataX 是一個(gè)異構(gòu)數(shù)據(jù)源離線同步工具，致力于實(shí)現(xiàn)包括關(guān)系型數(shù)據(jù)庫(kù)(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步功能。為了解決異構(gòu)數(shù)據(jù)源同步問(wèn)題，DataX將復(fù)雜的網(wǎng)狀的同步鏈路變成了星型數(shù)據(jù)鏈路，DataX作為中間傳輸載體負(fù)責(zé)連接各種數(shù)據(jù)源。當(dāng)需要接入一個(gè)新的數(shù)據(jù)源的時(shí)候，只需要將此數(shù)據(jù)源對(duì)接到DataX，便能跟已有的數(shù)據(jù)源做到無(wú)縫數(shù)據(jù)同步。DataX3.0框架設(shè)計(jì)DataX本身作為離線數(shù)據(jù)同步框架，采用Framework + plugin架構(gòu)構(gòu)建。將數(shù)據(jù)源讀取和寫(xiě)入抽象成為Reader/Writer插件，納入到整個(gè)同步框架中。Reader：Reader為數(shù)據(jù)采集模塊，負(fù)責(zé)采集數(shù)據(jù)源的數(shù)據(jù)，將數(shù)據(jù)發(fā)送給Framework。Writer： Writer為數(shù)據(jù)寫(xiě)入模塊，負(fù)責(zé)不斷向Framework取數(shù)據(jù)，并將數(shù)據(jù)寫(xiě)入到目的端。Framework：Framework用于連接reader和writer，作為兩者的數(shù)據(jù)傳輸通道，并處理緩沖，流控，并發(fā)，數(shù)據(jù)轉(zhuǎn)換等核心技術(shù)問(wèn)題。DataX3.0插件體系類型數(shù)據(jù)源Reader(讀)Writer(寫(xiě))RDBMS 關(guān)系型數(shù)據(jù)庫(kù)MySQL√√?Oracle√√?SQL Server√√?PostgreSQL√√?達(dá)夢(mèng)√√?通用RDBMS(支持所有關(guān)系型數(shù)據(jù)庫(kù))√√阿里云數(shù)倉(cāng)數(shù)據(jù)存儲(chǔ)MaxCompute(原ODPS)√√?Analytic DB(原ADS)?√?OSS√√?云數(shù)據(jù)庫(kù)Memcache版(原OCS)√√Hive√N(yùn)oSQL數(shù)據(jù)存儲(chǔ)Table Store(原OTS)√√?Hbase0.94√√?Hbase1.1√√?MongoDB√√無(wú)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)TxtFile√√JsonFile√?FTP√√?HDFS√√dataX安裝創(chuàng)建用戶組及用戶root@hmaster-hdfs:/home/ubuntu# groupadd dataxroot@hmaster-hdfs:/home/ubuntu# useradd -g datax datax -m -d /home/dataxroot@hmaster-hdfs:/home/ubuntu# passwd dataxEnter new UNIX password: Retype new UNIX password: passwd: password updated successfullyroot@hmaster-hdfs:/home/ubuntu# usermod -G adm -a dataxroot@hmaster-hdfs:/home/ubuntu# su - dataxdatax@hmaster-hdfs:~$ iduid=1004(datax) gid=1000(ubuntu) groups=1000(ubuntu),4(adm),1002(datax)環(huán)境變量配置export JAVA_HOME=/usr/java/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=$JAVA_HOME/binexport LANG=zh_CN.UTF-8安裝pythondatax@hmaster-hdfs:/home/ubuntu$ pythonPython 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2] on linux2Type "help", "copyright", "credits" or "license" for more information.dataX使用生成配置文件模板命令：bin/python datax.py -r {YOUR_READER} -w {YOUR_WRITER}案例1：mysqlreader-> mysqlwriterdatax@hmaster-hdfs:~/datax3/datax/bin$ python datax.py -r mysqlreader -w mysqlwriterDataX (DATAX-OPENSOURCE-1

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的datax 模板_dataX3.0安装使用手册.docx的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。