今天安裝了下datax,正好有一些心得,感覺可以記錄下來,避免下一次在踩坑。

DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，實(shí)現(xiàn)包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能。

DataX本身作為數(shù)據(jù)同步框架，將不同數(shù)據(jù)源的同步抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件，以及向目標(biāo)端寫入數(shù)據(jù)的Writer插件，理論上DataX框架可以支持任意數(shù)據(jù)源類型的數(shù)據(jù)同步工作。同時(shí)DataX插件體系作為一套生態(tài)系統(tǒng), 每接入一套新數(shù)據(jù)源該新加入的數(shù)據(jù)源即可實(shí)現(xiàn)和現(xiàn)有的數(shù)據(jù)源互通。

簡(jiǎn)單點(diǎn)來說的話：就是數(shù)據(jù)的轉(zhuǎn)移,可以從一個(gè)庫(kù)快速轉(zhuǎn)移到另一個(gè)庫(kù)中,并且是離線的。

首先先說安裝datax:

先去下載:

DataX下載地址

然后放入自己的服務(wù)器中,

tar -xvf datax.tar.gz(解壓)

chmod -R 775 ./datax（給這個(gè)文件夾增加最高權(quán)限((讀、寫、執(zhí)行)）

python datax.py ../job/job.json(測(cè)試下安裝成功沒有)

成功

出現(xiàn)這個(gè),蛋疼(內(nèi)存不足)。。。。自己解決吧！

然后編寫腳本就可以測(cè)試了。

模板： python datax.py -r {讀的name} -w {寫的name},會(huì)出現(xiàn)模板 然后你可以根據(jù)模板更改。

datax 腳本的例子:

{"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"column": ["id","role","create_time","update_time","version"], "connection": [{"jdbcUrl": ["jdbc:mysql://********:3306/test"], "table": ["tb_role"]}], "username": "root","password": "****" }}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["id","role","create_time","update_time","version"], "connection": [{"jdbcUrl": ["jdbc:mysql://******:3306/test1"], "table": ["tb_role_test"]}], "username": "root","password": "****" }}}], "setting": {"speed": {"channel": "1"}}} }

其中我說幾個(gè)比較重要的

name: 表示哪一個(gè)數(shù)據(jù)庫(kù)的寫或者讀,在plugin文件夾下面

column:需要讀的字段或?qū)懙淖侄?/p>

connection:連接的url,注意reader中的url是數(shù)組,writer中的url是String類型的,

table：表名

username：數(shù)據(jù)庫(kù)的名字

password：數(shù)據(jù)庫(kù)的密碼 注意數(shù)據(jù)庫(kù)的名字和密碼不要寫反了。

還有最后一個(gè)注意事項(xiàng)：

注意看你的數(shù)據(jù)庫(kù)的版本,datax中默認(rèn)的驅(qū)動(dòng)是mysql-connector-java-5.1.34.jar,

如果你的版本是8.0的,記得新增加一個(gè)8.0的驅(qū)動(dòng)

路徑:/test/datax/plugin/writer/mysqlwriter/libs(這是我的路徑,你的把test去掉就好了應(yīng)該可以找到的)

如果不知何怎么查詢版本的,select version();就可以查詢了(還有其他的方法)。

新增的8.0的驅(qū)動(dòng)

運(yùn)行：python datax.py ./mysql2mysql.json(路徑和腳本名字 記得改。如果和上面出現(xiàn)的測(cè)試成功差不多,就說明成功了。)

總結(jié)

以上是生活随笔為你收集整理的internetreadfile读取数据长度为0_Datax3.0的安装和基本使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。