日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

datax的工具配置oracle,完全小白级DataX安装配置过程详解

發布時間:2023/12/15 编程问答 54 豆豆
生活随笔 收集整理的這篇文章主要介紹了 datax的工具配置oracle,完全小白级DataX安装配置过程详解 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

apt-get install openjdk-7-jdk

Linux小白,創建和刪除文件夾都現問度娘學會的小白,最近被勒令研究一下DataX,當時一臉蒙X,根本木有聽過吖,但是領導吩咐了就得辦吖,問了一下度娘,發現這玩意還非要在Linux下安裝配置,沒辦法從安裝Linux系統開始干...

試坑過程中發現相關的資料和介紹有點兒少,所以決定把每一步都記錄下來,希望以后可以幫到其他需要的人...

第一步:安裝配置系統環境。

具體的安裝Linux系統的過程還是很容易搜到的,我這里就不再贅述了,主要寫一下DataX所需要的系統環境。

DataX首先要求JDK1.6以上、Python2.6以上,目前我們這邊還沒有用到Hadoop什么的,所以暫時不寫了,以后如果真的用到了,會把方法補充上來。安裝配置過程是在32位Ubuntu14.04下進行的。

2.安裝JDK,這東西也讓我鼓搗了一上午,度娘上的博客都是手動安裝,配了一上午也沒成功,最后在一篇博客里的最后一行看到,如果聯網,以上內容全部可以利用

apt-get install openjdk-7-jdk

解決,嗯,對,我就這么解決了!如果提示權限不足,前面加上sudo就可以了,然后輸入密碼回車!

sudo apt-get install openjdk-7-jdk

安裝完成以后,輸入java -version,測試是否安裝成功即可。

3.安裝ant。(嗯,對,我這純凈的小系統什么都沒有,怎么了吧?~!)安裝ant的過程比安裝JDK的過程還快一些,因為百度了一下也是各種手動配環境變量什么的,配了一次失敗了之后,直接嘗試輸入

sudo apt-get install ant

然后就成功了!輸入ant -version,檢測是否安裝成功。

這個地方還出現了一點兒點兒小插曲,就是我在之前亂試的時候在profile文件里加了JAVA_HOME的路徑,但是后來自動用apt安裝的時候并沒有安裝到那個路徑里(說實話,其實當時我都已經把寫在文件里的那個文件夾刪除了),導致后來安裝ant的時候失敗,所以費了一些周折。

which java

ls -lrt /usr/bin/java

ls -lrt /etc/alternatives/java

這樣就可以找到現在jdk在那里,然后把記住那個openjdk的路徑,我的是在/usr/lib/jvm/java-1.7.0-openjdk-i386.

然后,修改profile文件的內容。利用vim進入文件,命令是:

vim /etc/profile

進去之后,提示已何種方式操作,選擇“編輯”,然后按照百度上的說法,在文件的最后加上下面幾句話:

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386

export JRE_HOME=${JAVA_HOME}/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JRE_HOME}/lib/tools.jar

保存并退出。就是先按一下ESC,然后輸入

:write

:quit

(記得前面的冒號哦!)

這樣再用apt安裝ant就可以了。

4.安裝g++。跟之前一樣,apt-get install g++就行了,權限不夠就前面加sudo。

5.安裝rpm。同上。

第二步:安裝配置datax。

1.導出項目代碼。想要安裝配置datax,首先你要有datax吖,呵呵,但是對小白的我來說,看著主頁上的那個項目代碼各種蒙圈,總不能一個一個下下來,再一個一個存起來吧...幸好有給力的兄弟們!

前面安裝的rpm這個時候起到了很大的作用。在終端輸入命令:

svn checkout http://code.taobao.org/svn/datax/ /Datax/ --username XXX --password XXX

這樣坐等取出完成就可以了。這里面第三個參數是datax官網上給的那個項目網絡地址,第四個參數是你想要把東西放在哪兒,用戶名和密碼根據自己的實際情況填就可以了。如果沒有文件夾,用mkdir 文件夾名 ? ?這樣的命令創建一個就好了。

或者如果不怕主文件夾亂的話,也可以直接用命令:

svn checkout http://code.taobao.org/svn/datax

這樣默認是把文件存到主目錄里。我這里已經取出成功了,提示取出版本是11。

2.rpm編譯打包。

這個打包可是要逼瘋我了,用rpmbuild命令打包的時候一直提示失敗,最開始是權限問題,加上sudo就可以的,然后就是一直提示RPM構建錯誤,仔細看log說是找不到什么文件,而且找不到好多文件,找了好久終于發現了一位大神的帖子:

中心思想就是rhel 6.2的rpmbuild的buildroot的目錄和rhel 5不一樣,造成找不到文件,所以按照大神的方法修改了t_dp_datax_engine.spec文件里的一些內容,終于不報找不到文件的錯啦!開始報錯說檢查到有很多.xml文件已安裝但是未打包。然后這個問題我又糾結了小半天,后來又找到了另一個大神的帖子:

按照這個博客里說的,把macros文件里的check_file那句話給注釋了就行了。但是這個文件是只讀的,改起來可能有些麻煩,如果不會的話,可以參照這個帖子:

改過之后,打包就成功了,然后顯示了生成的.rpm包的路徑,順著路徑終于可以找到心心念念的.rpm包啦。

接著要安裝rpm,利用官網給的命令就又報錯了,說依賴的/bin/sh檢測失敗,我一怒之下,強制安裝了,就成功啦:

sudo rpm -ivh RPMS/noarch/t_dp_datax_engine-1.0.0-1.noarch.rpm --force --nodeps

安裝完成后,按照官網上的方法,檢查一下/home/taobao/datax下的文件是不是全的:

ls -lh /home/taobao/datax

但是我安裝的結果跟官網給的截圖不太一樣,首先我這總空間占用了28K,官網上是24K。其次,我這里比官網上截圖多了一個common文件,不過我覺得有可能是datax有過更新,但是官網上的說明沒有更新,應該問題不大,以后出現什么問題我再回來修改博文。

總結

以上是生活随笔為你收集整理的datax的工具配置oracle,完全小白级DataX安装配置过程详解的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。