日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

How-to: Use the ShareLib in Apache Oozie

發布時間:2024/4/17 编程问答 40 豆豆
生活随笔 收集整理的這篇文章主要介紹了 How-to: Use the ShareLib in Apache Oozie 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.


http://blog.sina.com.cn/s/blog_63874ea80102ux2z.html

1.???????????????????????????????? 從網上下載oozie安裝包,下載路徑為http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz,上傳文件到服務器,例如上傳到/home/hadoop/local目錄下


2.???????????????????????????????? 進入/home/hadoop/local目錄,運行 tar oozie-4.0.0-cdh5.0.1.tar.gz命令,解壓文件


3.???????????????????????????????? 進入oozie程序根目錄下的bin目錄,依次運行以下命令:


./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip


?


./ooziedb.sh create -sqlfile oozie.sql



?



./oozie-setup.sh db create -run –sqlfile /home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql


?


./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz


4.???????????????????????????????? oozie程序根目錄下的conf目錄,修改oozie-site.xml文件,主要是兩個屬性需要修改,1)oozie.services屬性,將oozie.services屬性值中org.apache.oozie.service.JobsConcurrencyService類的次序調致第一個。


2) oozie.service.HadoopAccessorService.hadoop.configurations 屬性,將其值調整為 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop


.進入bin目錄下,執行./oozie-start.sh 致些,oozie啟動成功


.安裝的過程中主要的問題在于sharelib包無法加載的問題,這個問題的處理方法如下: 


1)檢測sharelib包是否已經加入到hadoop文件系統中,執行hadoop fs –ls /user/Hadoop/share/lib 查看sharelib包是否存在


2)檢查 oozie 與 Hadoop 的對接配置是否正確,主要是檢查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 屬性,其值為 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop,其值所指向的目錄是否是hadoop的配置文件目錄,如果沒有配置正常,則會報/user/Hadoop/share/lib文件找不到錯誤


3)檢查oozie.services屬性是否確置正常,主要是org.apache.oozie.service.JobsConcurrencyService類的次序是否已調致第一個,如果沒有,則會報在oozie的后臺目錄中會報NullPointerException錯誤。


7.修改/etc/hadoop/mapred-site.xml?增加以下內容



?yarn.app.mapreduce.am.staging-dir
?/user

??????/etc/hadoop/yarn-site.xml
將配置注釋掉
?

8. 在hdfs上創建/user/history

=============== http://mirrors.hust.edu.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

總結

以上是生活随笔為你收集整理的How-to: Use the ShareLib in Apache Oozie的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。