HADOOP__PIG安装与配置
PIG安裝與配置
前提
已成功安裝好Hadoop集群。
詳見:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html
以下只在一個結點做,PIG可以直接調用整個集群。此處我選擇了獨立于其他節點的Server(CentOS)節點。
安裝要求:
Server節點要求。
①已安裝JDK。
②已有HADOOP目錄,并且其中的maters,slaves文件已做好配置.
(最好可以直接拷貝集群中一個節點的HADOOP目錄)
PIG安裝是比較容易的,相對于其他項目而言。
(一)下載解壓PIG
Pig下載路徑,下載0.9.2(之前嘗試了其他版本報錯了:failed to create DataStorage嘗試比較低的版本,
詳見:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html)
http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz
將下載好的文件放到 /usr/hadoop/目錄下并解壓:
tar -zxvf?pig-0.9.2.tar.gz
(二)配置PIG環境
配置用戶的環境變量:
vi ~/.bash_profile
添加如下內容:
PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
HADOOP_HOME=/usr/hadoop
export PATH
export HADOOP_HOME
為什么這么設置: 將PIG的bin目錄添加到PATH中,可以直接在shell中敲入PIG命令進入程序,而非進入目錄再執行。PIG在執行的時候會自動讀取當前環境變量中的 HADOOP_HOME,從找到對應的HADOOP目錄,也會讀取JAVA_HOME來找到要使用的JAVA環境。
注意:
如果JDK沒有在/etc/profile中export的話,請在此處做一次export(JAVA_HOME是PIG中必須的一個變量)。
export JAVA_HOME
做好配置之后:
來執行這個文件,使剛配置好的環境變量生效
(三)運行PIG
在shell中:
pig -x local
進入本地模式
之間鍵入:
pig
進入集群模式
轉載于:https://www.cnblogs.com/freeideas/archive/2013/04/22/3036668.html
總結
以上是生活随笔為你收集整理的HADOOP__PIG安装与配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LeetCode—221. 最大正方形
- 下一篇: wireshark过滤使用