??? 春節(jié)前用的shark，是從github下載的源碼，自己編譯。shark的master源碼僅支持hive 0.9，支持hive 0.11的shark只是個(gè)分支，不穩(wěn)定，官方?jīng)]有發(fā)布release版，在使用過程中出現(xiàn)了一些問題。現(xiàn)在官方將hive 0.11分布合并到主干代碼，并且發(fā)布了支持hive 0.11的穩(wěn)定版本。為了使用最新的shark 0.9，需要重新安裝部署整個(gè)環(huán)境，包括：hadoop cdh 4.5+hive 0.11(shark 0.9版)+spark 0.9 +shark 0.9。

一、配置linux用戶

groupadd hadoopgroup

adduser -g hadoopgroup kituser

passwd kituser

二、ssh無驗(yàn)證登陸

??? 1、用kituser登陸，執(zhí)行：

ssh-keygen -t rsa -P ""

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

??? 完成后，用ssh localhost測試。

??? 2、將服務(wù)器的authorized_keys文本文件內(nèi)容“追加”到各客戶端的authorized_keys文件中，將客戶端的authorized_keys追加到服務(wù)端的authorized_keys文件中。

三、上傳文件解壓后的hadoop文件夾到linux

四、修改hadoop配置文件

??? 1、core-site.xml

??? 2、mapred-site.xml

??? 3、yarn-site.xml

??? 4、hdfs-site.xml

??? 5、slaves.xml

??? 然后執(zhí)行chmod -R 777 /home/kituser/bigdata，設(shè)置此文件夾及下屬權(quán)限。

五、修改當(dāng)前用戶的.bash_profile文件

export JAVA_HOME=/usr/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$PATH:$JAVA_HOME/bin

?

export HADOOP_HOME="/home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0"
export HADOOP_PREFIX=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export YARN_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib:$HADOOP_CONF_DIR:$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/lib64:/usr/lib64

??? 然后執(zhí)行source /home/kituser/.bash_profile，使.bash_profile文件配置生效。

??? 另外，記得檢查/關(guān)閉訪問墻：service iptables stop/staus。

六、驗(yàn)證hadoop是否正常

??? 1、初始化及啟動(dòng)

首次格式化:hadoop namenode -format

啟動(dòng)：start-all.sh

停止：stop-all.sh

查看進(jìn)程：jps

??? 2、測試hdfs：

hadoop fs -mkdir hdfs://kit-b5:8020/testfolder

hadoop fs -ls hdfs://kit-b5:8020/

hadoop fs -copyFromLocal /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/cloudera/*.txt hdfs://kit-b5:8020/

??? 3、驗(yàn)證map/reduce：

hadoop fs -mkdir hdfs://kit-b5:8020/input

hadoop fs -put /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/cloudera/*.txt hdfs://kit-b5:8020/input/

hadoop jar /home/kituser/bigdata/hadoop-2.0.0-cdh4.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar wordcount hdfs://kit-b5:8020/input/ hdfs://kit-b5:8020/output/

hadoop fs -ls hdfs://kit-b5:8020/output/

hadoop fs -cat hdfs://kit-b5:8020/output/part-r-00000/ 即可看到每個(gè) 單詞的數(shù)量

轉(zhuǎn)載于:https://www.cnblogs.com/lam99v/p/3556121.html

總結(jié)

以上是生活随笔為你收集整理的hadoop cdh 4.5的安装配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。