?

啟動Hadoop

?

設置環境變量，設置了。

修改配置文件 /etc/hadoop/core-site.xml

也修改了配置文件 /etc/hadoop/hdfs-site.xml

還修改了配置文件 /etc/hadoop/yarn-site.xml

最后修改了配置文件 /etc/hadoop/mapred-site.xml

?

但是打出 hdfs namenode -format 的命令的時候，沒有反應，找不到命令。

當我打出了?start-dfs.sh 的時候也是沒有反應，倒是，./strat-dfs.sh 運行腳本才有反應。

而且反應很奇怪，

?

它會要求輸入 master 的密碼，然后輸入localhost 的密碼。非常奇怪！

?但是輸入jps 還是有反應的。但是在 slave 機輸入jps?卻一點反應也沒有。

?

PATH變量問題所導致的找不到命令

所以需要配置要PATH，方便行事。但這個不是急事！

?

?

路徑出了問題

這個問題，就是路徑有問題，因為路徑在/home/sam/hadoop-2.6.1/bin/hdfs

所以修改成功成功后，就搞定了。

這樣搞定了，但是ssh 進入slave 1的時候，發現了問題，在salve1里面沒有能找到了jps命令。

?

在slave上也要安裝HADOOP

關于這方面的內容書上很少，關鍵在于參考這個BLOG：http://www.powerxing.com/install-hadoop-cluster/。

關于這個BLOG，一開始的步驟并不是復制HADOOP到slave?機器然后各種修改slave 機器的配置。而是

先修改主機 namenode 的配置，然后壓縮起來，傳給SLAVE 然后就各種命令啟動。OK了。

?

成功安裝需要避免的坑:

1就是主機和奴隸機的安裝路徑要一致。

2要注意 <configuration> </configuration>的問題

3 start 之前要先stop-all.sh 以防止節點已經存在的問題

4大部分問題都是配置路徑的問題

?

最后用hdfs dfsadmin -report 的命令來查看，可以看到目前圈養了一只奴隸機。

?

現在我來貼一下我的配置文件（主機：）

core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop-2.6.1/tmp</value><description>Abase for other temporary directories.</description></property> </configuration>

?

hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Master:50090</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop-2.6.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop-2.6.1/tmp/dfs/data</value></property> </configuration>

?

mapred-site.xml.template

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property> </configuration>

yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

奴隸機的基本和主機的一致，但前提是在主機中hadoop 安裝路徑在 home/hadoop

奴隸機的也是在 home/hadoop! 路徑一定要一致！

?

轉載于:https://www.cnblogs.com/zzzPark/p/7339117.html

總結

以上是生活随笔為你收集整理的hadoop大数据分析与挖掘实战（读书笔记3）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。