cd $HADOOP_HOME 在/etc/profile中設置過了

1.設置JDK目錄 hadoop-env.sh

vim /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh 26 export JAVA_HOME=/usr/local/jdk1.8.0_151 34 export HADOOP_CONF_DIR=/usr/local/hadoop-2.8.4/etc/hadoop/ source /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh

2.指定HDFS主節點 核心設置

vim /usr/local/hadoop-2.8.4/etc/hadoop/core-site.xml <configuration><!--配置hdfs默認的命名--><property><name>fs.defaultFS</name><value>hdfs://6059master:9000</value></property><!--配置操作hdfs緩沖區大小--><property><name>io.file.buffer.size</name><value>4096</value></property><!--配置臨時目錄--><property><name>hadoop.tmp.dir</name><value>/home/bigdata/tmp</value></property> </configuration>

3.hdfs設置 hdfs-site.xml

需要注意 : 將主機域名替換為自己的域名

vim ./etc/hadoop/hdfs-site.xml vim /usr/local/hadoop-2.8.4/etc/hadoop/hdfs-site.xml <configuration><!--配置副本因子--><property> <name>dfs.replication</name><value>3</value></property><!--配置塊大小--><property><name>dfs.block.size</name><value>134217728</value></property><!--配置元數據的存儲位置--><property> <name>dfs.namenode.name.dir</name><value>file:///home/hadoopdata/dfs/name</value></property><!--配置datanode數據存放位置--><property><name>dfs.datanode.data.dir</name><value>/home/hadoopdata/dfs/data</value></property><!--配置dfs檢測目錄存放位置--><property><name>fs.checkpoint.dir</name><value>/home/hadoopdata/checkpoint/dfs/lglname</value></property><!--配置hdfs的namenode的web ui地址--><property><name>dfs.http.address</name><value>6059master:50070</value></property><!--配置dfs的SNN的web ui地址--><property><name>dfs.secondary.http.address</name><value>6059master:50090</value></property><!--是否開啟web操作dfs--><property><name>dfs.webhdfs.enabled</name><value>true</value></property><!--是否啟用hdfs的權限--><property><name>dfs.permissions</name><value>true</value></property> </configuration>

4.mapreduce設置 mapred-site.xml

cp /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml vim /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml <configuration><!--指定mapreduce運行框架--><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><!--歷史服務的通信地址--><property><name>mapreduce.jobhistory.address</name><value>6059master:10020</value></property><!--歷史服務的web ui通信地址--><property><name>mapreduce.jobhistory.webapp.address</name><value>6059master:19888</value></property> </configuration>

5.yarn設置 yarn-site.xml

vim /usr/local/hadoop-2.8.4/etc/hadoop/yarn-site.xml <configuration><!--指定resourcemanager所在的主機名--><property><name>yarn.resourcemanager.hostname</name><value>6059master</value></property><!--指定mapreduce的shuffle--><property> <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定resourcemanager內部通信地址--><property><name>yarn.resourcemanager.address</name><value>6059master:8032</value></property><!--指定scheduler的內部通信地址--><property><name>yarn.resourcemanager.scheduler.address</name><value>6059master:8030</value></property><!--指定rm的resource-tracker的內部通信地址--><property><name>yarn.resourcemanager.resource-tracker.address</name><value>6059master:8031</value></property><!--指定rm的admin的內部通信地址--><property><name>yarn.resourcemanager.admin.address</name><value>6059master:8033</value></property><!--指定rm的web ui地址--><property><name>yarn.resourcemanager.webapp.address</name><value>6059master:8088</value></property> </configuration>

6. 配置節點域名

vim /usr/local/hadoop-2.8.4/etc/hadoop/slaves 6059master 6059slave01 6059slave02

7. 完成分發任務

vim /etc/hosts 192.168.56.20 6059master 192.168.56.21 6059slave01 192.168.56.22 6059slave02

在兩個slave里刪除Hadoop目錄

6059slave01: rm -rf /usr/local/hadoop-2.8.4/ 6059slave02: rm -rf /usr/local/hadoop-2.8.4/

完成分發工作：ping

master: scp -r /usr/local/hadoop-2.8.4/ root@6059slave01:/usr/local/ scp -r /usr/local/hadoop-2.8.4/ root@6059slave02:/usr/local/

方法2
在master機上執行下列命令，將配置好的hadoop拷貝至slaveX、client。

cat ~/data/2/machines

for x in `cat ~/data/2/machines` ; do echo $x ; scp -r /usr/cstor/hadoop/etc $x:/usr/cstor/hadoop ;

8. 啟動

啟動之前要先在namenode服務器上格式化，只需一次。

hadoop namenode –format

8.1 啟動三種方式：

8.1.1方法一：全啟動：

start-all.sh

方法二：模式啟動：

start-dfs.sh start-yarn.sh

方法三：單個進程啟動：

hadoop-daemon.sh start namenode hadoop-daemons.sh start datanode yarn-daemon.sh start namenode yarn-daemons.sh start datanode mr-jobhistory-daemon.sh start historyserver

9. 測試

9.1 查看進程是否啟動了：

jps

9.2 查看對應模塊的web

http://192.168.56.20:50070

http://192.168.56.20:8088

9.3 文件操作

文件列表

# hdfs dfs -ls /

創建 xx文件

# hdfs dfs -mkdir xx

上傳文件

# hdfs dfs –put ./*** /

刪除文件夾

刪除文件，-rm -R 遞歸刪除目錄和文件

hadoop fs -rm 刪除文件，-rm -R 遞歸刪除目錄和文件

10. 跑一個程序

yarn jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /input/word.txt /output/01 hdfs dfs –ls /output/01 hdfs dfs –cat /output/01/part-r-00000

11. 常見錯誤處理

WARN ipc.Client

錯誤：

WARN ipc.Client: Failed to connect to server: 6059master/192.168.56.20:9000: try once and fail.

50070 端口進程 和 9000端口進程沒有啟動

11.1 查看 hdfs-site.xml

<!--配置hdfs的namenode的web ui地址--> <property><name>dfs.http.address</name><value>6059master:50070</value> </property>

11.2 關閉防火墻

# 查看防火墻狀態 systemctl status firewalld # 關閉防火墻 systemctl stop firewalld.service # 禁用防火墻 systemctl disable firewalld.service

還有個防火墻是selinux: 要設置為 vim /etc/selinux/config

SELINUX=disabled

3. namenode節點沒有啟動

# cd /usr/local/hadoop-2.8.4/bin/ # hdfs namenode -format

總結

以上是生活随笔為你收集整理的hadoop 全分布式部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。