1 新增Data節(jié)點(diǎn)

1.1 修改/etc/hosts，增加datanode的ip?

1.2 在新增加的節(jié)點(diǎn)啟動(dòng)服務(wù)

hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1）如果不balance，那么cluster會(huì)把新的數(shù)據(jù)都存放在新的node上，這樣會(huì)降低mapred的工作效率?
2）設(shè)置平衡閾值，默認(rèn)是10%，值越低各節(jié)點(diǎn)越平衡，但消耗時(shí)間也更長?

start-balancer.sh -threshold 5

?

2 刪除節(jié)點(diǎn)

2.1 修改修改conf/hdfs-site.xml文件中的 ?“dfs.hosts.exclude“，確定要下架的機(jī)器，dfs.hosts.exclude定義的文件內(nèi)容為,每個(gè)需要下線的機(jī)器，一行一個(gè)。這個(gè)將阻止他們?nèi)ミB接Namenode。如：?

slave-001 slave-002

2.2 強(qiáng)制重新加載配置

hadoop dfsadmin -refreshNodes

2.3 關(guān)閉節(jié)點(diǎn)

等待上面的操作結(jié)束后，需要下架的機(jī)器就能安全的關(guān)閉了

2.4 查看機(jī)群概況

hadoop dfsadmin -report

2.5 再次編輯conf/hdfs-site.xml文件，修改dfs.hosts.exclude，將下架的機(jī)器移除

?

轉(zhuǎn)載于:https://www.cnblogs.com/liuchangchun/p/4716473.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Hadoop 新增删除节点的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。