一、 Hadoop節點熱拔插

在Hadoop集群中經常會進行增添節點操作，即實現節點的熱拔插。在這些操作中不希望對集群進行重啟。

2.在集群中添加節點：

a. 把新節點IP或者主機名字加入到主節點的slaves文件。

b. 登錄到新節點，執行：

cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker

3. 從集群中移走節點，且對移走節點的數據進行備份：

a. 在主節點的hdfs-site.xml配置文件中添加

<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>

b. 在主節點的$HADOOP_HOME目錄下新建文件excludes，每行為需要移走的節點，該例為s140。

c. 運行命令：hadoop dfsadmin -refreshNodes，該命令可以動態刷新dfs.hosts和dfs.hosts.exclude配置，無需重啟NameNode。此刻datanode消失了，但是tasktracker還存在。

d. 然后通過 bin/hadoop dfsadmin -report查看，結果如下：

Name: 192.168.3.140:50010 Decommission Status : Decommission in progress Configured Capacity: 310716715008 (289.38 GB) DFS Used: 59891990052 (55.78 GB) Non DFS Used: 20663939548 (19.24 GB) DFS Remaining: 230160785408(214.35 GB) DFS Used%: 19.28% DFS Remaining%: 74.07% Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010 Name: 192.168.3.136:50010 Decommission Status : Normal Configured Capacity: 487925370880 (454.42 GB) DFS Used: 101679245034 (94.7 GB) Non DFS Used: 55873218838 (52.04 GB) DFS Remaining: 330372907008(307.68 GB) DFS Used%: 20.84% DFS Remaining%: 67.71% Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010

e. 在停掉節點Decommission Status不為Normal前, mapreduce操作會出現異常。

f. 節點移走64G數據需要十分鐘左右。

二、 數據負載均衡

1. 在Hadoop集群中新添加一個Datanode時，需要對集群數據進行負載均衡。

2. 在主節點運行bin/start-balancer.sh命令，可以添加參數-threshold 5，threshold是平衡閾值，默認是10%，值越小負載越均衡，但需要更長的時間去執行。

3. 添加s140到集群，執行負載均衡半個小時共負載了4G的數據。

?

轉自：http://blog.csdn.net/dajuezhao/article/details/5872923

轉載于:https://www.cnblogs.com/viviancc/archive/2012/03/05/2380743.html

總結

以上是生活随笔為你收集整理的Hadoop节点热拔插的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。