hadoop删除节点
?
今天在hadoop集群環境下需要將兩臺datanode刪除，為了不影響在運行業務，需對節點進行動態刪除，記錄操作過程如下：
?
1， 從集群中移走節點，需要對移走節點的數據進行備份：
在主節點的core-site.xml配置文件中添加如下內容：
<property>
? ? ? ? ? <name>dfs.hosts.exclude</name>
? ? ? ? ? <value>/home/hadoop/hadoop/conf/excludes</value>
</property>
?
說明
dfs.hosts.exclude：指要刪除的節點
/home/hadoop/hadoop/conf/excludes：指定要被刪除文件所在路徑及名稱，該處定義為excludes
?
2， 在1中設置目錄中touch excludes，內容為每行需要移走的節點
cloud4
cloud5
?
3，進入 運行命令：hadoop dfsadmin -refreshNodes（我這用的yum安裝的，不同安裝方式hadoop目錄會在不同路徑），該命令可以動態刷新dfs.hosts和dfs.hosts.exclude配置，無需重啟NameNode。
?執行完成被刪除節點datanode消失了，但是tasktracker還會存在，需要自己手動停掉
?
4，然后通過 bin/hadoop dfsadmin -report查看，結果如下：?
?
Configured Capacity: 17721082527744 (16.12 TB)
Present Capacity: 16806607028262 (15.29 TB)
DFS Remaining: 14996775104512 (13.64 TB)
DFS Used: 1809831923750 (1.65 TB)
DFS Used%: 10.77%
Under replicated blocks: 6788
Blocks with corrupt replicas: 0
Missing blocks: 0
?
-------------------------------------------------
Datanodes available: 6 (6 total, 0 dead)
?
Name: 192.168.1.5:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 265079108972 (246.87 GB)
Non DFS Used: 150286670484 (139.97 GB)
DFS Remaining: 2538145878016(2.31 TB)
DFS Used%: 8.98%
DFS Remaining%: 85.94%
Last contact: Thu Sep 08 10:12:45 CST 2011
?
Name: 192.168.1.8:50010
Decommission Status : Decommission in progress
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 228590288896 (212.89 GB)
Non DFS Used: 150240718848 (139.92 GB)
DFS Remaining: 2574680649728(2.34 TB)
DFS Used%: 7.74%
DFS Remaining%: 87.17%
Last contact: Thu Sep 08 10:12:45 CST 2011
?
?Name: 192.168.1.7:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 266826599821 (248.5 GB)
Non DFS Used: 150259458675 (139.94 GB)
DFS Remaining: 2536425598976(2.31 TB)
DFS Used%: 9.03%
DFS Remaining%: 85.88%
Last contact: Thu Sep 08 10:12:46 CST 2011
?
?Name: 192.168.1.9:50010
Decommission Status : Decommission in progress
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 226060701696 (210.54 GB)
Non DFS Used: 150240718848 (139.92 GB)
DFS Remaining: 2577210236928(2.34 TB)
DFS Used%: 7.65%
DFS Remaining%: 87.26%
Last contact: Thu Sep 08 10:12:45 CST 2011
?
?Name: 192.168.1.4:50010
Decommission Status : Normal
Configured Capacity: 2953524240384 (2.69 TB)
DFS Used: 553202110857 (515.21 GB)
Non DFS Used: 163197603447 (151.99 GB)
DFS Remaining: 2237124526080(2.03 TB)
DFS Used%: 18.73%
DFS Remaining%: 75.74%
Last contact: Thu Sep 08 10:12:46 CST 2011
?
?Name: 192.168.1.6:50010
Decommission Status : Normal
Configured Capacity: 2953511657472 (2.69 TB)
DFS Used: 270073113508 (251.53 GB)
Non DFS Used: 150250329180 (139.93 GB)
DFS Remaining: 2533188214784(2.3 TB)
DFS Used%: 9.14%
DFS Remaining%: 85.77%
Last contact: Thu Sep 08 10:12:44 CST 2011
?
?
?
5，通過4中命令可以查看到被刪除節點狀態，如192.168.1.9
?
Decommission Status : Decommissioned
說明從91往其他節點同步數據已經完成，如果狀態為Decommission Status : Decommissione in process則還在執行。
?
?
?
至此刪除節點操作完成
?
?
?
問題總結
?
在拔掉節點時注意要把往hadoop放數據程序先停掉，否則程序還會往要刪除節點同步數據，刪除節點程序會一直執行。
轉載于:https://www.cnblogs.com/licheng/archive/2011/11/08/2241854.html
總結
以上是生活随笔為你收集整理的hadoop删除节点的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深入理解Java虚拟机（类文件结构）
- 下一篇： 节后大礼包！XSql 源码开放，插件源码