集群遷移

主要是要找到兩個集群中active狀態的namenode

集群遷移不同于服務器之間的文件發送，在hdfs中，文件是以塊的形式，只可以通過namenode訪問文件，所以遷移時需要通過hadoop命令

主要命令是distcp

distcp有很多參數，如果是第一次備份，也就是目標集群中沒有數據，第一次可以用overwrite，如果是定期備份，可以使用diff，如果是目標文件追加數據，可以用append

遷移命令

hadoop distcp -overwrite hdfs://host1:50070/apps/hive/warehouse hdfs://host2:50070/apps/hive/warehouse

錯位信息：

?

地址端口有問題

查看兩個機器的hosts

cat /etc/hosts

發現均配置了ip映射，由于同處一個內網環境，ip和端口互通

50070是namenode的http服務端口

8020是namenode的內部通信端口

修改遷移命令，再次提交

hadoop distcp -overwrite hdfs://host1:8020/apps/hive/warehouse hdfs://host2:8020/apps/hive/warehouse

控制臺阻塞

?

由于cpu資源占用，任務提交后阻塞

總結

以上是生活随笔為你收集整理的hadoop集群迁移的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。