集群遷移

主要是要找到兩個集群中active狀態(tài)的namenode

集群遷移不同于服務器之間的文件發(fā)送，在hdfs中，文件是以塊的形式，只可以通過namenode訪問文件，所以遷移時需要通過hadoop命令

主要命令是distcp

distcp有很多參數(shù)，如果是第一次備份，也就是目標集群中沒有數(shù)據(jù)，第一次可以用overwrite，如果是定期備份，可以使用diff，如果是目標文件追加數(shù)據(jù)，可以用append

遷移命令

hadoop distcp -overwrite hdfs://host1:50070/apps/hive/warehouse hdfs://host2:50070/apps/hive/warehouse

錯位信息：

?

地址端口有問題

查看兩個機器的hosts

cat /etc/hosts

發(fā)現(xiàn)均配置了ip映射，由于同處一個內(nèi)網(wǎng)環(huán)境，ip和端口互通

50070是namenode的http服務端口

8020是namenode的內(nèi)部通信端口

修改遷移命令，再次提交

hadoop distcp -overwrite hdfs://host1:8020/apps/hive/warehouse hdfs://host2:8020/apps/hive/warehouse

控制臺阻塞

?

由于cpu資源占用，任務提交后阻塞

總結(jié)

以上是生活随笔為你收集整理的hadoop集群迁移的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。