https://www.jianshu.com/p/990bb550be3b

?

hbase0.94.11（hadoop為1.1.2，此電腦ip為172.19.32.128）向hbase1.1.2 (hadoop為2.6.5，此電腦ip為172.19.32.118)數(shù)據(jù)遷移.

?

第一步：首先必須關(guān)閉防火墻。

???????? Sudo ufw status?? （如果沒有下載ufw,則sudo apt-get install ufw）

???????? Sudo ufw enable

???????? Sudo ufw disable

???????? Sudo ufw allow|deny 8000

?

第二步進行遷移

　　方式一：

　　用snapshot進行數(shù)據(jù)遷移時需要localhost的地方把hadoop的core-site.xml中的fs.default.name設(shè)置為localhost。不要使用本機ip,即172.19.32.128。

　　　　?

? ? ?

　　方式二：

　　使用hadoop fs –cp命令，進行數(shù)據(jù)遷移時，雙方的ip必須按照hadoop的core-site.xml中的fs.default.name來寫。（src中配置為localhost,des中配置是其本機的地址，即172.19.32.118）.

?

　　　　?

?

　　方式三：

　　使用hadoop的distcp工具進行數(shù)據(jù)遷移：

　　　　?

?

?

?

數(shù)據(jù)遷移總結(jié)：

?　　　1. hadoop distcp

　　　　將hbase存儲在hdfs上面的數(shù)據(jù)目錄全部從當前集群拷貝至目標集群hbase對應的hdfs目錄；

　　　　hadoop distcp -f hbasedir "hdfs://new cluster ip:9000/hbasedir

　　　　說明：此方案只適用于離線遷移；且測試由0.94–》1.1.2版本測試失敗。同版本的數(shù)據(jù)遷移（備份）沒問題 。

?

　　　　2. hadoop fs –cp

　　　　此操作可以進行本地文件系統(tǒng)和hdfs中數(shù)據(jù)的導入導出。實現(xiàn)兩個集群的hdfs進行，此操作需要消耗大量的網(wǎng)絡(luò)帶寬，速度慢。測試由0.94–》1.1.2版本測試失敗。

?

　　　　3.hbase –snapshot

　　　　此操作進行數(shù)據(jù)遷移比較高效，較推薦。測試由0.94–》1.1.2版本測試失敗。

?

???????? 以上三種都需要注意ip的設(shè)置。

?

轉(zhuǎn)載于:https://www.cnblogs.com/dhName/p/10469637.html

總結(jié)

以上是生活随笔為你收集整理的伪分布式hbase数据迁移汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。