本文是對[1]的重新整理。

#---------------------------------------------------------------------------------------------------------------------

軟件	版本
MySQL	8.0.20-0ubuntu0.19.10.1
Hive	apache-hive-3.0.0-bin
Hbase	hbase-2.2.4
SQOOP	sqoop-1.4.7.bin__hadoop-2.6.0
HADOOP	hadoop-3.1.2

#---------------------------------------------------------------------------------------------------------------------

流程思路:

hbase->Hive外表->Hive內表->Mysql（這個流程搞不定，改為下述流程）

改為

hbase->Hive外表->導出Hive外表的HDFS文件->mysql導入HDFS文件

外表和內表的區別見[2]

#------------------------------------------------步驟如下---------------------------------------------------------------------

步驟	操作命令	備注
Mysql建立空表	?	?
Hbase建立employee表	create 'employee','info' put 'employee',1,'info:id',1 put 'employee',1,'info:name','peter'??? put 'employee',2,'info:id',2 ????????????????????????? put 'employee',2,'info:name','paul'	建表和插入2條數據
建立Hive外表(beeline)	CREATE EXTERNAL TABLE h_employee(key int, id int, name string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"= ":key, info:id,info:name") TBLPROPERTIES ("hbase.table.name"= "employee"); ?	?
建立Hive內表(beeline)	CREATE TABLE h_employee_export(key INT, id INT, name STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\054'; ?	?
Hive外表->Hive內表	insert overwrite table h_employee_export select * from h_employee;	Hive外表是基于Hbase的
Hive內表->Mysql	?	?

?

數據庫/數據倉庫	表格名稱
Mysql	employee
Hbase	employee
Hive內表	h_employee_export
Hive外表	h_employee

?

insert overwrite table h_employee_export select * from h_employee;

執行這句話的時候出現:

INFO ?: 2020-05-29 21:28:01,357 Stage-1 map = 0%, ?reduce = 0%
INFO ?: 2020-05-29 21:29:01,601 Stage-1 map = 0%, ?reduce = 0%
INFO ?: 2020-05-29 21:30:01,746 Stage-1 map = 0%, ?reduce = 0%

網上解決方案是改yarn-site.xml中的yarn.nodemanager.resource.memory-mb，試過無效，失敗,以后再說！！！

##################################################################################

Reference:

[1]sqoop從hbase導出數據到mysql

[2]hive內表和外表區別(轉載+自己整理)

總結

以上是生活随笔為你收集整理的hbase数据导入到mysql(转载+自己验证整理,目前失败)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。