X:原理上不存在這種流程或者沒有必要。

加粗:數據庫或數據倉庫

非加粗:表示文件格式

☆:表示重點，正在整理中

左側列:數據源頭

上側行:數據傳遞終點

?	Hbase	HDFS	json	txt	Mysql	Hive	Mongodb
Hbase	X	X(因為hbase本來就是基于HDFS的)	[6]或[7]	[6]或[7]	☆	[5]	☆
HDFS	X	X	下載后直接轉化	[3]	[3]	X(因為hive本來就是基于HDFS的)	?
json	?	?	X	直接修改后綴名即可	X	?	?
txt	?	?	?	X	[3]	?	?
Mysql	[1]或[2]	?	X	?	X	[4]	X
Hive	☆	[3]	?	?	[3]	X	?
Mongodb	☆	?	?	?	X	☆	X

稍微說明下:

[3]中，把hdfs文件拷貝到本地就是HDFS->txt的過程

hbase->json可以從網上看到都是基于java api讀取后處理的。

所以這里“[6]或[7]"是基于python來處理的。

Reference:

[1]sqoop把mysql數據導入hbase-完整記錄

[2]NIFI從mysql導入Hbase

[3]把hive數據導出至mysql

[4]sqoop把mysql數據導入hive

[5]hbase映射為hive表(轉載＋整理＋自己驗證)

[6]python基于happybase對hbase增刪改查-thrift1

[7]python操作hbase配置記錄-基于thrift2協議

?

?

總結

以上是生活随笔為你收集整理的大数据集群中数据互相导通流程汇总(持续更新中)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。