端口是自定義的

http://desktop:9091/nifi/

?

mysql數(shù)據(jù)集準備以[2]為準

需要提前在hbase中建立好數(shù)據(jù)庫:

hbase>create "book","information"

?

?

mysql設置:

然后點擊齒輪,填寫表格如下:

Database Connection URL	jdbc:mysql://localhost:3306/sqoop_hbase?useUnicode=true&characterEncoding=utf8&useSSL=true
Database Driver Class Name	com.mysql.jdbc.Driver
Database Driver Location(s)	/home/appleyuchi/bigdata/apache-hive-3.0.0-bin/lib/./mysql-connector-java-8.0.20.jar
Database User	appleyuchi
Password	appleyuchi

填寫完后點擊閃電符號生效

?

數(shù)據(jù)流程思路:

從ExecuteSQL里出來的是avro格式的數(shù)據(jù)，要先將其轉(zhuǎn)化成json格式，再導入HBase。拖一個ConvertAvroToJson Processor到界面。然后，從ExecuteSQL連一條線到ConvertAvroToJson，關(guān)系為success。

?

需要在界面設置好hbase的表格名，列簇和主鍵

?

最終框架如下:

上述mysql到hbase的NIFI完整詳細配置文件在:

https://gitee.com/appleyuchi/cluster_configuration/tree/master/spark3.0.0-hadoop3.2.1%E7%A6%BB%E7%BA%BF%E5%A4%9A%E6%9C%BA%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE-%E5%AE%8C%E6%88%90/NIFI%E6%95%B0%E6%8D%AE%E6%B5%81%E9%85%8D%E7%BD%AE

最后start即可，start后，數(shù)據(jù)是實時從mysql同步到hbase的，

在hbase中

scan 'book'

就可以看到導入的進度。

如果此時在mysql增加一條數(shù)據(jù)，那么過一會兒就可以在hbase中看到。

整個NIFI一旦start以后，是不會自己停止的，會時刻監(jiān)控mysql新增的數(shù)據(jù)。

?

?

Reference:

[1]使用NiFi將數(shù)據(jù)從Mysql導入至HBase

[2]sqoop把mysql數(shù)據(jù)導入hbase-完整記錄

總結(jié)

以上是生活随笔為你收集整理的NIFI从mysql导入Hbase的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。