數(shù)據(jù)同步

　　界面如下：

　　　　

　　具體流程：

　　　　1、使用ExecuteSQL連接mysql數(shù)據(jù)庫，通過寫sql查詢所需要的數(shù)據(jù)

　　　　2、nifi默認(rèn)查出來的數(shù)據(jù)為Avro格式，所以需要ConvertAvroToJSON把Avro格式轉(zhuǎn)化為json格式的數(shù)據(jù)

　　　　3、使用ConvertJSONToSQL把json數(shù)據(jù)轉(zhuǎn)化為sql語句

　　　　4、使用PutSQL把數(shù)據(jù)存入數(shù)據(jù)庫。

　　　　5、同步的數(shù)據(jù)重復(fù)插入數(shù)據(jù)庫，需要對數(shù)據(jù)進(jìn)行更新操作，SplitJson對json進(jìn)行拆分

　　　　6、EvaluateJsonPath提取json中的某個屬性作為參數(shù)

　　　　7、ReplaceText根據(jù)參數(shù)編寫update語句進(jìn)行更新操作

　　　　8、PutSQL更新數(shù)據(jù)庫

　　傳遞關(guān)系時注意：本例僅傳遞成功的數(shù)據(jù)，失敗的不傳遞

　　ExecuteSQL

　　　　

　　DBCPConnectionPool

　　　　

　　ConvertAvroToJSON

　　　　

　　ConvertJSONToSQL

　　　　

　　PutSQL

　　　　

　　SplitJson

　　　　

　　EvaluateJsonPath

　　　　

　　ReplaceText

　　　　

　　PutSQL

　　　　

　　連接各個組件，然后啟動所有組件，即可運(yùn)行

?

總結(jié)

以上是生活随笔為你收集整理的nifi 实现数据库到数据库之间数据同步的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。