當(dāng)用戶通過shell命令提交遷移作業(yè)后，Sqoop會從關(guān)系型數(shù)據(jù)庫中讀取元信息，并根據(jù)并發(fā)度和數(shù)據(jù)表大小將數(shù)據(jù)劃分成若干分片，每片交給一個Map Task處理，這樣多個Map Task同時讀取數(shù)據(jù)庫中當(dāng)數(shù)據(jù)，并行當(dāng)將數(shù)據(jù)寫入目標(biāo)存儲系統(tǒng)，比如HDFS、HBase和Hive等。

　　缺點

　　　　1.Connector定制麻煩：Sqoop1只支持基于JDBC的Connector，Connector開發(fā)復(fù)雜，未提供通用的功能，需要自己開發(fā)，與hadoop耦合度過高，

　　　　2.客戶端軟件繁多：Sqoop1要求依賴的軟件必須安裝在客戶端上，包括MySQL客戶端，Hadoop、HBase、Hive客戶端，JDBC驅(qū)動，數(shù)據(jù)庫廠商提供的Connector等

　　　　3.安全性差：需要用戶明文提供數(shù)據(jù)庫等用戶名和密碼。

轉(zhuǎn)載于:https://www.cnblogs.com/laphome/p/11203855.html

總結(jié)

以上是生活随笔為你收集整理的2.2.1 Sqoop1的基本架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。