sqoop 是什么？

sqoop 主要用于異構數據：

1. 將數據從hadoop，hive 導入、導出到關系型數據庫mysql 等;

2. 將關系型數據庫 mysql 中數據導入、導出到 hadoop 、hve 。

sqoop 版本說明

sqoop 1 版本主要從1.4.0 到 1.4.7；sqoop 2 版本主要從1.99.1 到1.99.7。

sqoop1 和 sqoop2 的主要區別

sqoop2 對 sqoop 1 主要在性能、安全方面做了優化升級，并新增了服務端，sqoop2 可以通過編程 rest api 的方式進行數據同步，不過目前 sqoop 2 沒有實現將 mysql 數據直接導入到 hive，可以用 sqoop 1 版本通過 shell 客戶端腳本方式實現 mysql 同步 hive 功能。

sqoop 基本原理

sqoop 1 主要通過 hadoop 的分布式計算 mapreduce 任務進行數據的同步。

(sqoop1 架構)

(sqoop 2 架構)

sqoop 命令

將 mysql 中數據導入到 hive 為例，包括全量、增量導入：

$ sqoop import

--connect jdbc:mysql://ip:3306/db 數據庫連接串

--username root 用戶名

--password root 密碼

--split-by id 執行并行分批字段，一般主健，配合 -m 使用

-m 2 mapper 數

--fields-terminated-by "" 導出字段分隔符，此次為制表符為分隔符

--lines-terminated-by "" 換行符

--hive-import

--create-hive-table 創建 hive 表，如果目標表已經存在了，那么創建任務會失敗

--hive-table pas_med_info hive 表名

--null-string 'N' 將mysql 中的NULL數據轉換為hive 的 NULL

--target-dir /apps/hive/warehouse/db/dt='日期' hive 在 hdfs 存儲路徑，dt='日期' 可以分區導入，當寫成腳本時可以將日期做為變量，每天定時同步導入。

-- query where [可選] 增量導入方式一 ，推薦使用，直接可以用shell 腳本定時跑數據，方便簡單

--incremental append或lastmodify [可選] 增量導入方式二，操作一

--append [可選] 如果選擇lastmodify 則需要添加此命令，配合操作一使用

–check-column createtime [可選] 用于檢查增量數據的列 ，必須是 timestamp 列，配合操作一使用

Sqoop2 代碼示例

以 java 語言，將 mysql 中數據導入到 hdfs 為例：

1. 添加依賴

org.apache.sqoop sqoop-client 1.99.7

2. 創建 sqoop 客戶端

String url = "http://ip:12000/sqoop/";SqoopClient client = new SqoopClient(url);client.setServerUrl(url);

3. 創建 mysql link

4. 創建 hdfs link

5. 創建 job 并提交同步數據任務

限于篇幅，就不大量貼代碼了，請關注公眾號，私信我，我會將完整實例發你。

請關注公眾號：媛道，sqoop

或長按二維碼，識別關注

總結

以上是生活随笔為你收集整理的sqoop 导入到hive字段全是null_Sqoop 一点通的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。