Sqoop(發音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。

對于某些Nosql數據庫它也提供了連接器。Sqoop，類似于其他ETL工具，使用元數據模型來判斷數據類型并在數據從數據源轉移到Hadoop時確保類型安全的數據處理。Sqoop專為大數據批量傳輸設計，能夠分割數據集并創建Hadoop任務來處理每個區塊。

?

1.解壓：

tar -xvf sqoop-1.4.5-cdh5.3.6.tar.gz -C /home/hadoop/CDH5.3.6

2.進去conf目錄

/home/hadoop/CDH5.3.6/sqoop-1.4.5-cdh5.3.6/conf

3.重命名文件

[hadoop@master conf]$ cp sqoop-env-template.sh sqoop-env.sh

4.修改配置文件sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6export HADOOP_MAPRED_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6export HIVE_HOME=/home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6

5.驗證：

?查看版本：

?

?

?

查看命令怎么用：

bin/sqoop? help list-databases

鏈接的是MySQL數據庫，需要拷貝一個jdbc驅動包

cp /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/lib/mysql-connector-java-5.1.46.jar ./lib/ [hadoop@master lib]$ mysql -u root -p Enter password: mysql> update user set host = '%' where user = 'root'; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec)

展現數據庫有哪些database：

bin/sqoop list-databases \ --connect jdbc:mysql://192.168.1.30:3306 \ --username root \ --password mysql

?

安裝完成，sqoop主要作用于export 、import 導入導出，見下次隨筆

?

轉載于:https://www.cnblogs.com/hello-wei/p/10964899.html

總結

以上是生活随笔為你收集整理的CHD-5.3.6集群上sqoop安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。