Sqoop安裝及驗證環(huán)境：系統(tǒng)Red Hatlinux 6.4

Hadoop版本1.2.1

Sqoop版本1.4.4

Mysql數據庫版本5.6.15

通過Sqoop實現Mysql /Oracle與HDFS / Hbase互導數據http://www.linuxidc.com/Linux/2013-06/85817.htm

[Hadoop] Sqoop安裝過程詳解http://www.linuxidc.com/Linux/2013-05/84082.htm

用Sqoop進行MySQL和HDFS系統(tǒng)間的數據互導http://www.linuxidc.com/Linux/2013-04/83447.htm

Hadoop Oozie學習筆記 Oozie不支持Sqoop問題解決http://www.linuxidc.com/Linux/2012-08/67027.htm

Hadoop生態(tài)系統(tǒng)搭建(hadoop hive hbase zookeeper oozie Sqoop)http://www.linuxidc.com/Linux/2012-03/55721.htm

Hadoop學習全程記錄——使用Sqoop將MySQL中數據導入到Hive中http://www.linuxidc.com/Linux/2012-01/51993.htm

獲取sqoop：http://sqoop.apache.org/

Step1. 下載sqoop及mysqlconnector并解壓

Step2. 將解壓后的connector中的jar包拷貝到sqoop的lib目錄下

修改bin目錄下 configure-sqoop 文件：

注釋掉hbase和 zookeeper檢查，因為目前還沒有啟用hbase/zookeeper等hadoop上的組件

Step3. 設置環(huán)境變量

注意重新連接使環(huán)境變量生效！

Sqoop:

Hadoop_home:

測試運行下sqoop：

可以使用help命令查看幫助：

Step4. 測試mysql導入HDFS：

創(chuàng)建一張測試表并插入數據：

利用sqoop將測試表導入到hdfs：

注意：可以用sqoop help import 查看幫助信息

登陸mysql創(chuàng)建用戶，授予從任何ip登陸mysql權限

這里創(chuàng)建用戶sqoopuser

GRANT ALL PRIVILEGES ON *.* TO 'sqoopuser'@'%' IDENTIFIED BY 'sqoopuser' WITH GRANT OPTION;

查看數據庫列表：

sqoop list-databases --connect jdbc:mysql://10.55.15.89:3306/ --username sqoopuser --P

執(zhí)行導入命令將sqoop_test表導入到hdfs：

sqoop import --connect jdbc:mysql://10.55.15.89:3306/sqoop_db --username sqoopuser --P --table sqoop_test -m 1

相關標簽：

本文原創(chuàng)發(fā)布php中文網，轉載請注明出處，感謝您的尊重！

總結

以上是生活随笔為你收集整理的sqoop mysql 安装_Sqoop安装及验证_MySQL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。