一、快速入門
（一）下載安裝
1、下載并解壓
wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz
tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz

2、將sqoop中的命令添加至$PATH中
export PATH=$PATH:/home/jediael/setupfile/sqoop-1.4.4-cdh5.1.2/bin

3、驗證安裝
jediael@jediael:~/setupfile/sqoop-1.4.4-cdh5.1.2/bin$ source /etc/profile
……..
15/05/15 09:47:37 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.1.2
Sqoop 1.4.4-cdh5.1.2
……..

（二）在mysql中準備數(shù)據(jù)
1、創(chuàng)建數(shù)據(jù)庫交授權(quán)
create database sqoop;
use sqoop;
GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost';


2、創(chuàng)建表
create table widgets(
?? ?id int not null primary key auto_increment,
?? ?widget_name varchar(64) not null,
?? ?price decimal(10,2),
?? ?design_date date,
?? ?version int,
?? ?design_comment varchar(100));

3、插入數(shù)據(jù)
insert into widgets values(null, 'sprocket', 0.25, '2010-02-10', 1, 'Connects two gizmos');
insert into widgets values(null, 'gizmos', 4.00, '2009-11-30', 4, null);
insert into widgets values(null, 'gadget', 99.99, '193-08-13', 13, 'Our flagship product');?? ?

（三）將mysql中的數(shù)據(jù)導入hdfs
1、準備jdbc connector，并將之入到sqoop/lib目錄下
wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz
tar -zxvf mysql-connector-java-5.1.35.tar.gz
cp mysql-connector-java-5.1.35-bin.jar ../sqoop-1.4.4-cdh5.1.2/lib/

2、導入數(shù)據(jù)
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1

3、查看數(shù)據(jù)
$ hadoop fs -cat widgets/part-m-00000
15/05/15 10:29:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1,sprocket,0.25,2010-02-10,1,Connects two gizmos
2,gizmos,4.00,2009-11-30,4,null
3,gadget,99.99,0193-08-13,13,Our flagship product

4、import除了將數(shù)據(jù)導入hdfs中，還在當前目錄生成了widgets.java文件。
還可以使用以下命令只生成java類，而不進行實際的導入：
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets --class-name widget



二、sqoop與hive
（一）將數(shù)據(jù)導入hive
1、若僅需要將mysql中的數(shù)據(jù)導入sqoop中，則可以執(zhí)行以下命令
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1 --hive-import
驗證數(shù)據(jù)：
hive> select * from widgets;
OK
1?? ?sprocket?? ?0.25?? ?2010-02-10?? ?1?? ?Connects two gizmos
2?? ?gizmos?? ?4.0?? ?2009-11-30?? ?4?? ?null
3?? ?gadget?? ?99.99?? ?0193-08-13?? ?13?? ?Our flagship product
Time taken: 1.299 seconds, Fetched: 3 row(s)

2、若需要先將mysql中的數(shù)據(jù)導入hdfs，再從hdfs中導入hive
（1）將數(shù)據(jù)導入hdfs：見上面。
（2）創(chuàng)建表
sqoop create-hive-table --connect jdbc:mysql://localhost/sqoop --table widgets --fields-terminated-by ‘,'
這會根據(jù)mysql中的表結(jié)構(gòu)直接創(chuàng)建一個hive表。
（3）將hdfs中的數(shù)據(jù)導入hive中
hive> load data inpath "widgets" into table widgets;
此時數(shù)據(jù)存儲在/user/hive/warehouse/widgets

（二）在hive中進行數(shù)據(jù)分析
1、創(chuàng)建hive表，用于保存分析結(jié)果
create table widgets_sum(sum int);

2、分析
hive> insert into table widgets_sum select count(1) from? widgets;

（三）將數(shù)據(jù)導出到mysql
1、在mysql中創(chuàng)建表，用于保存從hive中導出的結(jié)果
create table widgets_sum(sum int);
注意，sqoop能夠根據(jù)mysql的結(jié)構(gòu)自動生成hive表，但反之不行，必須手工建表
2、sqoop export --connect jdbc:mysql://localhost/sqoop -m 1 --table widgets_sum --export-dir /user/hive/warehouse/widgets_sum --input-fields-terminated-by '\0001



異常：
1、若沒執(zhí)行GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost’;
則會出現(xiàn)以下異常：
15/05/15 10:25:28 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)
java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)

總結(jié)

以上是生活随笔為你收集整理的sqoop 1.4.4-cdh5.1.2快速入门的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。