SQOOP是用于對數(shù)據(jù)進(jìn)行導(dǎo)入導(dǎo)出的。

(1)把MySQL、Oracle等數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到HDFS、Hive、HBase中

(2)把HDFS、Hive、HBase中的數(shù)據(jù)導(dǎo)出到MySQL、Oracle等數(shù)據(jù)庫中

(3)導(dǎo)入導(dǎo)出的事務(wù)是以Mapper任務(wù)為單位。

1、sqoop的安裝步驟

1.1、執(zhí)行命令：tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解壓

1.2、執(zhí)行命令：mv sqoop-1.4.3.bin__hadoop-1.0.0 sqoop重命名路徑

1.3、配置環(huán)境變量：并執(zhí)行命令：source /etc/profile

export SQOOP_HOME=/home/hadoop/app/sqoop

export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$JAVA_HOME/bin:$PATH

View Code

1.4、cp /home/hadoop/app/mysql-connector-java-5.1.10.jar $SQOOP_HOME/lib/

2、sqoop的使用

2.1、把數(shù)據(jù)從mysql導(dǎo)入到hdfs中：默認(rèn)路徑是/user/，注意這里的username是登錄主機(jī)的用戶，不是數(shù)據(jù)庫的用戶

sqoop ##sqoop命令

import ##表示導(dǎo)入

--connect jdbc:mysql://hadoop:3306/test ##告訴jdbc，連接mysql的url,其中test表示要導(dǎo)出數(shù)據(jù)的數(shù)據(jù)庫名稱

--username root ##連接mysql的用戶名

--password hadoop123 ##連接mysql的密碼

--table users ##從mysql導(dǎo)出的表名稱

--fields-terminated-by '\t' ##指定輸出文件中的行的字段分隔符

--null-string '**' ##指定空值的顯示為**

-m 1 ##復(fù)制過程使用1個map作業(yè),默認(rèn)為4

--append ##指定插入數(shù)據(jù)的方式

--hive-import ##把mysql表數(shù)據(jù)復(fù)制到hive中,如果不使用該選項,意味著復(fù)制到hdfs中

--check-column 'ID' ##指定增量導(dǎo)入要檢查的字段

--incremental append ##指定增量導(dǎo)入數(shù)據(jù)的方式

--last-value 6 ##指定增量導(dǎo)入數(shù)據(jù)的分割值

View Code

2.2、把數(shù)據(jù)從hdfs導(dǎo)出到mysql中

sqoop

export ##表示數(shù)據(jù)從hive復(fù)制到mysql中

--connect jdbc:mysql://hadoop:3306/test

--username root

--password admin

--table users_bak ##mysql中的表，即將被導(dǎo)入的表名稱,必須存在

--export-dir '/hive/users' ##hive中被導(dǎo)出的文件目錄

--fields-terminated-by '\t' ##hive中被導(dǎo)出的文件字段的分隔符

View Code

2.3、設(shè)置為作業(yè)，運行作業(yè)

sqoop

job #表示JOB命令

--create myjob #創(chuàng)建的JOB名稱

-- #不能省略！后面跟JOB的定義內(nèi)容

import

--connect jdbc:mysql://hadoop:3306/test

--username root

--password hadoop123

--table users

--fields-terminated-by '\t'

--null-string '**'

-m 1

--append

--hive-import

View Code

查看JOB：sqoop job --list

執(zhí)行JOB：sqoop job --exec myjob

刪除JOB：sqoop job --delete myjob

執(zhí)行后會要求輸入密碼注意是輸入：JOB定義內(nèi)容中的password 的值！

如果不想輸入密碼修改$SQOOP_HOME/conf/sqoop-site.xml中的參數(shù)

sqoop.metastore.client.record.password

true

If true, allow saved passwords in the metastore.

View Code

總結(jié)

以上是生活随笔為你收集整理的hbase sqoop 实验_SQOOP安装及使用-实验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。