通過Sqoop實現Mysql / Oracle 與HDFS / Hbase互導數據

SQOOP的描述

SQOOP是用于對數據進行導入導出的。

??? (1)把MySQL、Oracle等數據庫中的數據導入到HDFS、Hive、HBase中

????(2)把HDFS、Hive、HBase中的數據導出到MySQL、Oracle等數據庫中

一、Mysql與HDFS互導數據

環境：

環境介紹：3臺虛擬機安裝centos6.464位、jdk1.7 64位、hadoop2.5.1 64位

192.168.0.108 m1

192.168.0.109 s1

192.168.0.110 s2

?

SQOOP的安裝

解壓縮sqoop的tar.gz文件，設置環境變量（source /etc/profile）

?

把數據從mysql導入到hdfs(默認是/user/<username>)中

1.?? 復制mysql的驅動到sqoop目錄下的lib中

2.?? 執行導入命令

?

? sqoop import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import

?

?

說明：

ü? 執行import命令將mysql的hive數據庫中的TBLS表導入到hdfs中（默認目錄user/root）

ü? --fields-terminated-by '\t' ：表示導入到hdfs中以’\t’進行切割

ü? --null-string ‘**’：表示當字段為null時用’**’替換

ü? -m1：表示只指定一個map任務（map任務的個數關系生成文件的個數）

ü? --append：表示如果執行多次則進行追加（否則多次執行則會報already exsist）

ü? --hive-import：表示導入到hive中（如果只需導入到hdfs中則可不寫）

ü? ?

?

? sqoop import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import? --check-column 'TBL_ID' --incremental append --last-value 6

?

說明：

ü? 執行import命令將mysql的hive數據庫中的TBLS表導入到hdfs中（默認目錄user/root）

ü? --check-column 'TBL_ID'：表示檢查’TBL_ID‘列

ü? --incremental：表示增量

ü? --last-value 6：表示開始追加導入的列從第6列開始(不包含第6列)

ü? --check-column 'TBL_ID' --incremental append --last-value 6：整體解釋為檢查導入的主鍵列‘TBL_ID’當該列的值（增量）大于6時，可以進行追加導入，否則不進行導入

（這樣做的目的：當第一次導入數據時主鍵列的最后一個值為6，第二次導入時我們不想導入所有的數據而是后來增加的數據，所以我們可以接著上一次的數據導入，即不導入重復數據）

?

把數據從hdfs導出到mysql中?

? sqoop export --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'

?

說明：

--export-dir '/ids'：指定要導出到Mysql的文件目錄

?

設置為作業，運行作業

? sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table TBLS --fields-terminated-by '\t'? --null-string '**'? -m 1 --append? --hive-import?

?

說明：

ü? 設置為作業后可以直接執行作業，執行作業即執行該命令

ü? 執行作業的命令：sqoop job ?–exec ?myjob

ü? 查看作業已創建的Job作業：sqoop job –list

?

注：運行作業第一次需要輸入密碼，輸入密碼后即可執行，然后修改sqoop/conf/sqoop-site.xml中的sqoop.metastore.client.record.password（去掉注釋即可）

以后運行就不需要在此輸入密碼了

導入導出的事務是以Mapper任務為單位。

即一個Map任務一個事務

?

?案例：

連接測試

sqoop list-tables --connect jdbc:mysql://192.168.0.114:3306/test --username root --password zwx

#sqoop實現數據從oracle導入hdfs(hbase)

sqoop import --append --connect jdbc:oracle:thin:@192.168.0.20:1521:orcl --username yqdev --password yq --m 1 --table c_text --columns id,url,title,publishtime,copy --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo

#mysql

sqoop import --append --connect jdbc:mysql://192.168.0.114:3306/test --username root --password zwx --m 1 --table c_text --columns id,url,title,author --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo

?

總結

以上是生活随笔為你收集整理的sqoop实现Mysql、Oracle与hdfs之间数据的互导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。