SQOOP的描述

SQOOP是用于對數據進行導入導出的。

???(1)把MySQL、Oracle等數據庫中的數據導入到HDFS、Hive、HBase中

???????? (2)把HDFS、Hive、HBase中的數據導出到MySQL、Oracle等數據庫中

?

SQOOP的安裝

解壓縮sqoop的tar.gz文件，設置環境變量（source /etc/profile）

?

把數據從mysql導入到hdfs(默認是/user/<username>)中

1.??復制mysql的驅動到sqoop目錄下的lib中

2.??執行導入命令

?

? sqoopimport --connect jdbc:mysql://hadoop0:3306/hive?--username root --password admin --table TBLS --fields-terminated-by'\t'? --null-string '**'? -m 1 --append?--hive-import

?

?

說明：

ü? 執行import命令將mysql的hive數據庫中的TBLS表導入到hdfs中（默認目錄user/root）

ü? --fields-terminated-by '\t' ：表示導入到hdfs中以’\t’進行切割

ü? --null-string ‘**’：表示當字段為null時用’**’替換

ü? -m1：表示只指定一個map任務（map任務的個數關系生成文件的個數）

ü? --append：表示如果執行多次則進行追加（否則多次執行則會報already exsist）

ü? --hive-import：表示導入到hive中（如果只需導入到hdfs中則可不寫）

ü? ?

?

? sqoopimport --connect jdbc:mysql://hadoop0:3306/hive?--username root --password admin --table TBLS --fields-terminated-by'\t'? --null-string '**'? -m 1 --append?--hive-import? --check-column'TBL_ID' --incremental append --last-value 6

?

說明：

ü? 執行import命令將mysql的hive數據庫中的TBLS表導入到hdfs中（默認目錄user/root）

ü? --check-column 'TBL_ID'：表示檢查’TBL_ID‘列

ü? --incremental：表示增量

ü? --last-value 6：表示開始追加導入的列從第6列開始(不包含第6列)

ü? --check-column 'TBL_ID' --incremental append --last-value 6：整體解釋為 檢查導入的主鍵列‘TBL_ID’當該列的值（增量）大于6時，可以進行追加導入，否則不進行導入

（這樣做的目的：當第一次導入數據時主鍵列的最后一個值為6，第二次導入時我們不想導入所有的數據而是后來增加的數據，所以我們可以接著上一次的數據導入，即不導入重復數據）

?

把數據從hdfs導出到mysql中?

?sqoop export --connect jdbc:mysql://hadoop0:3306/hive? --username root --password admin --table ids--fields-terminated-by '\t' --export-dir '/ids'

?

說明：

--export-dir '/ids'：指定要導出到Mysql的文件目錄

?

設置為作業，運行作業

?sqoop job --create myjob -- import --connectjdbc:mysql://hadoop0:3306/hive?--username root --password admin --table TBLS --fields-terminated-by'\t'? --null-string '**'? -m 1 --append?--hive-import?

?

說明：

ü? 設置為作業后可以直接執行作業，執行作業即執行該命令

ü? 執行作業的命令：sqoopjob ?–exec ?myjob

ü? 查看作業已創建的Job作業：sqoop job –list

?

注：運行作業第一次需要輸入密碼，輸入密碼后即可執行，然后修改sqoop/conf/sqoop-site.xml中的sqoop.metastore.client.record.password（去掉注釋即可）

以后運行就不需要在此輸入密碼了

總結

以上是生活随笔為你收集整理的sqoop简介与安装配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。