前些天發(fā)現(xiàn)了一個巨牛的人工智能學習網(wǎng)站，通俗易懂，風趣幽默，忍不住分享一下給大家。點擊跳轉(zhuǎn)到教程。

業(yè)務(wù)場景：是在oracle 數(shù)據(jù)庫和? hive 數(shù)據(jù)庫中 ，有多個相同結(jié)構(gòu)的表，要求數(shù)據(jù)從2個庫定時雙向同步。

（導出時可以只導出部分字段，則此時 hive 庫和 oracle 庫中表結(jié)構(gòu)可以并非完全一致）

1. 寫一個文本文檔，把要導入的表名和庫名先編輯好，格式如 oracle_table_list_append.txt ：

wate.BUSI_xxx wate.xxx_xxx_INFO wate.xxx_USER_xxx ... # wate 是 oracle 數(shù)據(jù)庫名， BUSI_xxx 是表名。 # 可寫多行，腳本執(zhí)行時讀取每個一行，循環(huán)導入每個表的數(shù)據(jù)。

編寫sgoop? import 腳本并執(zhí)行即可把數(shù)據(jù)從 oracle 數(shù)據(jù)庫導入到 hive 數(shù)據(jù)庫中。

current=`date -d "yesterday" +%Y-%m-%d` #獲取當前時間 #current=`date -d "yesterday 20190110" +%Y-%m-%d` #獲取指定日期的前一天begin=${current}" 00:00:00"sed -i '/^$/d' /opt/xxx/sqoop/conf/oracle_table_list_append.txt cat /opt/xxx/sqoop/conf/oracle_table_list_append.txt|while read line doOLD_IFS="$IFS"IFS="."arr=($line)db_name=${arr[0]}table_name=${arr[1]}echo "####begin to sqoop from oracle "${db_name}.${table_name} "......"sqoop import \--connect jdbc:oracle:thin:@192.168.xx.xx:1521/${db_name} \--username 數(shù)據(jù)庫名 \--password 數(shù)據(jù)庫密碼 \--table ${table_name} \--where "creationtime >=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') or xxxtime>=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') or dxxtime>=to_date('${begin}','yyyy-mm-dd hh24:mi:ss') " \--hive-drop-import-delims \--null-string '\\N' \--null-non-string '\\N' \--fields-terminated-by '\007' \--lines-terminated-by '\n' \--hive-import \--hive-table hive數(shù)據(jù)庫名.${table_name} \-m 10rc=$?if [ $rc -ne 0 ]thenecho "#### sqoop from oracle "${db_name}.${table_name} " failed......"# echo "#### sqoop from oracle "${db_name}.${table_name} " failed......"|mail -s "failed crontab_${current}" xxx@163.comelseecho "####sqoop from oracle "${db_name}.${table_name} " successed......"fidone current=`date "+%Y-%m-%d %H:%M:%S"` #獲取當前時間 end_timeStamp=`date -d "$current" +%s` du_time=$[end_timeStamp-begin_timeStamp] echo "sqoop total time used:" $du_time "s" --where 此參數(shù)是條件過濾，全表導入，可不加此參數(shù)。

2.??編寫sgoop? export 腳本并執(zhí)行，則可把數(shù)據(jù)從 hive 庫 導出到 oracle 數(shù)據(jù)庫。?

current_datetime=`date "+%Y-%m-%d %H:%M:%S"` echo "Start Timing Task:"$current_datetime current=`date "+%Y-%m-%d %H:%M:%S"` #獲取當前時間 begin_timeStamp=`date -d "$current" +%s`table_name="cxx_xxx_day" day=`date -d -1days "+%Y%m%d"` #昨天（此表以天分區(qū)，每次只導一天的數(shù)據(jù)）echo "####開始導出"${day}"的數(shù)據(jù) into oracle oracle數(shù)據(jù)庫名."${table_name} "......"sqoop export \--connect "jdbc:oracle:thin:@192.168.xxx.xxx:1521/oracle數(shù)據(jù)庫連接名" \--username oracle數(shù)據(jù)庫名 \--password oracle數(shù)據(jù)庫密碼 \--table ${table_name} \--export-dir "/user/hive/xxx/hivexxx.db/xxx_xxx_day/day=${day}" \--columns xxx_no,datatime,xxx_value,xxx_status,xxx_voage,staxx_str,stxxxs_hex,fy_id \--input-fields-terminated-by '\007' \--input-lines-terminated-by '\n' \--input-null-string '\\N' \--input-null-non-string '\\N' \--m 4rc=$?if [ $rc -ne 0 ]thenecho "Timing Task Error:"echo "####sqoop from hive into oracle "${table_name} " failed......"elseecho "####sqoop from hive into oracle "${table_name} " successed......"fi current=`date "+%Y-%m-%d %H:%M:%S"` #獲取當前時間 end_timeStamp=`date -d "$current" +%s` du_time=$[end_timeStamp-begin_timeStamp] echo "sqoop total time used:" $du_time "s" --export-dir 指定HDFS上的文件路徑 --columns 指定要導出的列，可以只導出部分列

?

3. 官網(wǎng)說明文檔：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

要查更多參數(shù)和用法可以直接查詢官方文檔。

import說明文檔地址：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_literal_sqoop_import_literal

export說明文檔地址：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_literal_sqoop_export_literal

總結(jié)

以上是生活随笔為你收集整理的apache sgoop 导入数据到 oracle、导出数据到 oracle 实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。