文章目錄

• • • • • 一、數(shù)據(jù)裝載前置準(zhǔn)備
        • • 1.1. 切換用戶
          • 1.2. 生成文件
        • 二、手動(dòng)觸發(fā)
        • • 2.1. 拉取文件
          • 2.2.文件數(shù)據(jù)加載
          • 2.3. 數(shù)據(jù)查詢
          • 2.4. 數(shù)據(jù)查詢
        • 三、定時(shí)調(diào)度
        • • 3.1. 添加任務(wù)
          • 3.2. 配置頻次
          • 3.3. 重新加載
          • 3.4. 總覽任務(wù)列表
          • 3.5. 監(jiān)控是否執(zhí)行

一、數(shù)據(jù)裝載前置準(zhǔn)備

1.1. 切換用戶

切換用戶為oracle

su - oracle注：如果有oracle密碼，可以跳過(guò)此步驟，直接登錄即可

1.2. 生成文件

生成表控制文件(.ctl)

# 進(jìn)入生成控制文件目錄 cd /app/jiazai/sql_loadv1.0/control/# 刪除以前的控制文件 rm -rf new.unl old.unl file/# 重新生成控制文件 sh ./new.sh

數(shù)據(jù)裝載分為手動(dòng)觸發(fā)和定時(shí)觸發(fā)二種場(chǎng)景，接下來(lái)為小伙伴們，分開(kāi)來(lái)介紹

二、手動(dòng)觸發(fā)

2.1. 拉取文件

先連接ODS的sftp服務(wù)器將需要裝載的文件下載到本地服務(wù)器，然后，執(zhí)行數(shù)據(jù)清除，將臨時(shí)B表中的數(shù)據(jù)刪除

#拉取sftp文件到本地應(yīng)用

# 進(jìn)入到根目錄 cd /app/jiazai/sql_loadv1.0/# 執(zhí)行加載指定日期的文件 # 格式：sh load.sh 加載數(shù)據(jù)文件日期文件夾 sh load.sh 20201027

2.2.文件數(shù)據(jù)加載

將下載下來(lái)的文件進(jìn)行解析并加載到Oracle數(shù)據(jù)庫(kù)

流程：
數(shù)據(jù)文件解析–>Oracle 臨時(shí)表–>目標(biāo)表
說(shuō)明：首先將文件中的數(shù)據(jù)解析加載到數(shù)據(jù)庫(kù)的臨時(shí)表中，然后，調(diào)用存儲(chǔ)過(guò)程，將臨時(shí)B表中的數(shù)據(jù)同步到目標(biāo)表中

# 進(jìn)入下載的日期文件夾下面 cd /app/jiazai/sql_loadv1.0/loaded/20201027/# 執(zhí)行加載處理 sh run_sqlldr.sh注：加載完成后，會(huì)顯示 load success ！

2.3. 數(shù)據(jù)查詢

數(shù)據(jù)庫(kù)查詢臨時(shí)表

SELECT * FROM XXX臨時(shí)一套表

2.4. 數(shù)據(jù)查詢

去數(shù)據(jù)庫(kù)查詢目標(biāo)表

SELECT * FROM XXX目標(biāo)一套表

三、定時(shí)調(diào)度

3.1. 添加任務(wù)

編輯定時(shí)文件

crontab -e

3.2. 配置頻次

配置執(zhí)行頻次
在/app/jiazai/sql_loadv1.0/目錄下面有個(gè)總控腳本：xxxloadupgrade.sh

*/30 * * * * /bin/sh /app/jiazai/sql_loadv1.0/xxxloadupgrade.sh保存，退出

3.3. 重新加載

重新加載cron服務(wù)

/sbin/service crond restart

3.4. 總覽任務(wù)列表

查看當(dāng)前用戶下的定時(shí)任務(wù)列表

crontab -l

3.5. 監(jiān)控是否執(zhí)行

1》可以借助根據(jù)日志查看
2》可以借助plsql工具查詢

總結(jié)

以上是生活随笔為你收集整理的数据装载服务器_操作事项_06的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。