一、?????需求總結(jié)

功能性需求：

1、 從某時刻開始，轉(zhuǎn)儲某些特定的表。開始時間、時間頻率、表字段、源表和目的表執(zhí)行前后sql語句等數(shù)據(jù)可配置。

2、 轉(zhuǎn)儲頻率可以自由設(shè)定，時間精確到秒級，任務(wù)精確到表。

3、 滿足多個表捆綁在一起，按既定的先后順序執(zhí)行。避免由于數(shù)據(jù)不一致性給后續(xù)工作帶來的影響。

4、 實時控制每一個表是否轉(zhuǎn)儲，暫停或開始。并且不影響其他數(shù)據(jù)表轉(zhuǎn)儲。

5、 轉(zhuǎn)儲過程中，可以按照既定的配置，對某個或某些字段進(jìn)行加密或解密。

6、 各個表的轉(zhuǎn)儲要求互相獨立，互不影響。

7、 源數(shù)據(jù)庫和目的數(shù)據(jù)庫均支持mysql和oracle，留接口擴(kuò)展其他數(shù)據(jù)源。

8、 添加一個表的轉(zhuǎn)儲工作，要求只修改配置數(shù)據(jù)，不修改軟件代碼，或重啟軟件。(測試手段? 配置數(shù)據(jù)是否完整，執(zhí)行測試結(jié)果)

9、 對各個數(shù)據(jù)庫的操作，只使用鏈接，保證db賬號密碼的安全不泄露。

10、???支持程序參數(shù)，只執(zhí)行某個任務(wù)號下的某個或某些表的轉(zhuǎn)儲工作。

11、???轉(zhuǎn)儲表結(jié)束后，記錄日志到配置數(shù)據(jù)庫proc_use_times表，方便開展后續(xù)工作。（添加為可配置）

12、???實時監(jiān)控表轉(zhuǎn)儲情況，并且，需要向技術(shù)人員下發(fā)每日提醒短信。（轉(zhuǎn)儲程序生成轉(zhuǎn)儲提醒日志，監(jiān)控程序解析日志，并下發(fā)短信）

13、???軟件日志記錄全面準(zhǔn)確，方便維護(hù)人員查閱和排錯。

?

性能需求：

14、???數(shù)據(jù)實時交換平臺的定位，是業(yè)務(wù)流轉(zhuǎn)的一部分。對業(yè)務(wù)來講，是承上啟下的一部分，以數(shù)據(jù)準(zhǔn)確為根本原則。數(shù)據(jù)定時轉(zhuǎn)儲的定位，是數(shù)據(jù)備份、數(shù)據(jù)統(tǒng)計分析的一部分。

15、???對實時轉(zhuǎn)儲工作的完成，要求準(zhǔn)時、準(zhǔn)確、高效、穩(wěn)定，容錯性能高。

16、???錯誤處理機(jī)制完備，盡可能減少對業(yè)務(wù)的影響。

# 上線前，完成大數(shù)據(jù)量測試和各種功能測試，盡可能減少上線后問題的出現(xiàn)。

# 實時轉(zhuǎn)儲過程中，如果某任務(wù)轉(zhuǎn)儲失敗，則保留處理現(xiàn)場，并立刻通知相關(guān)人員處理。當(dāng)前任務(wù)不再繼續(xù)執(zhí)行。

?

二、數(shù)據(jù)庫設(shè)計

源表要求：

字段1

。。。

字段N

sync_status

擴(kuò)展一個控制字段sync_status，協(xié)助實時轉(zhuǎn)儲使用。

sync_status：默認(rèn)值為0。

0表示未轉(zhuǎn)儲，1表示轉(zhuǎn)儲中，2表示轉(zhuǎn)儲成功，3表示轉(zhuǎn)儲失敗。

?

三、軟件設(shè)計

A.????各模塊功能簡單介紹：

控制進(jìn)程 -- 取配置數(shù)據(jù)，初始化共享內(nèi)存，管理多個任務(wù)進(jìn)程。

任務(wù)進(jìn)程 – 通過共享內(nèi)存與控制進(jìn)程通信。ssync2o、ssync2m（控制進(jìn)程fork出任務(wù)進(jìn)程）

寫入進(jìn)程 – 由任務(wù)進(jìn)程fork產(chǎn)生。寫入目的庫完成后退出（最多10個）。

?

共享內(nèi)存 – 執(zhí)行時動態(tài)數(shù)據(jù)、任務(wù)詳細(xì)參數(shù)

?

配置數(shù)據(jù)庫 – 配置數(shù)據(jù)所在數(shù)據(jù)庫

源數(shù)據(jù)庫 – 源數(shù)據(jù)表所在數(shù)據(jù)庫

目的數(shù)據(jù)庫 – 目的數(shù)據(jù)庫所在數(shù)據(jù)庫

?

進(jìn)程守護(hù)腳本 – 守護(hù)控制進(jìn)程。在控制進(jìn)程異常時，將其啟動，并報警。1分鐘檢查一次。

日志打包腳本– 每天凌晨打包昨天日志并轉(zhuǎn)移。打包后的日志只保存最近3個月。

任務(wù)監(jiān)控進(jìn)程– 通過讀取共享內(nèi)存，整理每天轉(zhuǎn)儲簡報，通知相關(guān)同事。

任務(wù)實時數(shù)據(jù)展示程序– 通過共享內(nèi)存，實時展示任務(wù)執(zhí)行情況，或查看歷史任務(wù)執(zhí)行情況。

退出程序 – 控制信號燈，達(dá)到退出控制進(jìn)程的目的。

數(shù)據(jù)庫連接池維護(hù)進(jìn)程– 以啟動進(jìn)程的方式，為本操作系統(tǒng)的應(yīng)用進(jìn)程提供連接數(shù)據(jù)庫服務(wù)。達(dá)到統(tǒng)一管理，最優(yōu)化分配資源的目的。（先期考慮使用lib文件，后續(xù)在升級為服務(wù)）

?

lib文件 – libPassWord.a、libxxtencrypt.a（已實現(xiàn)）

數(shù)據(jù)庫配置過程 – 修改現(xiàn)有的過程，完成對實時轉(zhuǎn)儲任務(wù)的添加。后續(xù)考慮用可視化界面實現(xiàn)。

?

B.????主進(jìn)程操作步驟：

1、 啟動控制進(jìn)程，讀取以上8張配置表，將數(shù)據(jù)組織到共享內(nèi)存中。此后，定時每小時讀取T_EXTRACTION_TASK表中IS_ADD_DEL=1或2的任務(wù)，添加或刪除到調(diào)度隊列，并更新IS_ADD_DEL=0。

2、 為每一個調(diào)度添加一個屬性：下次執(zhí)行時間和執(zhí)行狀態(tài)。初始值為當(dāng)前時間加上時間頻率。

3、 遍歷調(diào)度隊列。遍歷結(jié)束后，sleep(1)。

4、 當(dāng)某調(diào)度的下次執(zhí)行時間大于當(dāng)前時間時，fork任務(wù)進(jìn)程執(zhí)行任務(wù)的實時轉(zhuǎn)儲。（fork兩次，避免生成僵尸進(jìn)程。任務(wù)進(jìn)程執(zhí)行任務(wù)結(jié)束后，通過共享內(nèi)存返回執(zhí)行結(jié)果。）

5、 任務(wù)進(jìn)程按照配置信息，執(zhí)行任務(wù)，完成之后退出。

6、 控制進(jìn)程更新調(diào)度下次執(zhí)行時間為+=時間頻率。

7、 執(zhí)行操作3。

?

備注：

# 當(dāng)前時間、下次執(zhí)行時間、時間頻率：單位為秒。

# 程序初次啟動：指程序自啟動后，未讀取配置數(shù)據(jù)。

# 控制進(jìn)程和任務(wù)進(jìn)程，通過共享內(nèi)存通信。

?

# 調(diào)度的下次執(zhí)行時間嚴(yán)格按照時間頻率向后推移。

# 調(diào)度與任務(wù)是一對多的關(guān)系。一個調(diào)度下的任務(wù)，順序執(zhí)行。不同調(diào)度下的任務(wù)，異步執(zhí)行。

?

# 調(diào)度的關(guān)鍵屬性：下次執(zhí)行時間、時間頻率

# 任務(wù)的關(guān)鍵屬性：任務(wù)狀態(tài)（0未執(zhí)行，1執(zhí)行中，2執(zhí)行完畢），任務(wù)類型（1--ssync2o、2--ssync2m）

?

C.????子任務(wù)轉(zhuǎn)儲步驟：

1、 當(dāng)任務(wù)信號燈打開，從共享內(nèi)存中獲取任務(wù)數(shù)據(jù)。校驗數(shù)據(jù)是否合理有效。

2、 初始化任務(wù)執(zhí)行環(huán)境，如：創(chuàng)建配置數(shù)據(jù)庫連接、源數(shù)據(jù)庫連接、目的數(shù)據(jù)庫連接等。

3、 更新配置數(shù)據(jù)庫task_detail表中子任務(wù)鎖。如果已鎖，則停止轉(zhuǎn)儲。

4、 執(zhí)行子任務(wù)前sql，包括源數(shù)據(jù)庫和目的數(shù)據(jù)庫。（將源表sync_status=0的數(shù)據(jù)更改為1）

5、 讀取源表中sync_status=1的行數(shù)據(jù)，合理組織源表數(shù)據(jù)。

6、 根據(jù)配置要求，對源表數(shù)據(jù)分批寫入目的庫。通過Fork子進(jìn)程實現(xiàn)。

7、 根據(jù)配置要求，子進(jìn)程對數(shù)據(jù)做相應(yīng)特殊加工處理，如：加解密。處理完成之后，寫入目的數(shù)據(jù)庫。

8、 父進(jìn)程繼續(xù)操作6.

9、父進(jìn)程通過共享內(nèi)存獲得子進(jìn)程轉(zhuǎn)儲執(zhí)行情況，更新源表數(shù)據(jù)：sync_status=2（成功）或3（失敗）。

10、執(zhí)行子任務(wù)后sql，包括源數(shù)據(jù)庫和目的數(shù)據(jù)庫。

11、更新配置數(shù)據(jù)庫子任務(wù)鎖。

12、打掃現(xiàn)場，釋放資源。繼續(xù)操作1。

目的表不包含這控制字段：sync_status。

D. ??共享內(nèi)存

任務(wù)詳細(xì)參數(shù)的共享內(nèi)存結(jié)構(gòu)：

要需包含：配置表的數(shù)據(jù)，即任務(wù)的詳細(xì)信息，包含源庫id、目的庫id，源表名稱和表結(jié)構(gòu)，目的表名稱和表結(jié)構(gòu)，執(zhí)行前后sql，等。

總結(jié)

以上是生活随笔為你收集整理的数据交换平台的需求总结与初步设计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。