第一、項目目標

將超過30個核心系統數據，實施同步復制，統一集中到大數據平臺。

1）將數據實施同步，數據量很大。---數據比較復雜

2）數據復制的實時性、準確性

3）復制數據需要增加標簽（操作時間、操作類型、操作人等），便于后端識別數據。

4）如何抽取數據，減輕對生產庫的影響。如視圖、臨時表、dg庫等手段。

5）如何更好的適配后端應用，保證數據規格靈活，預留字段充足。

可以考慮建立編碼管理，元數據倉庫。

6）具備操作控制流管理、數據抽取、數據清洗、數據對比的功能，方便追蹤溯源。

第二、項目難點與應對

1）業務系統眾多，數據源比較復雜，有sqlserver,mysql,essbase,oracle,sql server。同時數據規則不一。

建議建立數據處理中心、元數據倉庫。轉換數據格式，并做好擴展性。

2） 數據量龐大，初始化數據的時間開始點很重要。一般財務核算數據保留兩年的時間。但是因為業務特殊性，有些數據

需要追溯到10-30 年，甚至更長時間。

3）對數據存儲空間、存儲機房位置，是否需要專用光纜，是否和其他系統搶占資源等。

4）復制核心業務系統數據不超過10S-20S。實效要求高。準確性也需要，否則無法保證數據準確性。

5）對數據清洗、分攤、補錄。提供一個統一手工補錄的接口。

第三、解決方案：

1）數據平臺復制數據需要支持異構數據庫、大數據量、實時性、模塊化。

可以考慮初始化數據全量同步到hdfs,增量數據同步到kafka。

2）復制數據放在 備份庫上。一定要減輕生產庫的壓力。

3）為了節約網絡資源，需要和備份數據庫放在同一個機房。、

4）需要建立數據控制流，方便數據校驗。 暫定校驗數據條數、數據數量合計。

目的是支持后續業務進行數據操作回查，實現數據校驗。特別是財務數據，可能需要下鉆

抽取憑證級的數據。

5）需要配置多個同步通道。可以快速將數據同步到數據庫，并支持增量同步的方式。

需要選取復制效率最高的產品。如可以支持多線程、多并發、特定數據格式、數據壓縮技術，

以及快速數據抽取和裝載技術。

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的大数据项目实施案例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。