數據集成是當下比較熱門的話題，相關的產品和平臺也越來越多。很多CIO都在各種數據集成平臺和產品之間猶豫不決。因此對數據集成平臺的框架體系有全面的理解，對各個廠家產品所提供的功能有深入的認識才能為數據平臺選型的決策提供可靠的保證。

我有幸參與了國內一個知名企業的集成平臺的設計工作，并主導了數據集成平臺的需求分析和產品選型工作。這次工作中，研究了很多新的技術方向和產品，下面我主要講一下數據集成領域的一種新興的產品平臺主數據管理平臺MDM（Master Data Management）。

主數據的概念

首先介紹一下什么是主數據。這里借用其他網站的一個數據分類模型，我們可以看到有元數據（metadata）,引用數據（Reference Data），主數據（Master Data），企業結構數據（Enterprise structure Data）,交易活動數據（Transaction Activity Data），交易審計數據（Transaction Audit Data）這六大類數據。

簡要解釋一下這六大類的數據，關于這些數據分類的定義可以在網上很容易的找到。

元數據：數據的數據，平時我們設計表時，大部分屬性字段就是元數據。比如，性別，國籍，出生省份等。這個是最接近自然意義的的數據。

引用數據：元數據的可能取值范圍，我們設計表時所說的數據字典往往就是引用數據。比如，性別只能是男和女，男和女就是引用數據。國家的引用數據就是世界上這100多個國家和地區；

主數據：在我們數據庫設計中最重要的一些實體，是由元數據和引用數據實例的集合。DMReview?專欄作家?Jane Griffin將主數據定義為“...用于為核心業務實體創建和維護全企業‘記錄系統’，以記錄業務交易并評定這些實體的業績所需的信息。”平時我們常碰到的客戶信息，產品信息都屬于主數據。對于主數據的介紹，我們會在后面詳細展開說明。

企業結構化數據：企業業務中所需的數據實體?，可能是多個主數據的集合。不同行業的結構化數據會有很大不同。

交易活動數據：主數據之間活動產生的數據。比如客戶購買產品的交易記錄就是交易活動數據，工廠生產產品，生產記錄也是交易活動數據。

交易審計數據：我們對數據的所有活動都通過交易審計數據進行記錄。比如我們對客戶信息修改的操作，對交易的增加和刪除操作，這些活動在很多關鍵系統（比如銀行）都需要記錄，以合符相應法規的要求（如?Basel II、薩班斯—奧克斯利法案）。

下圖中數據模型中的藍色越深代表語義相關性越強和數據質量越重要，而黃色越深代表數據的數據數量越多、更新的頻率越快、實時抓取的數據越快、數據的生命越短。下圖可以看到，元數據的數據語義性最強，幾乎不更新，數據量最少，生命周期最長。

?

?

http://www.dmreview.com/issues/20060401/1051002-1.html

?

主數據是企業應用系統中最基本的業務單元，下面是一段英文的原文：Master Data?are the fundamental business data in the company, typically long-lived and used across multiple applications。

Core Master Data are operational entities, supporting all fundamental business activity transactions being executed on this level. The Core Master data are common and shareable within the organization。

我覺得很好理解，比如一個產品系統，它處理的基本數據就是生產數據。HR系統處理的基本數據是雇員；CRM系統是客戶

一般來說核心主數據包含：Customers, Contracts, Suppliers, Distributors/Partners,Employees等等。

另外，各個行業對于主數據的管理的需求和期望會有很大不同，因此行業經驗對于主數據管理也是很重要的。

?

主數據管理的概念

從上面的介紹可以了解，主數據并不是什么新的概念，但為什么之前沒有主數據管理的產品呢？其實，解釋這個問題和解釋數據集成出現的原因很類似。因為之前主數據依附于各個單獨的業務系統，比如HR, ERP，SCM，企業的網站，商業合作伙伴的系統都可能對某一個主數據有存儲，比如某個產品。問題隨之來了，如系統間數據編碼不一致；數據的冗余；某些系統數據的不完整。舉個實際的例子，如果我們新建一個BI的系統，那么有可能我需要從生產系統，財務系統，物流系統，企業合作伙伴系統多個系統拿到一個完整的關于主數據的信息。顯然，需要一種解決方案，能夠提供一個單一的主數據訪問接口，以提高主數據訪問的效率；為企業的市場、銷售、客戶關系管理等活動提供可靠的數據，提高企業的敏捷性。

?

主數據管理：主數據管理是數據管理的一種高級形式，它必須構建于ETL或者EII（Enterprise Information Integration）等技術之上，因此很多主數據管理平臺本身就包含了數據抽取、數據加載、數據轉換、數據質量管理、數據復制和數據同步等功能。也有某些廠商把MDM作為數據集成產品的一個模塊交付給客戶。

?

?

無主數據管理時對主數據訪問

主數據分散在各個系統造成的問題：

數據在各個系統冗余，造成數據訪問繁瑣；編碼不統一；?數據不同步，缺乏一致性；

給企業業務帶來了如下影響：

延誤產品面市時間；產品供不應求；不準確的訂單交付?；銷售效能低下；客戶滿意度降低；生產力降低。

?

有主數據管理平臺時對主數據的訪問的圖示

主數據管理平臺帶來的好處：

有統一的主數據訪問平臺；企業能夠提供一致的完整的共享信息平臺；集中的內容豐富和干凈的數據中心；為使用數據的應用，企業業務流程和決策系統提供了一個真實的數據訪問通道。

我個人感覺MDM平臺建立之后，最受益的還是BI相關的應用。

?

主數據管理平臺的功能模塊

Master Repositories(主數據資源庫):：X-Ref DB, Masters DB, Master Data Applications;

Data Quality(數據質量保證)：源數據的質量檢查，從源數據系統傳輸到數據緩儲區的所有數據都應首先接受質量檢查后才能導入，源數據的質量檢查應包括接口數據文件格式是否標準化的確認、文件大小確認，記錄數、文件生成時間的確認等內容；?ETL系統質量檢查，包括對主外鍵關系、編碼規范的檢查。每次數據的抽取、轉換和加載都必須有完整的日志記錄，并在加載完成后確認記錄數前后一致。

Data enrichment(數據深度分析，關聯性分析)：企業內部分析；

System Integration（集成組件）：主數據管理器；服務總線（提供data service）；異常處理；映射（mapping）/轉換（Transforming）/加載（loading）；數據交換（Data exchange）；同步流程（Workflow）；Business System；元數據/主數據訪問控制；數據錄入控制；數據采集；管理/安全

?

主數據管理平臺項目的實施

和很多集成項目一樣，項目的實施最重要的是制定好業務的策略和規劃，業務人員，業務需求和行業專家對數據的理解和分析是關鍵，技術平臺只是我們思想實現的重要工具，不會起決定性的作用。

?

提供主數據管理平臺的產商

傳統ERP廠商：SAP和ORACLE都基于自己的產品經驗，在它們的ERP套裝軟件產品中加入了主數據管理產品。基于他們行業的經驗，他們的產品有比較完整的主數據管理比較好的數據模型和主數據管理的經驗。Oracle基于自身在CRM和制造行業的深厚經驗，提供非常全面的客戶主數據產品UCM8.0和制造業主數據產品PIM12.0，

中間件廠商：TIBCO有專門的MDM產品，我看到的是他們一年前的產品介紹，感覺功能還比較欠缺，缺少很多重要的功能，當然我還沒有時間研究他們最新的產品。

ORACLE在MDM產品上有著比較明確的戰略和路線圖。在收購BEA后，相信在MDM產品上，ORACLE會結合原本就功能強大的?ODI?工具，加上BEA在數據集成領域產品的特點，基于自己原有的行業經驗，提供更全面的產品，鞏固自己在中間件產品的領先地位。

IBM收購了一個MDM產品，我一向不太愿意研究IBM的產品，所以也沒有發言權。我Software AG（WebMethod）做的也可以，有專門的產品，功能也相對完善。但在實施團隊的力量上，要差一些。

?

oracle產品的資料可以在這里下載：http://wmdata.com.cn/oracle/iwom-OFM/index.asp?frm=woohooli

?

對于主數據管理平臺，我會在以后的博客里面深入一些細節問題進行探討。歡迎有興趣的朋友提寶貴意見。

總結

以上是生活随笔為你收集整理的数据集成之主数据管理(转载整理)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。