关于主数据管理
主數(shù)據(jù)(Master Data)是具有共享性的基礎(chǔ)數(shù)據(jù),可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的,因此通常長期存在且應(yīng)用于多個系統(tǒng)。由于主數(shù)據(jù)是企業(yè)基準(zhǔn)數(shù)據(jù),數(shù)據(jù)來源單一、準(zhǔn)確、權(quán)威,具有較高的業(yè)務(wù)價值,因此是企業(yè)執(zhí)行業(yè)務(wù)操作和決策分析的數(shù)據(jù)標(biāo)準(zhǔn)。
企業(yè)主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實體的數(shù)據(jù),比如客戶、合作伙伴、員工、產(chǎn)品、物料單、賬戶等;它是具有高業(yè)務(wù)價值的、可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù),并且存在于多個異構(gòu)的應(yīng)用系統(tǒng)中。
企業(yè)主數(shù)據(jù)可以包括很多方面,除了常見的客戶主數(shù)據(jù)之外,不同行業(yè)的客戶還可能擁有其他各種類型的主數(shù)據(jù),例如:對于電信行業(yè)客戶而言,電信運營商提供的各種服務(wù)可以形成其產(chǎn)品主數(shù)據(jù);對于航空業(yè)客戶而言,航線、航班是其企業(yè)主數(shù)據(jù)的一種。對于某一個企業(yè)的不同業(yè)務(wù)部門,其主數(shù)據(jù)也不同,例如市場銷售部門關(guān)心客戶信息,產(chǎn)品研發(fā)部門關(guān)心產(chǎn)品編號、產(chǎn)品分類等產(chǎn)品信息,人事部門關(guān)心員工機構(gòu),部門層次關(guān)系等信息。
企業(yè)數(shù)據(jù)管理的內(nèi)容及范疇通常包括交易數(shù)據(jù)、主數(shù)據(jù)以及元數(shù)據(jù)
交易數(shù)據(jù):用于紀(jì)錄業(yè)務(wù)事件,如客戶的訂單,投訴記錄,客服申請等,它往往用于描述在某一個時間點上業(yè)務(wù)系統(tǒng)發(fā)生的行為。
主數(shù)據(jù):主數(shù)據(jù)則定義企業(yè)核心業(yè)務(wù)對象,如客戶、產(chǎn)品、地址等,與交易流水信息不同,主數(shù)據(jù)一旦被記錄到數(shù)據(jù)庫中,需要經(jīng)常對其進行維護,從而確保其時效性和準(zhǔn)確性;主數(shù)據(jù)還包括關(guān)系數(shù)據(jù),用以描述主數(shù)據(jù)之間的關(guān)系,如客戶與產(chǎn)品的關(guān)系、產(chǎn)品與地域的關(guān)系、客戶與客戶的關(guān)系、產(chǎn)品與產(chǎn)品的關(guān)系等。
元數(shù)據(jù):即關(guān)于數(shù)據(jù)的數(shù)據(jù),用以描述數(shù)據(jù)及其環(huán)境的結(jié)構(gòu)化信息,便于查找、理解、使用和管理數(shù)據(jù)。
主數(shù)據(jù)管理是指一整套的用于生成和維護企業(yè)主數(shù)據(jù)的規(guī)范、技術(shù)和方案,以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。
主數(shù)據(jù)具備3個主要特征:
①高價值:主數(shù)據(jù)是所有業(yè)務(wù)處理都離不開的實體數(shù)據(jù),與大數(shù)據(jù)相比價值密度非常高。
②高共享:主數(shù)據(jù)是跨部門、跨系統(tǒng)高度共享的數(shù)據(jù)。
③相對穩(wěn)定:與交易數(shù)據(jù)相比主數(shù)據(jù)是相對穩(wěn)定的,變化頻率較低。變化頻率較低并不意味著一成不變,例如:客商更名會引起客商主數(shù)據(jù)的變動、人員調(diào)動會引起人員主數(shù)據(jù)的變動等等。
主數(shù)據(jù)的4個超越:即超越業(yè)務(wù),超越部門、超越系統(tǒng)、超越技術(shù)。
①超越業(yè)務(wù):主數(shù)據(jù)是跨越了業(yè)務(wù)界限,在多個業(yè)務(wù)領(lǐng)域中被廣泛使用的數(shù)據(jù),其核心屬性也是來自業(yè)務(wù)。例如:物料主數(shù)據(jù),它有自身的自然屬性,如:規(guī)格、材質(zhì),也有業(yè)務(wù)賦予的核心屬性,如:設(shè)計參數(shù)、工藝參數(shù)、采購、庫存要求、計量要求、財務(wù)要求等。同時,物料主數(shù)據(jù)也要服務(wù)于業(yè)務(wù),可謂是———從業(yè)務(wù)中來到業(yè)務(wù)中去。
②超越部門,主數(shù)據(jù)是組織范圍內(nèi)共享的、跨部門的數(shù)據(jù),不歸屬某一特定的部門,是企業(yè)的核心數(shù)據(jù)資產(chǎn)。
③超越系統(tǒng),主數(shù)據(jù)是多個系統(tǒng)之間的共享數(shù)據(jù),是應(yīng)用系統(tǒng)建設(shè)的基礎(chǔ),同時也是數(shù)據(jù)分析系統(tǒng)重要的分析對象。
④超越技術(shù),主數(shù)據(jù)是要解決不同異構(gòu)系統(tǒng)之間的核心數(shù)據(jù)共享問題,從來不會局限于一種特定的技術(shù)。在不同環(huán)境、不同場景下,主數(shù)據(jù)的技術(shù)是可以靈活應(yīng)對的。主數(shù)據(jù)的集成架構(gòu)是多樣的,如:總線型結(jié)構(gòu)、星型結(jié)構(gòu)、端到端結(jié)構(gòu);集成技術(shù)也是多樣的,如:webservice、REST、ETL、MQ、kafka等;不論是架構(gòu)還是技術(shù),沒有最好的只有更合適的。企業(yè)在做技術(shù)選型的時候,要充分考慮企業(yè)的核心業(yè)務(wù)需求和未來的發(fā)展要求去構(gòu)建自身的主數(shù)據(jù)技術(shù)體系。
企業(yè)主數(shù)據(jù)管理經(jīng)常遇到的問題:
數(shù)據(jù)入口多,重復(fù)錄入、一物多碼、多碼一物
數(shù)據(jù)分類、數(shù)據(jù)編碼不統(tǒng)一、不一致
關(guān)鍵數(shù)據(jù)項為空或填寫錯誤、填寫不規(guī)范
領(lǐng)導(dǎo)不重視,沒有相應(yīng)的管理辦法,主數(shù)據(jù)的質(zhì)量不高
存在數(shù)據(jù)孤島,異構(gòu)系統(tǒng)數(shù)據(jù)沒有打通
主數(shù)據(jù)管理的意義
集成、共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理是主數(shù)據(jù)管理的四大要素,主數(shù)據(jù)管理要做的就是從企業(yè)的多個業(yè)務(wù)系統(tǒng)中整合最核心的、最需要共享的數(shù)據(jù)(主數(shù)據(jù)),集中進行數(shù)據(jù)的清洗和豐富,并且以服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)分發(fā)給全企業(yè)范圍內(nèi)需要使用這些數(shù)據(jù)的操作型應(yīng)用和分析型應(yīng)用,包括各個業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)等。
主數(shù)據(jù)管理使得企業(yè)能夠集中化管理數(shù)據(jù),在分散的系統(tǒng)間保證主數(shù)據(jù)的一致性,改進數(shù)據(jù)合規(guī)性、快速部署新應(yīng)用、充分了解客戶、加速推出新產(chǎn)品的速度。從 IT 建設(shè)的角度,主數(shù)據(jù)管理可以增強 IT 結(jié)構(gòu)的靈活性,構(gòu)建覆蓋整個企業(yè)范圍內(nèi)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)規(guī)范,并且更靈活地適應(yīng)企業(yè)業(yè)務(wù)需求的變化。
以客戶主數(shù)據(jù)為例,客戶主數(shù)據(jù)是目前企業(yè)級客戶普遍面臨的一個問題,在大多數(shù)企業(yè)中,客戶信息通常分散于 CRM 等各個業(yè)務(wù)系統(tǒng)中,而每個業(yè)務(wù)系統(tǒng)中都只有客戶信息的片斷,即不完整的客戶信息,但卻缺乏企業(yè)級的完整、統(tǒng)一的單一客戶視圖,結(jié)果導(dǎo)致企業(yè)不能完全了解客戶,無法協(xié)調(diào)統(tǒng)一的市場行為,導(dǎo)致客戶滿意度下降,市場份額減少。因此,建立客戶主數(shù)據(jù)系統(tǒng)的目的在于:
整合并存儲所有業(yè)務(wù)系統(tǒng)和渠道的客戶及潛在客戶的信息:一方面從相關(guān)系統(tǒng)中抽取客戶信息,并完成客戶信息的清洗和整合工作,建立企業(yè)級的客戶統(tǒng)一視圖;另一方面,客戶主數(shù)據(jù)管理系統(tǒng)將形成的統(tǒng)一客戶信息以廣播的形式同步到其他各個系統(tǒng),從而確保客戶信息的一致;
為相關(guān)的應(yīng)用系統(tǒng)提供聯(lián)機交易支持,提供客戶信息的唯一訪問入口點,為所有應(yīng)用系統(tǒng)提供及時和全面的客戶信息;服務(wù)于 OCRM 系統(tǒng),充分利用數(shù)據(jù)的價值,在所有客戶接觸點上提供更多具有附加價值的服務(wù);
實現(xiàn) SOA 的體系結(jié)構(gòu):建立客戶主數(shù)據(jù)系統(tǒng)之前,數(shù)據(jù)被鎖定在每一個應(yīng)用系統(tǒng)和流程中,建立主數(shù)據(jù)管理系統(tǒng)之后,數(shù)據(jù)從應(yīng)用系統(tǒng)中被釋放出來,并且被處理成為一組可重用的服務(wù),被各個應(yīng)用系統(tǒng)調(diào)用。
主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)倉庫系統(tǒng)的關(guān)系
主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)倉庫系統(tǒng)是相輔相成的兩個系統(tǒng),但二者絕不是重復(fù)的,也不是互斥的。它們有很多共同之處:
首先二者對企業(yè)都具有相同的價值,可以減少數(shù)據(jù)冗余和不一致性、提升對數(shù)據(jù)的洞察力,二者都是跨部門的集中式系統(tǒng);
其次二者都依賴很多相同的技術(shù)手段,都會涉及到 ETL 技術(shù)、都需要元數(shù)據(jù)管理、都強調(diào)數(shù)據(jù)質(zhì)量;
第三就是二者建設(shè)手段類似,都需要數(shù)據(jù)治理的規(guī)范作為指導(dǎo)、都需要不同系統(tǒng)、不同部門的協(xié)作、需要統(tǒng)一的安全策略。
但是,主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)倉庫 / 決策支持系統(tǒng)二者之間也存在很多不同:
處理類型不同:主數(shù)據(jù)管理 (MDM) 系統(tǒng)是偏交易型的系統(tǒng),它為各個業(yè)務(wù)系統(tǒng)提供聯(lián)機交易服務(wù),系統(tǒng)的服務(wù)對象是呼叫中心、B2C、CRM 等業(yè)務(wù)系統(tǒng);而數(shù)據(jù)倉庫是屬于分析型的系統(tǒng),面向的是分析型的應(yīng)用,是在大量歷史交易數(shù)據(jù)的基礎(chǔ)上進行多維分析,系統(tǒng)的使用對象是各層領(lǐng)導(dǎo)和業(yè)務(wù)分析、市場銷售預(yù)測人員等;
實時性不同:與傳統(tǒng)的數(shù)據(jù)倉庫方案的批量 ETL 方式不同,主數(shù)據(jù)管理系統(tǒng)在數(shù)據(jù)初始加載階段要使用 ETL,但在后續(xù)運行中要大量依賴實時整合的方式來進行主數(shù)據(jù)的集成和同步;
數(shù)據(jù)量不同:數(shù)據(jù)倉庫存儲的是大量的歷史數(shù)據(jù)和各個維度的匯總數(shù)據(jù),可能會是海量的,而 MDM 存儲的僅僅是客戶和產(chǎn)品等信息。
雖然主數(shù)據(jù)管理系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)異同共存,但是二者卻有著緊密的聯(lián)系,并且可以互為促進、互為補充。舉例而言,數(shù)據(jù)倉庫系統(tǒng)的分析結(jié)果可以作為衍生數(shù)據(jù)輸入到 MDM 系統(tǒng),從而使 MDM 系統(tǒng)能夠更好地為操作型 CRM 系統(tǒng)服務(wù)。
數(shù)據(jù)倉庫會將各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中在一起再進行業(yè)務(wù)的分析,并且保存經(jīng)過清洗的數(shù)據(jù);主數(shù)據(jù)管理系統(tǒng)不會把所有數(shù)據(jù)都管理起來,只是把需要在各個系統(tǒng)間共享的主數(shù)據(jù)進行采集和發(fā)布。
數(shù)據(jù)倉庫是單向集成的;主數(shù)據(jù)管理注重將主數(shù)據(jù)的變化同步發(fā)布到各個關(guān)聯(lián)的業(yè)務(wù)系統(tǒng)中。主數(shù)據(jù)系統(tǒng)是雙向的,不但需要從各個系統(tǒng)中獲取、加工,還包括了最終數(shù)據(jù)的分發(fā)。
總結(jié)
- 上一篇: 请确保dx环境安装正常后进行开播_dx环
- 下一篇: 数组中的第K个最大元素(TopK问题)