当年要是早知道这4步框架,我就不会为数据管理发愁了
一、什么是數(shù)據(jù)治理?
筆者認(rèn)為:所有為提高數(shù)據(jù)質(zhì)量而展開的業(yè)務(wù)、技術(shù)和管理活動(dòng)都屬于數(shù)據(jù)治理范疇。數(shù)據(jù)治理的目的就是通過有效的數(shù)據(jù)資源控制手段,進(jìn)行數(shù)據(jù)的控制,以提升數(shù)據(jù)質(zhì)量進(jìn)而提升數(shù)據(jù)變現(xiàn)的能力。
?
二、為什么需要數(shù)據(jù)治理?
在我國(guó),各行業(yè)的信息化發(fā)展和建設(shè)水平并不均衡,甚至有的行業(yè)是剛剛起步。但是,不論是金融行業(yè)、通訊行業(yè)、地產(chǎn)行業(yè)、傳統(tǒng)制造業(yè)以及農(nóng)業(yè),其信息化的發(fā)展基本都遵循了“諾蘭模型”。
筆者認(rèn)為企業(yè)信息化大致經(jīng)歷了初期的煙囪式系統(tǒng)建設(shè)、中期的集成式系統(tǒng)建設(shè)和后期的數(shù)據(jù)管理式系統(tǒng)建設(shè)三個(gè)大的階段,可以說是一個(gè)先建設(shè)后治理的過程。
?
1、數(shù)據(jù)質(zhì)量層次不齊
當(dāng)今時(shí)代,“數(shù)據(jù)資產(chǎn)化”的概念已經(jīng)被大多數(shù)人理解和接受。然而,數(shù)據(jù)并不等于資產(chǎn),也就是說不是所有數(shù)據(jù)都是數(shù)據(jù)資產(chǎn),數(shù)據(jù)中也有垃圾數(shù)據(jù)。我們需要治理的是能夠?yàn)槠髽I(yè)創(chuàng)造價(jià)值的數(shù)據(jù)資產(chǎn),而不是全部數(shù)據(jù)。
2、數(shù)據(jù)交換和共享困難
企業(yè)信息化建設(shè)初期缺乏整體的信息化規(guī)劃,系統(tǒng)建設(shè)大多都是以業(yè)務(wù)部門驅(qū)動(dòng)的單體架構(gòu)系統(tǒng)或套裝軟件,數(shù)據(jù)分散在這些架構(gòu)不統(tǒng)一、開發(fā)語言不一致、數(shù)據(jù)庫多樣化的系統(tǒng)中,甚至還有大量的數(shù)據(jù)存放在員工的個(gè)人電腦中,導(dǎo)致在企業(yè)內(nèi)部形成了一個(gè)個(gè)的“信息孤島”。
這些“孤島”之間缺乏有效的連接通道,數(shù)據(jù)不能互聯(lián)互通,不能按照用戶的指令進(jìn)行有意義的交流,數(shù)據(jù)的價(jià)值不能充分發(fā)揮。只有聯(lián)通數(shù)據(jù),消除這些“信息孤島”,才能實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)、數(shù)據(jù)驅(qū)動(dòng)管理,才能真正釋放數(shù)據(jù)價(jià)值。
3、缺乏有效的管理機(jī)制
由于缺乏有效的管理機(jī)制和某些人為的因素,在數(shù)據(jù)流轉(zhuǎn)過程中,存在數(shù)據(jù)維護(hù)錯(cuò)誤、數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致、數(shù)據(jù)不完整的情況,導(dǎo)致了產(chǎn)生了大量的垃圾數(shù)據(jù)。
數(shù)據(jù)產(chǎn)權(quán)不明確,管理職責(zé)混亂,管理和使用流程不清晰,是造成數(shù)據(jù)質(zhì)量問題的重要因素。
4、存在數(shù)據(jù)安全隱患
2018年3月份的Facebook 5000萬用戶信息被泄露和濫用的事件,受該事件影響,Facebook股價(jià)當(dāng)日大跌7%,市值縮水360多億美元。
這種數(shù)據(jù)安全事件,在我國(guó)發(fā)生頻率更多,我還清楚的記得:2011年,黑客在網(wǎng)上公開了CSDN的用戶數(shù)據(jù)庫,高達(dá)600多萬個(gè)明文的注冊(cè)郵箱賬號(hào)和密碼遭到曝光和外泄。近年來,隨著大數(shù)據(jù)的發(fā)展,諸如此類的數(shù)據(jù)安全事件多不勝數(shù)。
數(shù)據(jù)資產(chǎn)管理上,正在由傳統(tǒng)分散式的人工管理向計(jì)算機(jī)集中化管理方向發(fā)展,數(shù)據(jù)的安全問題愈來愈受到人們的關(guān)注。
?
三、DMBOK的數(shù)據(jù)治理框架
DMBOK是由數(shù)據(jù)管理協(xié)會(huì)(DAMA)編撰的關(guān)于數(shù)據(jù)管理的專業(yè)書籍,一本DAMA 數(shù)據(jù)管理辭典。對(duì)于企業(yè)數(shù)據(jù)治理體系的建設(shè)有一定的指導(dǎo)性。
DMBOK將數(shù)據(jù)管理分為以下10個(gè)職能域:
?
- 數(shù)據(jù)控制:在數(shù)據(jù)管理和使用層面之上進(jìn)行規(guī)劃、監(jiān)督和控制。
- 數(shù)據(jù)架構(gòu)管理:定義數(shù)據(jù)資產(chǎn)管理藍(lán)圖。
- 數(shù)據(jù)開發(fā):數(shù)據(jù)的分析、設(shè)計(jì)、實(shí)施、測(cè)試、部署、維護(hù)等工作。
- 數(shù)據(jù)操作管理:提供從數(shù)據(jù)獲取到清除的技術(shù)支持。
- 數(shù)據(jù)安全管理:確保隱私、保密性和適當(dāng)?shù)脑L問權(quán)限等。
- 數(shù)據(jù)質(zhì)量管理:定義、監(jiān)測(cè)和提高數(shù)據(jù)質(zhì)量。
- 參考數(shù)據(jù)和主數(shù)據(jù)管理:管理數(shù)據(jù)的黃金版本和副本。
- 數(shù)據(jù)倉庫和商務(wù)智能管理:實(shí)現(xiàn)報(bào)告和分析。
- 文件和內(nèi)容管理:管理數(shù)據(jù)庫以外的數(shù)據(jù)
- 元數(shù)據(jù)管理:元數(shù)據(jù)的整合、控制以及提供元數(shù)據(jù)。
?
四、數(shù)據(jù)治理框架的理解和解讀
我們常說:沒有最好的解決方案只有更合適的解決方案。企業(yè)在實(shí)施數(shù)據(jù)治理的時(shí)候,應(yīng)做好充分的分析和評(píng)估,切勿盲目跟風(fēng),避免出現(xiàn)數(shù)據(jù)治理收效甚微,還浪費(fèi)了投資的窘境。
筆者認(rèn)為企業(yè)數(shù)據(jù)治理應(yīng)考慮以下要素:
1、數(shù)據(jù)治理的對(duì)象
大家都在談數(shù)據(jù)治理,但是到底哪些數(shù)據(jù)需要被治理?我們說數(shù)據(jù)治理不是治理全部數(shù)據(jù),而是針對(duì)企業(yè)數(shù)據(jù)資產(chǎn)的治理。那么,問題來了,到底什么是數(shù)據(jù)資產(chǎn)?又如何識(shí)別數(shù)據(jù)資產(chǎn)?
筆者認(rèn)為,數(shù)據(jù)資產(chǎn)雖不具備實(shí)物形態(tài),但是它必定是實(shí)物在網(wǎng)絡(luò)世界映射的一種虛擬形態(tài)。對(duì)于企業(yè)而言,人、設(shè)備、產(chǎn)品、物料、軟件系統(tǒng)、數(shù)據(jù)庫、以及任何涉及到使用文件作為載體的各類數(shù)據(jù),都屬于企業(yè)的數(shù)據(jù)資產(chǎn)。
我們雖然定義了數(shù)據(jù)資產(chǎn),但是不同行業(yè)的數(shù)據(jù)治理側(cè)重點(diǎn)也不同。數(shù)據(jù)治理要理解行業(yè)需求、企業(yè)訴求,在不同行業(yè)、不同企業(yè)應(yīng)具有不同的差異化方案。企業(yè)在實(shí)施數(shù)據(jù)治理的時(shí)候,首先要進(jìn)行數(shù)據(jù)資產(chǎn)的識(shí)別和定義,明確數(shù)據(jù)治理的對(duì)象和范圍,做好數(shù)據(jù)治理的頂層設(shè)計(jì)!
2、數(shù)據(jù)治理的時(shí)機(jī)
這些年由于工作原因走訪了一些企業(yè),其經(jīng)濟(jì)情況不同、行業(yè)特點(diǎn)不同、信息化程度不同、數(shù)據(jù)治理情況也不盡相同。
第一類企業(yè):經(jīng)濟(jì)實(shí)力雄厚,信息化起步較早,信息化程度比較高,如:XX銀行、國(guó)家電網(wǎng),他們已形成了系統(tǒng)性的數(shù)據(jù)治理體系。
第二類企業(yè):有一定的經(jīng)濟(jì)實(shí)力、信息化程度相對(duì)較好,但是早期的信息化盲目建議,買了一堆的套裝軟件,建了一堆的系統(tǒng),雖然系統(tǒng)或多或少都有使用,但效果不佳,談起數(shù)據(jù)治理,客戶自己都覺得頭痛:企業(yè)到底都有哪些數(shù)據(jù)?這些數(shù)據(jù)都是分布在哪里?數(shù)據(jù)治理該如何入手?
第三類企業(yè):經(jīng)濟(jì)實(shí)力相對(duì)薄弱,也有信息化剛剛起步的企業(yè),這些企業(yè)多數(shù)的業(yè)務(wù)還是靠紙質(zhì)或線下模式,部分企業(yè)使用了財(cái)務(wù)軟件或ERP系統(tǒng),數(shù)據(jù)存放個(gè)人電腦或生產(chǎn)系統(tǒng)中,基本沒有數(shù)據(jù)治理。我國(guó)的一些中小民型營(yíng)制造企業(yè)多數(shù)處于這個(gè)水平。
企業(yè)數(shù)據(jù)治理的時(shí)機(jī)該如何選擇?
是先有了數(shù)據(jù)再進(jìn)行治理,還是先建設(shè)好數(shù)據(jù)治理體系再進(jìn)行應(yīng)用系統(tǒng)建設(shè)?針對(duì)上述不同類型的企業(yè),其數(shù)據(jù)治理選擇的時(shí)機(jī)和體系建設(shè)的設(shè)計(jì)絕對(duì)不能一概而論。
對(duì)于第一類企業(yè),已經(jīng)有了相對(duì)完善的數(shù)據(jù)治理體系,更需要的是加強(qiáng)數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用、數(shù)據(jù)創(chuàng)新,穩(wěn)固提升數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)變現(xiàn)的能力;
對(duì)于第二類企業(yè)單體架構(gòu)的系統(tǒng)多,信息孤島嚴(yán)重,一定存在數(shù)據(jù)多源、重復(fù)、不一致等問題,其數(shù)據(jù)治理已是迫在眉睫;
對(duì)于第三類企業(yè),在數(shù)字化的浪潮下,信息化雖然薄弱,但如果打好數(shù)據(jù)基礎(chǔ),未免不是企業(yè)改革創(chuàng)新,實(shí)現(xiàn)“彎道超車”的最佳時(shí)機(jī)。
3、誰來實(shí)施、誰來主導(dǎo)
企業(yè)常常有這樣一個(gè)誤區(qū),很多人認(rèn)為數(shù)據(jù)治理就是信息化部門的事情和業(yè)務(wù)部門無關(guān)。
前邊我們說過數(shù)據(jù)治理是對(duì)企業(yè)數(shù)據(jù)資產(chǎn)的治理,既然是資產(chǎn),就一定要確權(quán)。企業(yè)數(shù)據(jù)資產(chǎn)的生產(chǎn)、使用應(yīng)該有明確的責(zé)任部門,顯然數(shù)據(jù)資產(chǎn)的生產(chǎn)及歸屬部門應(yīng)該是業(yè)務(wù)部門,信息化部門最多也就是一個(gè)數(shù)據(jù)資產(chǎn)的托管部門而已。
筆者也多次強(qiáng)調(diào)企業(yè)的數(shù)據(jù)問題,80%是業(yè)務(wù)和管理的問題,20%是技術(shù)問題。
所以,企業(yè)數(shù)據(jù)治理是應(yīng)有高層領(lǐng)導(dǎo)牽頭,業(yè)務(wù)部門負(fù)責(zé),信息部門執(zhí)行,企業(yè)全員的參與。企業(yè)全員應(yīng)培養(yǎng)起數(shù)據(jù)思維和數(shù)據(jù)意識(shí),當(dāng)然這是一個(gè)長(zhǎng)期的過程,也是一件很不容易的事情,需要一點(diǎn)一滴的積累沉淀,并不斷融入企業(yè)文化中。
4、數(shù)據(jù)治理的內(nèi)容
數(shù)據(jù)治理是長(zhǎng)期、復(fù)雜的工程,包含了數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)安全等多個(gè)方面內(nèi)容。由于企業(yè)性質(zhì)、業(yè)務(wù)特點(diǎn)、管理模式的不同,有必要建立符合企業(yè)現(xiàn)狀和企業(yè)需求的數(shù)據(jù)治理框架,指導(dǎo)企業(yè)數(shù)據(jù)治理工作的開展。
以下是筆者個(gè)人理解的數(shù)據(jù)治理框架內(nèi)容:
?
?
元數(shù)據(jù)管理:提高各種數(shù)據(jù)的可信性、可維護(hù)性、適應(yīng)性和可集成性。
主數(shù)據(jù)管理:主數(shù)據(jù)是企業(yè)內(nèi)外被廣泛應(yīng)用和共享的數(shù)據(jù),被譽(yù)為是企業(yè)數(shù)據(jù)資產(chǎn)中的“黃金數(shù)據(jù)”,主數(shù)據(jù)管理是撬動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的支點(diǎn),是企業(yè)數(shù)據(jù)治理最核心的部分。
數(shù)據(jù)安全管理:數(shù)據(jù)安全應(yīng)貫穿數(shù)據(jù)治理全過程,應(yīng)保證管理和技術(shù)兩條腿走路。
五、數(shù)據(jù)治理框架總結(jié)
再次強(qiáng)調(diào),企業(yè)實(shí)施數(shù)據(jù)治理需因地制宜,不論建立什么樣的數(shù)據(jù)治理體系、采用什么樣的數(shù)據(jù)治理技術(shù),其目的都是實(shí)現(xiàn)數(shù)據(jù)治理目標(biāo),即:通過有效的數(shù)據(jù)資源控制手段,對(duì)進(jìn)行數(shù)據(jù)的管理和控制,以提升數(shù)據(jù)質(zhì)量進(jìn)而提升數(shù)據(jù)變現(xiàn)的能力。
數(shù)據(jù)治理體系和框架,只是企業(yè)數(shù)據(jù)治理的一個(gè)參考,不能照搬和套用,更不能為了治理而治理。
歡迎關(guān)注我的公眾號(hào)“商業(yè)智能研究”,私信回復(fù)“資料包”,即可領(lǐng)取大數(shù)據(jù)、數(shù)據(jù)中臺(tái)、商業(yè)智能、數(shù)據(jù)倉庫等6G精華資料!
?
?
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的当年要是早知道这4步框架,我就不会为数据管理发愁了的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 终于有人将数据中台讲清楚了,原来根本不算
- 下一篇: 是什么让你踏上了程序员的道路?