数据治理资深大咖分享:一文详解数据标准管理
分享“談數據”公眾號主理人石秀峰在帆軟《決勝數字化轉型》直播上的演講內容~
今天我給大家分享的主題是數據治理之數據標準管理。數據標準管理是數據治理的偏向落地的話題。我自己在數據治理領域,工作在數據治理的前線,有十幾年的工作的經歷,主要負責企業數據治理、企業數字化轉型項目的咨詢還有交付。
1
什么是數據標準?
提到數據標準大家肯定會想到公司也有相關的產品設計的標準、質量檢驗的標準、安全環保的標準,對于金融企業的話,還有市場監管相關的一些標準。這些標準其實都不是我們要講的數據標準,以上的標準最多只能被稱作規范。
在我看來,其實數據標準不能只停留在文件層面上的內容,數據標準更應當是為業務運營和管理決策提供相應的保障。中國信通院在《數據標準管理實踐白皮書》中對數據標準給出了定義,我個人認為定義是非常貼切的,但是好多小伙伴反應定義感覺有點不太理解,怎么通俗的去理解數據標準?
根據我自己的理解,數據標準是企業各部門、各利益干系人在數字化環境中使用的一種共同的語言,就像我們大家交流的語言一樣,是在數字化環境中使用的一種語言。
2
數據標準為什么重要?
中國有一種傳統文化——大一統文化。大一統文化的前提,或者叫背后支撐的鑰匙,就是標準化。在國家治理層面,從秦始皇統一六國,他統一了貨幣、統一了文字、統一了度量衡,廢棄分封制,建立郡縣制,加強中央集權。他采取了一系列國家治理的措施,我們可以發現他做的最核心的一件事情——標準化。所謂的車同軌、書同文,把以前七零八落的、沒有統一的東西都統一起來。
到我們建國以后,包括普通話的推廣,它其實也是國家治理的一部分內容。我們試想一下,如果大家在一間屋里面開會,你說四川話,他說東北話,有的說閩南話,有的說粵語。先不提會議能不能達成共識?起碼會議的效率肯定會大打折扣的。這就是標準化在國家治理層面上的重要性。
剛才我們說了中國的故事,關于標準化不僅在中國有故事,在國外也有。傳說古時候全天下所有的人都說同一種語言。在向東遷移的時候,走到施娜,古巴比倫的一個城市。走到這個地方,發現了111片平原,就住了下來。人們開始修建一座通往天堂的高塔,高塔就叫通天塔,以顯示人們的團結跟力量。但是上帝知道了這件事情,特別不喜歡他們的做法和目的。
于是在塔快要建成的時候,上帝教會了人們說不同的語言,使人們之間無法正常的交流,塔就沒能繼續修建下去。后來些人散到世界各地,各自說各自的語言,就導致了我們現在人類的語言沒有統一,可見語言還有文字在國家治理過程中的重要性。其實我還有一種觀點就是語言、文字的標準化在國家治理中有多重要,數據標準在企業數字化環境中就有多重要。
說到數據治理我們不得不提一下DAMA體系,其實我本身也是DAMA的忠實粉絲,給我的工作提供了指導。細心的小伙伴會發現,剛才我們提到數據標準,既然它在企業數字化環境中那么重要,為什么DAMA沒有專門拿出數據標準作為知識領域專門去寫。這也是我的公眾號后臺有小伙伴給我留言會問的問題,問題問得特別好。
我也特意對比了DAMA-DMBOK1和DAMA-DMBOK2確實是沒有數據標準體系。但是你看過那本書,就會發現其實在DAMA的體系里面,在各個領域都包含了數據標準的一些內容。
但在我看來,數據治理它是頂天立地的事情。我認為數據戰略是天,數據戰略為企業的數字化轉型、為企業的數據治理,指明了整個的方向。所謂的數據標準,就像我們蓋房子打地基一樣,做數據建模也好,做數據倉庫也好,還是做數據質量,做數據安全也好,還是做原數據管理,那么數據標準都是其他領域的基礎,它是核心的基礎。
第一,數據標準是所有數據指令關鍵領域的基礎
第二,數據標準為我們建立業務系統或者是操作性系統分析新系統提供數據之間的依據
第三,數據標準是用原數據來體現的。在這套體系里原數據管理的章節,更多的是體現了數據標準相關的一些概念
第四,數據標準管理,我認為它是包含了主數據與參考數據管理
第五,數據標準其實為企業數據質量管理提供了規則和約束,也要做數據質量結合,數據標準是給我提供相關的一些規則。
第六,數據標準對數據安全的分類對數據的分級也提供了相關的參考和依據。
第七,數據標準跟數據模型的關系,它是指導企業來構建數據模型,同時在建模的過程中又可以為數據標準的制定提供相應的參考
3
企業數據資源環境構成
那有人就會問,數據標準到底包含哪些內容?那么在聊這個問題之前,我們先看一看企業數據環境都包含哪些內容?
其實我們在說企業的數據環境的時候,總會說企業有多少個業務域,其實每個業務域都有對應的數據。比如說財務與人力資源管理與生產、銷售、采購等等,都是相關的數據域。數據下面還有相應的數據主題。比如說市場營銷、市場領域、營銷領域,包括了市場、銷售、回款等等些數據的一些主題。數據主題下面涵蓋了相應的數據的屬性。
如果我們把企業數據資源看作是一棵樹的話,我認為基礎數據是它的數干,基礎數據描述企業核心業務對象的數據。它具有一致且統一的屬性,是企業開展業務的基礎,我們叫它基礎數據。比如說現在提到的產品基礎數據、客戶基礎數據、供應商基礎數據,還有一些所謂的代碼基礎數據,也是基礎數據的一部分內容。
業務數據是樹葉。業務數據是在業務活動過程中產生的交易數據,每發生一筆業務交易,就會產生一條交易數據,它的變化頻率是比較大的。比如說營銷活動的一些數據,銷售訂單的一些數據等等。
第三個部分是果實,我們叫它指標數據。種指標數據是用于統計分析,為管理決策提供參考。比如說新增客戶數、客戶的轉化率、投資回報率等等。我們把它叫做指標數據。
那數據標準到底涵蓋哪些部分?業內一般會認為,數據標準涵蓋了兩個部分,第一部分是基礎數據,第二部分是指標數據。有人會問業務數據能不能做標準化?其實如果做過數據標準化的項目,你會發現只要你把基礎數據做好,業務數據自然而然就會規范了,一般不會針對某業務去定義標準。
4
數據標準的三個視角
剛才我們講了數據標準的四個層面,從數據域到數據的主題或者叫數據分類,再到數據的實體,再到數據的屬性,是數據標準梳理的四個層面。那我們怎么去完成數據標準化,還有三個視角。
一般來說,我們會從以下三個維度去分析數據標準:
第一是業務維度。從業務維度的話,數據標準一般包含業務的定義、標準的名稱、標準的分類、標準的業務含義,還有業務的規則等等。
第二個是技術視角。包括了數據的類型、長度、格式、編碼規則等等。
第三個是管理視角。從管理的視角看,數據標準的管理者是誰,新增人員是誰,修改人員是誰,誰來使用,來源的系統,使用的系統等等。
說到數據標準的三個維度可能有人就會聯想到元數據,元數據一般也會提到業務元數據,技術元數據,管理元數據,跟我講的數據標準的三個視角是完全對應的。接下來看如何去制定標準,其實是非常復雜的過程。
5
如何制定數據標準?
首先你要了解企業為何要去制定標準?企業的需求是什么?現狀是什么?外部環境的要求是什么?建標準的時候,有沒有相關的一些參考?有沒有相關的國家標準?行業標準的一些參考?如果沒有的話,行業有沒有最佳實踐可以拿過來參考。要結合以上的些需求去規劃數據標準的體系,先要把范圍先確定出來。
首先,要基于業務的一些痛點,最需要解決哪些問題,先把些要解決的問題找到,再針對要解決的些問題去梳理,到底哪些業務與哪些數據的主題,哪些數據的實體來定數據的標準?
在定準過程中一般有以下的業務步驟:
第一資料收集。做it的人員都很清楚要收集現有的一些材料,包括數據的質量情況、數據的管理情況、數據的標準化情況等等。
第二個調研訪談。要解決做項目或者數據,你是要解決樣的業務問題?
第三個分析評估。對整體的情況做分析評估,評估和最佳實踐或者最理想情況的標準的差距是多少?
第四個標準制定。根據上述的些條件來定義數據,制定標準。
第五個意見征集。標準定義完之后,形成的標準文件還需要下發到各個業務單位去收集意見,再根據意見的反饋情況,修訂標準。
第六步標準發布。
標準發布了就代表數據標準化的工作就完成了?其實標準發布才是做數據標準化走出的第一步,后續的重點工作其實需要把標準真正的用起來,要在業務過程中、業務系統中能夠使用起來標準,數據標準的貫標跟應用就顯得十分重要。在標準貫標和應用的過程中,又會發現標準定義的不準確。那還需要對標準進行迭代和更新。
在這里穿插一種數據標準的梳理方法,叫BOR法。剛才講數據標準的四個層面,從數據域到數據主題,到數據活動,那到了活動之后該怎么去梳理、提煉數據的標準。
根據每個業務活動,比如說銷售的活動,那就會提煉出銷售業務相關的數據對象;比如說客戶、銷售的產品、銷售訂單,這些都是相應的實體數據。實體的數據都有相應的屬性信息,需要把它的每一項屬性信息從三個角度,業務角度、技術角度、管理角度,進行統一的梳理,最后歸納出來與實體之間的關系,形成數據的整體模型。
剛才我前面講的數據標準,包括兩個部分內容,部分叫基礎數據標準,另部分叫做指標數據標準。基礎數據標準的話,從三個維度去看,包括業務、技術和管理屬性。右邊有具體的示例,比如說企業的組織部門人員,機構、客戶供應商人員、組織等等,這些都是基礎數據。
其實跟主數據是十分相似的,講主數據的時候,也經常講主數據是企業的空間數據,是企業需要被共享的在各個業務系統、各個部門之間的具有高價值的數據。其中主數據,它下面包含了參考數據。拿人員為例,那它的參考數據,包括性別、民族、學歷、職級、崗位等等,都是參考數據。
在做數據標準化的過程中,除了要定義實體,還需要把參考數據進行標準化。比如1代表男,2代表女,那就不能用F、N去代表男和女。我認為基礎數據標準是包含主數據和參考數據的。基礎數據一旦被共享,那就可以把它當作主數據去看待。
接下來是指標數據的標準。指標數據該從哪幾方面進行標準化?其實也包含三個層面。
第一個方面業務屬性。比如說指標分類、指標的名稱、指標的定義、指標的計算規則、指標的應用場景,部分的內容是需要業務人員來定義出來的。
第二個方面是技術屬性。包括數據的來源、數據的值域、統計周期、統計維度、計算精度,是it人員需要提供的。
第三個方面是管理屬性。比如指標的歸口部門是哪?數據提供部門是哪?雖然負責管理,指標是從哪個系統生成的?到哪個系統進行使用?也是為后續的整個元數據管理或者建議指標庫提供支撐。
接下來如何管理好數據標準。我覺得有一張圖六邊形圖給出來很好的方法論,叫數據治理的基本環境要素,是把之前展示的車輪圖加上六邊形圖的六大基本要素組成矩陣,就形成了針對每域的數據治理的方案。基本環境要素包括目標與原則、組織與文化、工具、活動、角色和職責、交付成果、技術等等。
我認為數據標準完全可以作為域去獨立管理,當然你也可以把數據標準放到其他的解決方案中去處理。因為DAMA體系引領到中國,我覺得中國人對標準還是有一定的情懷在里面,不過去做數據項目第提到的數據標準化,到底該如何去構建標準的體系?
接下里說一下數據標準的落地辦法,其實剛才我們已經提到,把基礎數據的標準庫還有指標數據的標準庫搭建出來了,最終還是要用到系統中來,用到信息化的環境中來。信息化的環境一般分成兩個部分去看,一部分是操作型系統,一部分是分析型系統。
操作型系統我們經常看的企業的ERP系統、CRM系統、SRM系統,這些系統有的用的是套裝軟件,有的是自己開發的。梳理好數據標準要落地的時候主要有以下三種解決方案:
第一個解決方案就是剛才我們提到的主數據的解決方案。主數據的解決方案解決機構系統之間的數據統一的問題,要實現一碼一目一數一元,統一數據來源。這是數據標準落地的解決方案,主數據是解決方案。
第二個解決方案是構建標準數據庫。新業務系統來了,所有的需要運行的基礎數據都可以從數據標準庫里面來取,通過數據服務廠把數據標準提供出去,為業務系統的構建提供相應的支撐。
第三個解決方案是在分析性系統。將來要做數據分析的時候,要解決分析指標透明不透明的問題,也需要調指標庫,有的企業叫指標中心,有的企業叫指標庫。指標中心為數據倉庫、報表平臺、智能分析平臺提供了維度和度量,數據標準其實為數據分析提供了重要的支撐。
6
數據標準管理的4個最佳實踐
最后結合自己的工作實踐介紹下數據標準管理的四個實踐。
第一個,誰來主導?
也是很多客戶或者很多人問我最多的問題,是業務來主導還是it來主導?如果從書上看,大家都會建議你由業務來主導,因為業務更懂數據。其實不是it特別擅長的。但是在實踐的過程中,你會發現做這個事情往往都是老板拍下來,事情就交給it來做。
那這時候我們該怎么做?那其實我一般會給我們的客戶提供兩個建議,一個叫借勢,一個叫造勢。
所謂的借勢,既然企業想做出數據,那一定會找到支持狀況,也就是說一定有領導支持你才會立項目,也一定會找到比較積極的業務部門。那你到時候就可以借他們的勢去做數據標準梳理的工作,哪個業務部門積極那我就先梳理哪個業務部門的,這是一個層面。第二層面,剛才我們講的各個政策,跟國家相關的一些政策,一些驅動的因素,去借這個勢去說服老板和領導。
第三個從技術的角度,目前數據治理是我們數字化轉型的基礎,不管是在推進國有企業數字化轉型通知上也好,還是在各個數據體系分析的報告上來說,數據治理其實都是最核心的基礎。我們可以借技術趨勢的勢去引導數據治理的工作,來把數據標準制定出來。
第三個層面,我們還是要學會造勢。我們可以請一些外國的專家甚至是咨詢公司給我們的領導來做相關的一些宣傳,帶他去參觀相關行業的標桿。
第二個實踐叫循序漸進。
因為數據治理的事情絕對不是一口吃不出個胖子的事情,一下子是解決不了所有的數據問題的。我們要從企業的整個主價值鏈,從業務的角度去分析,哪些業務是緊迫需要的,哪些數據標準對業務的影響程度是比較大的?哪些數據在各個系統之間共享程度是比較高的?以及數據在實施過程中的難易程度。我們要把所有的治理需求優先級排出來,給到我們的領導。比如說先治理營銷領域,因為現在說實話,轉型最提倡的就是數字營銷,因為營銷更貼近于客戶,更容易成功,更容易見效。另外,可以從內部管理,比如說先治理財務的人員,或者先治理生產的人員都是可以的,要根據企業的優先級來進行排序。
第三個實踐叫數據標準的動態管理。
因為整個外部環境是動態變化的,不管是商業環境還是技術環境都是變化的,數據標準也要與時俱進。比如今天制定好的標準,明天可能就會發生相關的一些變化,那就不能定了標準以后所有的業務都按照標準執行。前提是標準合不合理,合不合規。如果不能與事俱進的話,就會面臨項目的數據標準用不起來。我們要建立好數據標準的更新機制和更新機制配套相關的組織管理流程、相關的管理辦法。
第四個實踐是應用為王。
最后數據標準還是要應用起來,需要貫徹到各個業務系統里面去,那我們給出來的建議是以對現有系統影響最小為原則去落地數據標準。不要為了落地標準把所有的系統都打亂都重新來一遍,我覺得是很不現實的事情。
請多多評論轉發分享,會給大家帶來更多干貨內容的!
總結
以上是生活随笔為你收集整理的数据治理资深大咖分享:一文详解数据标准管理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 手把手教你用C语言画“心”!
- 下一篇: 数据行业工作3年,我靠这7个能力,成为领