如何从数据生命周期的角度做好数据资产管理?
數據科學家和權威專家維克托·邁爾·舍恩伯格在其《大數據時代》中指出“雖然大數據還沒有被列入企業的資產負債表,但這只是一個時間問題?!?/p>
與此同時,隨著數據爆發式的增長,越來越多企業認識到數據的重要性,把數據當作數據資產。但數據不等于數據資產,數據必須以合理、易用、安全和易于理解的方式組織起來,能為業務注入有效的價值才能作為數據資產。
數據變成數據資產的前提是有著完整的數據標準管理、數據質量管理、數據安全管理、易于使用的元數據管理和持續產生數據價值管理的從數據產生到銷毀的數據全生命周期管理體系。今天小億就來為大家分享如何從數據生命周期的角度做好數據資產管理?
一、什么數據生命周期管理?
1.數據生命周期
數據的生命周期是指某個集合的數據從產生或獲取到銷毀的過程。數據生命周期分為:采集、存儲、整合、呈現與使用、分析與應用、歸檔和銷毀幾個階段。在數據的生命周期中,數據價值決定著數據生命周期的長度,并且數據價值會隨著時間的變化而遞減。
2.數據生命周期管理
數據生命周期管理是一種基于策略的方法,用于管理信息系統的數據在整個生命周期內的流動:從數據創建和初始的存儲,直到它過時被刪除或銷毀。
數據生命周期管理的目標主要有4點:
①通過規范數據的生命周期管理,提高數據的整體管理水平,滿足監管要求;
②優化存儲結構,有效控制在在線數據規模,提高生產數據訪問效率;
③提高系統資源使用效率,確保系統安全、穩定、高效運行;
④做好歷史數據管理,為用戶的客戶服務和經營分析提供數據支撐。
這里需要注意的是,數據的采集粒度與時效性、存儲方式、整合狀況、可視化程序、分析的深度和應用銜接的程序,都會對數據價值的體現產生影響。所以需針對數據生命周期各個階段的特點采取不同的管理方式和控制手段??傊?#xff0c;在成本可控、可量化、可管理的前提下,從數據中挖掘出更多有效的數據價值。
與此同時,數據全生命周期管理與企業數據戰略也是密不可分的。數據戰略決定了數據采集策略和范圍、存儲和計算資源投入、數據整合能力、可視化的程序和分析的廣度與深度等資源投入。
二、常見的數據生命周期管理模型
數據生命周期管理模型定義了一個宏觀的框架,它是從生產階段到消亡階段的數據生命的全景視圖。但是,因為數據有很多自身的特點,又不完全相同,因此,在數據管理領域,學術界和企業界的許多研究人員提出了不同的數據生命周期管理模型,如下圖所示:
許多模型都是為解決數據管理中的一個特定問題或特定目的而設計的,通過對比分析可以發現有些階段是每個模型共同的,比如數據創建/接收,有些階段則是獨有的,比如數據可視化。而數據歸檔和銷毀很少有模型涉及,這說明很多模型并沒有把數據當作資產來看待,并沒有考慮數據管理的效益最大化。
而如今數據是一種重要的資源,已經成為一種社會生產要素,被提升為和勞動、土地和資本同等重要的地位,因此建立數據資產生命周期管理模型是非常有必要的,它能幫助企業推動數據生產、使用、治理、實現企業數字化轉型及效益最大化。
三、數據資產生命周期管理模型
如圖所示,根據對數據生命周期管理模型包含階段的統計分析,結合大數據的特點以及企業實踐經驗,數據資產生命周期模型包含11個階段的,分別是計劃、定義、創建/接收、處理、集成、存儲、運維、共享、發現、使用和復用、歸檔&銷毀,旨在消除企業或組織在為任何新項目設計新模型時的認知差異和浪費。這里,我們把數據資產生命周期的11階段可以劃分為4大階段。
1.“入”期
不僅僅指數據的創建與接收,有效的數據資產管理始于數據的產生之前開始。首先應該做好規劃和計劃,包括數據資產盤點、數據治理計劃、數據需求計劃等;然后對數據標準進行定義,制定數據管理規范,確保數據按照標準產生,從源頭抓起。在大數據時代,數據不僅來源于企業內部,更多的是需要采集外部數據,但是需要在法律法規允許框架下,根據數據戰略來定義數據采集范圍和采集策略。
2.“存”期
需要對結構化、半結構和非結構化多樣化的數據結構,批數據和流數據多種數據形式進行存儲和處理。面對不同數據結構、數據形式、時效性與性能要求和存儲與計算成本等因素考慮,應該使用適合的存儲形式與計算引擎。
但數據容量的急劇擴大,這對于數據存儲和計算成本帶來極大挑戰。而應針對不同熱度數據采用不同存儲和計算資源,以優化存儲和處理成本并提升可用性。
數據鴻溝、數據孤島的普遍存在需要“集成”來進行連接打通,數據只有集成起來才能發揮更大的價值。只有實現了數據集成,數據倉庫才能稱之為數據倉庫,否則即使把數據集中起來存儲,也只能叫做數據垃圾堆。
3.“用”期
是數據真正產生價值的周期,其他周期都是成本,數據因使用而升值,用處越多價值越大。在“用”這個期間要特別強調“數據復用”這個階段,時下比較流行的數據中臺架構,最大的一個價值就是數據復用和服務復用,這對于節省成本,提高效率非常重要。未來企業或組織在評估一個數據產品值不值得開發很重要的一個指標應該看能不能復用。
4.“出”期
也非常重要,是將那些生命周期步入尾聲的數據保存到低性能廉價的存儲介質或直接銷毀,是數據生命周期管理必不可少的步驟。雖然現在存儲的價格越來越低,但是如果不加以管理也會產生很大的負擔,對于數據資產整體效益不利。
另外,如不加以區分,本該歸檔或者清除的冷/冰數據和活躍的熱/溫數據存放在一起,將嚴重影響系統與業務效率。對于數據的銷毀,企業應該有嚴格的管理制度,建立數據銷毀的審批流程,并制作嚴格數據銷毀檢查表。只有通過檢查表檢查,并通過流程審批的數據才可被銷毀。
最后在整個過程中,數據運維提供保障,主要負責對數據庫進行日常維護,對數據進行備份、恢復。確保數據完整性、一致性、及時性,保證數據質量。除此之外,還需要提供數據安全方面的防護,進行用戶授權、身份認證和訪問行為監控等,并保密級別較高的數據進行數據加密、脫敏、匿名化等操作。
四、傳統企業如何做好數據資產生命周期管理?
傳統企業的數據資產生命周期管理需要有持續的信息化、數字化投入打基礎,整體策略是統籌推動,以用促建、急用先行。
1.業務數字化是數據資產管理的前提
企業要持續進行業務對象數字化、業務規則數字化和業務過程數字化,解決數據有源的問題。業務數字化通常由業務部門驅動,IT使能部門協同推進。
2.數據匯聚入湖是建設數據資產的基礎
企業可以從邏輯上匯聚內外部、結構化/非結構化等異構多源數據,為數據中臺提供完整、清潔的原始數據,數據入湖需遵循相關標準(明確數據Owner,做到責任到位、發布數據標準,形成企業統一語言、認證數據源,保證數據有源一致性、定義數據密級,在安全的前提下實現數據共享、評估數據質量,讓數據可信可用、注冊元數據,形成數據資產地圖,方便用戶找到所需資產),最終實現數據找得到、可理解、可信任、可消費。
3.數據中臺是建設數據資產的重點
通過業務和數據雙驅動,做厚數據中臺,重點建設五類數據中臺資產,做好數據主題聯接,支撐數據消費,核心是將數據按業務流(如合同、銷售訂單等)、業務對象(如客戶、供應商等)、標簽(員工、用戶畫像等)、指標數據(原子指標數據、復合指標等)與算法(機會點挖掘等)進行整合聯接,確保數據集成、透明,形成數據主題資產(如客戶主題等),支撐自助分析、業務過程可視、智能決策、風險預警和控制、經營與運營報告等數據消費場景。
4.做好數據資產生命周期管理是核心
持續做好元數據管理、數據質量管理,并加強數據安全與個人隱私保護、數據血緣、數據生態能力。基于數據資產,通過數據服務滿足數據消費是關鍵。通過數據分析平臺,以API形式將數據服務開放給數據消費者,滿足實時可視、風險預警、智能決策等場景下的數據消費需求。
業務數字化實現了數據有源;建設數據底座,實現數據匯聚和數據資產管理;開發數據服務,減少重復投資,在保障數據安全的前提下滿足多場景的數據資產消費。
五、數據資產生命周期管理的實踐價值
第一,使企業降低成本。數據成本和效率之間本身存在矛盾,很多公司在做大數據時會用空間換時間,隨著數據的增長,如不及時進行管理和存儲最終會影響到計算效率,導致成本既存儲空間不斷增長。?
第二,規避風險。在對數據進行監管和審計是會對相關數據進行保留,在客戶丟失個人信息時,可以進行全程追溯,做到風險規避。?
第三,提高數據質量。數據管理的重要目標之一就是提升數據的質量,不通過全生命周期管理數據很難保證數據整體的質量水平,在系統前期建設和開發過程中需要指定完善的業務規則和標準,保證得到高質量的數據。?
第四,價值最大化。不做全生命周期管理則無法從數據上著眼價值和利益的最大化,企業在投資項目前可以通過數據看到產品背后的成本和預期收益,從而對投資是否合理做出判斷。
六、小結
企業數據資產生命周期管理的基礎是,企業首先應樹立數據資產的意識形態,只有真正把數據當做資產看待的時候才會通過數據看到產品的收益和價值,并在后續產品開發之前提前指定數據資產生命周期管理方案。
其次,數據資產建立之前需要統一的數據標準描述資產模型和收集信息的維度,例如通過用戶ID打通信息孤島,獲取手機、郵箱、身份證等信息,進行數據資產的統一建模。?
最后,需要對數據資產的處理歷史進行跟蹤,將數據資產從產生到內部業務集成、數倉、應用的全過程打通,通過精細化的管理,為數據成本核算、收集投資收益等信息建立良好基礎。
當前企業數據資產全生命周期管理存在一些問題,比如數據組織方面,很多企業也缺乏專業的數據資產管理組織;數據管控流程方面,跨域跨專業數據管控流程尚未建立、跨域數據管理技術手段尚不完善;IT架構方面,采用煙囪式的傳統IT架構,使得企業在進行數據資產管理時會遇到數據分散、規模大、種類多、質量差的問題,導致了數據變現的困難。同時在數據安全方面,很多企業沒有進行數據密級的控制,使企業在做數據分享時會遇到不知道該不該給、該給多少的問題,存在數據安全問題。
總結
以上是生活随笔為你收集整理的如何从数据生命周期的角度做好数据资产管理?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 区块链项目的价值评估关键词:数据|筱静观
- 下一篇: Apache Falcon简介-Hado