?在數據應用過程中，數據采集和數據治理是兩大核心抓手。本文繼《方法論 + 實踐，全面解析數據采集方案》之后，作者王灼洲通過兩大挑戰、三大原則詳細闡述了對于企業數據治理的思考。主要內容如下：

· 數據治理的定義和重要性
· 數據治理面臨的兩大挑戰
· 數據治理的三大原則

一、數據治理的定義和重要性

在討論數據治理之前，我們需要對于數據治理下一個明確的定義，數據治理到底包括了哪些范疇。從我們的視角來講，數據治理，是指“組織對數據的可用性、完整性和安全性的整體管理”。

數據的可用性，是指數據本身是可用的、可信的和質量有保證的，不會因為本身的數據質量給后續的數據應用帶來問題；

數據的完整性，是指我們收集的數據本身是完整的，能夠覆蓋各類數據應用的需要，不會因為缺少了對某些數據的采集，而帶來了數據資產的流失；

數據的安全性，則是指數據治理和分享的過程是安全可控的，這個過程不會侵犯用戶隱私，不會給組織本身留下安全隱患。

數據治理的核心，就是幫助我們可以更早、更及時、更高效的發現埋點問題和數據問題，確保后續數據應用的正確性和價值傳遞。 因此，數據治理的重要性，是毋庸置疑的，它是所有數據應用的基礎和根基，它的好壞直接影響數據應用過程中的價值體現。同時，數據治理也是一個組織進行數據資產沉淀的基礎，直接決定一個組織的數據資產能否得到有效的沉淀，以及在數據應用過程中能否充分地發揮數據價值。

二、數據治理面臨的兩大挑戰

在進行數據治理的過程中，通常會面臨兩大類挑戰。?

第一類挑戰，是由于客觀的技術問題帶來的。

技術方面帶來的挑戰，其實比較容易理解，業務越復雜，數據應用越多，需要采集的數據源就會越多，需要處理的數據問題也會越多，自然就會有更大的挑戰。
具體來說，這些技術細節上的挑戰包括：
· 數據傳輸方面的挑戰：比如數據如何通過公網進行可信傳輸；
· 數據準確性方面的挑戰：如何保證數據不重復、不丟失；
· 時間同一性方面的挑戰：客戶端時間不準確時如何處理；
· 兼容性方面的挑戰：不同系統、不同設備之間的兼容性如何處理；
· 性能影響方面的挑戰：在數據采集的過程中，如何最大限度地減少對客戶端性能和業務的影響；
· 可測試性方面的挑戰：如何在數據治理開發過程中方便地進行調試和自測。

除此之外，數據治理，或者說數據治理中的采集部分，還會面臨用戶隱私與安全方面的挑戰，包括如何應對 GDPR 和工信部等法規的要求，如何在組織內部對敏感字段進行審核，如何進行數據在不同行、不同列上的權限控制，以及如何在傳輸和處理過程中對數據進行加密和解密。

針對第一類挑戰，我們建議可以使用統一的數據采集和數據導入工具，比如使用專業的數據采集 SDK，可以將多端數據采集工作進行統一化、專業化和標準化，最大限度地降低在數據采集或者導入的過程中，出現問題的各種可能性。

第二類挑戰，是由于人或組織架構的問題帶來的。

這些挑戰主要體現在：關鍵角色權責不統一；多個部門之間配合不到位；數據治理各個相關角色缺乏共同語言；不同角色的付出與收益脫節；誰來對數據的質量負責等。

要想徹底解決這些挑戰是非常難的，這是一個漫長的過程。不過，我們也可以使用一定的技術手段來緩解這些問題。比如，我們可以使用統一的數據模型，像神策的 Event-User-Item 模型，可以在一定程度上解決各個組織架構和部門缺乏共同語言的問題，同時也能緩解跨部門、跨業務帶來的一些挑戰。

數據治理橫跨多個環節，是一場“持久戰”，并不是一蹴而就的事情，它需要我們不斷地投入時間和精力，同時也是一個極易出錯的過程。因此，在數據治理的各個環節，需要有專業的人員進行咨詢、支持、協助和統籌，比如像神策數據的專業分析師等角色，他們是數據治理的專業人員，可以在一定程度上協助客戶解決問題。?

三、數據治理的原則

結合過去五年累計服務 1500+ 家企業客戶的經驗，我們總結了數據治理的三大原則：

1.不要先污染后治理，而是應該從源頭控制

這個原則比較好理解，就像人生病了去醫院一樣，一般都是因為已經“生病了”才會選擇去醫院，這個時候不管采用何種治療方案，都會對我們的身體有一定的傷害，即使康復了，也有可能留下后遺癥。因此，我們平時更應該多看“保健醫生”，確保我們盡量不要生病，即便無法完全規避，最起碼也可以及時發現異常，通過適當的鍛煉增強體質。

一旦數據被污染了，發現、制定方案和清洗均是一個漫長的過程，最終還不一定能達到我們的預期。比如，數據的治理需要伴隨 App 發版，但即使我們新版本發出去了，用戶也不一定會升級，從而導致部分數據一直被污染。

如果借助數據治理產品，比如神策的 SDG，就可以在數據接入或者數據校驗階段，在產品系統內通過對上報數據的字段設置一定的校驗規則，當有數據導入并且校驗未通過時，就會在質量看版中進行報警和展示，埋點研發/分析師便可以集中定位/查看/反饋埋點問題。

字段規則如下：
· 設置字段為必要字段，則該字段不能為空值或者不上報；
· 枚舉校驗，可以設置字段的枚舉值內容；
· 正則表達式校驗，可以設置字段滿足的正則表達式；
· 區間校驗，可以針對數值類型字段設置其數值區間；
· 等值校驗，可以設置該字段的值為特定值，可以理解為只有一個值的特殊枚舉。

因此，對于數據治理，不要先污染后治理，而是應該從源頭控制。?

2.數據治理的過程要貫穿到整個業務迭代的過程中

在我們剛開始進行數據治理時，通常情況下，由于內部的重視，能夠在數據治理方面取得較好的成果。但隨著業務的持續迭代，數據應用的需求以及系統本身也在不斷發生變化，數據治理也需要隨之進行不斷地更新與調整。在這個階段，由于對數據治理的重視程度下降、組織架構以及人員變更、流程不穩定、不全面等因素，數據治理的結果一般很難保持在一個較高的基線，反而會越來越差，直至無法滿足最終的數據應用需求。

以在線推薦系統為例，如果用于給機器學習訓練的 Item 數據流、曝光和點擊事件導入有延遲、故障，會直接影響在線服務，比如出現刷不出新條?推薦系統 fail 的情況。

數據治理相關的產品，一般都會提供支持自主設置規則的監控能力，比如連續 3 ?時每個 Item 數據流上報量?于 100 條，當上報量在設置的時間范圍內不滿足預期時，會自動上報到報警平臺并展示。

因此，數據治理的過程要貫穿到整個業務迭代的過程中，業務發生了變更，組織架構發生了變更，數據治理方案和流程也應該隨著進行變更。?

3.以產品化、組件化的思路來解決，不能只依賴于人工

神策數據提供了標準的數據采集 SDK，將匿名 ID 生成、基礎屬性采集、數據打包壓縮加密、本地緩存、網絡傳輸、時間校準、遠程控制等通用功能，都進行了產品化與標準化處理。除此之外，還可以將數據治理過程中通用需求和通用治理方案，以產品化的方式進行沉淀。??數據治理，我把它理解為“紀檢委”的角色，不能只依靠發現問題之后去處理，更應有前瞻意識，時刻保持監督與檢查；因為沒有完美的方案滿足業務發展過程中遇到的所有問題，所以我們唯一能做的是根據業務發展和產品迭代狀況，及時調整數據治理的規則。

作者介紹

王灼洲先生是《Android 全埋點解決方案》《iOS 全埋點解決方案》作者，神策數據治理研發部負責人。有 10+ 年 Android & iOS 相關開發經驗，是國內第一批從事 Android 研發工作，開發和維護國內第一個商用的開源 Android & iOS 數據埋點 SDK。

王灼洲先生曾就職于北京天宇朗通通信設備股份有限公司，擔任 Android 系統工程師。畢業于北京理工大學，軟件工程專業。

關于神策數據

神策數據是專業的大數據分析和營銷科技服務提供商。公司圍繞用戶級大數據分析和管理需求，推出神策分析、神策用戶畫像、神策智能運營、神策智能推薦、神策客景等產品。

此外，還提供大數據相關咨詢和完整解決方案。神策數據積累了中國銀聯、小米、中郵消費金融、海通證券、廣發證券、東方證券、中原銀行、百信銀行、中青旅、平安壽險、四川航空、VIPKID、東方明珠、華潤、有贊、百姓網、貨拉拉、閃送、驢媽媽、Keep、36 氪、拉勾、VUE、春雨醫生、聚美優品、邊鋒游戲、撈月狗、紛享銷客等 1500 余家付費企業用戶的服務和客戶成功經驗，為客戶全面提供指標梳理、數據模型搭建等專業的咨詢、實施和技術支持服務。希望更深入了解神策數據或有數據驅動相關問題咨詢，請咨詢4006509827，由專業的咨詢顧問為您解答。

總結

以上是生活随笔為你收集整理的如何进行有效的数据治理，提升数据价值？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。