大數(shù)據(jù)之?dāng)?shù)據(jù)質(zhì)量

• 一、數(shù)據(jù)質(zhì)量評估
• • 1. 完整性
  • 2. 準(zhǔn)確性
  • 3. 及時性
  • 4. 一致性
• 二、如何提升數(shù)據(jù)質(zhì)量
• • 1. 事前定義數(shù)據(jù)的監(jiān)控規(guī)則
  • 2. 事中監(jiān)控和控制數(shù)據(jù)生產(chǎn)過程
  • 3. 事后分析和問題跟蹤

一、數(shù)據(jù)質(zhì)量評估

1. 完整性

2. 準(zhǔn)確性

3. 及時性

4. 一致性

二、如何提升數(shù)據(jù)質(zhì)量

1. 事前定義數(shù)據(jù)的監(jiān)控規(guī)則

提煉規(guī)則：梳理對應(yīng)指標(biāo)、確定對象（多表、單表、字段）、通過影響程度確定資產(chǎn)等級、質(zhì)量規(guī)則制定

2. 事中監(jiān)控和控制數(shù)據(jù)生產(chǎn)過程

• 質(zhì)量監(jiān)控和工作流無縫對接
• 支持定時調(diào)度
• 強弱規(guī)則控制ETL流程
• 對臟數(shù)據(jù)進行清洗

3. 事后分析和問題跟蹤

• 郵件短信報警
• 稽核報告查詢
  數(shù)據(jù)質(zhì)量報告的概覽、歷史趨勢、異常查詢、數(shù)據(jù)質(zhì)量表覆蓋率
• 問題分析
  異常評估、嚴(yán)重程度、影響范圍、問題分類
• 表打分和質(zhì)量趨勢
• 報警問題跟蹤處理
  參考博文

總結(jié)

以上是生活随笔為你收集整理的大数据之数据质量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。