一. 簡介

---

1. 概述

Atlas 是一個可伸縮且功能豐富的數(shù)據(jù)管理系統(tǒng)，深度集成了 Hadoop 大數(shù)據(jù)組件。簡單理解就是一個跟 Hadoop 關(guān)系緊密的，可以用來做元數(shù)據(jù)管理的一個系統(tǒng),整個結(jié)構(gòu) 圖如下所示

官網(wǎng): https://www.cloudera.com/products/open-source/apache-hadoop/apache-atlas.html
http://atlas.apache.org/#/

為組織提供開放式元數(shù)據(jù)管理和治理功能，用以構(gòu)建數(shù)據(jù)資產(chǎn)目錄，對這些資產(chǎn)進(jìn)行分類和管理，并未數(shù)據(jù)分析和數(shù)據(jù)治理團(tuán)隊，提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能

ods,dwd,dws,ads
1.表與表之間的血緣依賴
2.表與表之間字段間的血緣依賴

2. 數(shù)據(jù)管理

數(shù)據(jù)字典

? 對資產(chǎn)進(jìn)行分類和管理
? 包含對所有庫和表字段的表述
血緣追溯
? 表的追索和表字段的追索

3. 數(shù)據(jù)治理

數(shù)據(jù)安全
-Ranger ->Hive
權(quán)限控制，數(shù)據(jù)脫敏
數(shù)據(jù)質(zhì)量
-Shell + HQL ,Griffin
期望+使用預(yù)期
數(shù)據(jù)完整性
數(shù)據(jù)一致性
數(shù)據(jù)不重復(fù)性
元數(shù)據(jù)管理
-Atlas

?

4. Atlas 架構(gòu)

總結(jié)

以上是生活随笔為你收集整理的数据中台之血缘篇：Atlas 详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。