mysql 数据仓库 元数据_数据仓库中的元数据管理
1. 引言
元數(shù)據(jù)是數(shù)據(jù)倉庫中的一個重要組成部分,元數(shù)據(jù)管理系統(tǒng)則是構(gòu)建,管理,維護(hù)和使用數(shù)據(jù)倉庫系統(tǒng)的核心部件。
2. 基礎(chǔ)知識
2.1 元數(shù)據(jù)的定義
元數(shù)據(jù)是指來自企業(yè)內(nèi)外的所有物理數(shù)據(jù)和知識,包括物理數(shù)據(jù)的格式,技術(shù)和業(yè)務(wù)過程,數(shù)據(jù)的規(guī)則和約束以及
企業(yè)所使用數(shù)據(jù)的結(jié)構(gòu)。
元數(shù)據(jù)其實(shí)就是知識,包括系統(tǒng),業(yè)務(wù)和市場的知識。
2.2 元數(shù)據(jù)的作用
元數(shù)據(jù)處于數(shù)據(jù)倉庫的上層,記錄數(shù)據(jù)倉庫中對象的位置,是內(nèi)部技術(shù)人員開發(fā)與維護(hù)數(shù)據(jù)倉庫的藍(lán)圖,是內(nèi)部技術(shù)
人員開發(fā)與維護(hù)數(shù)據(jù)倉庫的藍(lán)圖,是業(yè)務(wù)中用戶導(dǎo)航數(shù)據(jù)倉庫以及定位有用信息的路標(biāo)。
數(shù)據(jù)倉庫系統(tǒng)獲取,共享和管理元數(shù)據(jù)主要有兩個目的
1. 作為描述性信息,描述系統(tǒng)的結(jié)構(gòu)特征和靜態(tài)特征
2. 作為控制性信息,控制并配置特定工具和進(jìn)程運(yùn)行,實(shí)現(xiàn)數(shù)據(jù)倉庫管理和維護(hù)的(半)自動化管理
元數(shù)據(jù)機(jī)制主要支持以下 5 類系統(tǒng)管理功能:
1. 描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中
2. 定義要進(jìn)入數(shù)據(jù)倉庫中的數(shù)據(jù)和從從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)
3. 記錄根據(jù)業(yè)務(wù)事件發(fā)生而對峙進(jìn)行的數(shù)據(jù)抽取工作時間安排
4. 記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況
5. 衡量數(shù)據(jù)質(zhì)量
元數(shù)據(jù)起到的作用
1. 用于集成各類復(fù)雜繁多的信息
2. 其定義的語義層可以幫助最終用戶裂解系統(tǒng)中存儲的數(shù)據(jù)
3. 可以支持需求動態(tài)變化,系統(tǒng)各項(xiàng)表現(xiàn)(界面)的靈活性
4. 可以提高和保證數(shù)據(jù)的質(zhì)量
5. 可以支持多種工具的開發(fā)應(yīng)用
6. 提高系統(tǒng)的安全性
7. 可以提高系統(tǒng)的智能性
2.3 元數(shù)據(jù)分類
2.4 元數(shù)據(jù)的標(biāo)準(zhǔn)化
OMG 在 2000 年發(fā)布了公共倉庫元模型 CWM (Common Warehouse Metamodel) 規(guī)范。
主要目的是在異構(gòu)環(huán)境下,幫助不同的數(shù)據(jù)倉庫工具,平臺和元數(shù)據(jù)知識庫進(jìn)行元數(shù)據(jù)交換。
CWM 模型既包括元數(shù)據(jù)存儲,也包括元數(shù)據(jù)交換,它是基于以下 3 個工業(yè)標(biāo)準(zhǔn)制定的。UML。它定義了表示模型和元模型的語法和語義,對 CWM 模型進(jìn)行建模
MOF 元對象設(shè)施它是 OMG 元模型和元數(shù)據(jù)的存儲標(biāo)準(zhǔn),提供在異構(gòu)環(huán)境下對元數(shù)據(jù)知識庫的訪問接口
為構(gòu)造模型和元模型提供了可擴(kuò)展的框架,并提供了存取元數(shù)據(jù)的程序接口
XMI XML元數(shù)據(jù)交換。它可以使元數(shù)據(jù)以 XML 文件的方式進(jìn)行交換,大大增強(qiáng)了 CWM 的通用性
OMG 元數(shù)據(jù)知識庫體系結(jié)構(gòu)如下圖所示
3. 元數(shù)據(jù)管理的策略
要進(jìn)行成功的元數(shù)據(jù)集成,必須建立一個一致且合理的管理策略,共享和重用指定目標(biāo)和需求。
全局安全策略。
元數(shù)據(jù)是一個具有高敏感性和戰(zhàn)略價(jià)值的信息財(cái)富,必須包含一個全面的安全策略來保證元數(shù)據(jù)得到充分保護(hù)
對每個元數(shù)據(jù)元素語義的一致理解。
軟件組件所用到的每一種元數(shù)據(jù)元素的語義必須存在一致,這直接影響到元數(shù)據(jù)的共享和重用。
每個元數(shù)據(jù)的所有權(quán)。
必須確定哪些個體或哪些組件是一個特定元數(shù)據(jù)元素的最終所有者。要確保元數(shù)據(jù)的所有權(quán)最終屬于元數(shù)據(jù)的
主要項(xiàng)目相關(guān)人員,而不是屬于數(shù)據(jù)倉庫的技術(shù)管理員或者開發(fā)者。
元數(shù)據(jù)元素的版本控制。必須為被管理的元數(shù)據(jù)設(shè)立專門的版本控制規(guī)則。
手工過程的消除機(jī)制和冗余元數(shù)據(jù)的消除機(jī)制。
任何依賴人工干預(yù)的元數(shù)據(jù)集成解決方案對整個數(shù)據(jù)倉庫的投資回報(bào)率都有一個動態(tài)的負(fù)面的影響,
應(yīng)該找出目前所有的手動過程,并提出一個最終能使它們自動的計(jì)劃。
另外,必須盡量消除元數(shù)據(jù)冗余以最大程度共享和重用元數(shù)據(jù)。
如果對數(shù)據(jù)庫相關(guān)知識需要有所了解可以看下這個視頻教程
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎總結(jié)
以上是生活随笔為你收集整理的mysql 数据仓库 元数据_数据仓库中的元数据管理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: js排序的时间复杂度_冒泡排序最好时间复
- 下一篇: mysql查询开启事务_MySQL中的查