数据仓库工具箱:维度建模权威指南3
數(shù)據(jù)倉(cāng)庫(kù)工具箱:維度建模權(quán)威指南3
- 零售業(yè)務(wù)
- 維度模型設(shè)計(jì)的4步
- 選擇業(yè)務(wù)過程
- 聲明粒度
- 確定維度(列名帶有key后綴)
- 確定事實(shí)
- 零售業(yè)務(wù)案例研究
- 可加事實(shí)
- 不可加事實(shí)
- 維度表設(shè)計(jì)細(xì)節(jié)
- 日期維度(還有當(dāng)天時(shí)間維度:time-of-day)
- 產(chǎn)品維度
- 商店維度
- 促銷維度
- 退化維度
- 無(wú)事實(shí)的事實(shí)表
- 維度與事實(shí)表建
- 維度表代理鍵
- 自然和持久的超自然鍵
- 退化維度代理建
- 日期維度中智能鍵
- 事實(shí)表代理鍵
- 抵制規(guī)范化沖動(dòng)
- 雪花模型
- 支架表
- 錯(cuò)誤案例:蜈蚣表
- 庫(kù)存
- 價(jià)值鏈
- 庫(kù)存模型
- 庫(kù)存周期快照
- 半可加事實(shí)
- 增強(qiáng)型庫(kù)存事實(shí)
- 庫(kù)存事務(wù)
- 庫(kù)存累計(jì)快照
- 事實(shí)表類型
- 價(jià)值鏈集成
- 數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu)
- 理解總線架構(gòu)
- 總線矩陣(重點(diǎn))
- 利益相關(guān)方矩陣
- 常見總線矩陣錯(cuò)誤
- 一致性維度
- 多事實(shí)表鉆取
- 相同的一致性維度
- 包含屬性子集的縮減上卷一致性維度
- 包含行子集的縮減上卷一致性維度
- 總線矩陣縮減一致性維度
- 有限一致性
- 一致性事實(shí)
- 采購(gòu)
零售業(yè)務(wù)
維度模型設(shè)計(jì)的4步
綜合考慮用戶需求、數(shù)據(jù)來(lái)源,設(shè)計(jì)維度模型。只考慮數(shù)據(jù)源,以數(shù)據(jù)驅(qū)動(dòng),基本不能取得成功。
選擇業(yè)務(wù)過程
聲明粒度
- 客戶銷售事務(wù)上的每個(gè)產(chǎn)品掃描到一行中
- 醫(yī)生開具的票據(jù)的列表內(nèi)容項(xiàng)采用一行表示
- 機(jī)場(chǎng)登機(jī)口處理的每個(gè)登機(jī)牌采用一行表示
- 倉(cāng)庫(kù)中每種材料庫(kù)存水平的每日快照采用一行表示
- 每個(gè)銀行賬戶每月的情況采用一行表示
應(yīng)以業(yè)務(wù)數(shù)語(yǔ)表示,用主鍵聲明是不可取的
確定維度(列名帶有key后綴)
“誰(shuí)、什么、何處、何時(shí)、為何、如何”
常見維度有:日期、產(chǎn)品、客戶、雇員、設(shè)備
確定事實(shí)
如:訂貨數(shù)量、成本總額
POS 系統(tǒng)收集的事實(shí)包括銷售數(shù)量、單價(jià)、折扣、凈支付價(jià)格、擴(kuò)展折扣
零售業(yè)務(wù)案例研究
可加事實(shí)
收入
不可加事實(shí)
利潤(rùn)率
計(jì)算公式:匯總的比率,而不是比率的匯總
維度表設(shè)計(jì)細(xì)節(jié)
日期維度(還有當(dāng)天時(shí)間維度:time-of-day)
可以提前建立,制作10或20年的,20年為7300行。
當(dāng)前與相對(duì)日期屬性 一節(jié)沒看懂
產(chǎn)品維度
價(jià)格可以定為維度也可以定為度量
商店維度
- 多層次維度
- 維度表中的日期
促銷維度
臨時(shí)降價(jià)、禮券、廣告、展示 可以分別制作維度表與統(tǒng)一制作一張促銷維度表
-
空外鍵
不應(yīng)在事實(shí)表中使用空值鍵,正確的設(shè)計(jì)應(yīng)該在對(duì)應(yīng)的維度表中包括一行以表明該維度不可用于度量。
-
空屬性
應(yīng)用“未知”與“不適用”代替空屬性,因?yàn)榭罩祷静粫?huì)顯示在頁(yè)面上,會(huì)造成數(shù)據(jù)不一致,并且有些BI工具禁止使用空值屬性
-
空事實(shí)
沒看懂
退化維度
定義:處于事實(shí)表中,沒有鏈接到維度表
例如:POS機(jī)事務(wù)號(hào)(可以用來(lái)把同一個(gè)購(gòu)物小票購(gòu)物車中的商品關(guān)聯(lián)起來(lái),并于原系統(tǒng)關(guān)聯(lián)),訂單號(hào)碼,發(fā)票號(hào)碼、
無(wú)事實(shí)的事實(shí)表
統(tǒng)計(jì)處于處于促銷狀態(tài)但尚未銷售的產(chǎn)品,事實(shí)表中只包含出售的商品
維度與事實(shí)表建
維度表代理鍵
維度表應(yīng)該是代理鍵而不是操作系統(tǒng)標(biāo)識(shí)符:無(wú)意義鍵、整數(shù)鍵、非自然鍵
強(qiáng)烈建議使用非自然鍵
自然和持久的超自然鍵
沒看懂
退化維度代理建
通常不會(huì)給退化維度分配代理鍵,如果多個(gè)商店的POS單號(hào)不唯一時(shí),需要分配代理鍵。
日期維度中智能鍵
YYYYMMDD 整數(shù),并未打算提供給業(yè)務(wù)用戶和bi應(yīng)用,為了防止繞過維度表采用函數(shù)計(jì)算
事實(shí)表代理鍵
并未要求一定在事實(shí)表中使用代理鍵。
優(yōu)點(diǎn)
- 直接的唯一標(biāo)識(shí):直接的獲得事務(wù)表的一行
- 返回或恢復(fù)海量加載:根據(jù)id斷點(diǎn)續(xù)傳。
- 插入加刪除替換更新
- 使用事實(shí)表代理鍵作為父\子模塊中的父節(jié)點(diǎn)
抵制規(guī)范化沖動(dòng)
雪花模型
規(guī)范化的維度表稱為雪花模型:不利于多屬性瀏覽、與位圖索引
建議抵制采用雪花模型的沖動(dòng)原因:易用性和性能
支架表
盡量避免使用支架表
錯(cuò)誤案例:蜈蚣表
同一個(gè)事實(shí)表中中不能超過20個(gè)維度外鍵,多余則考慮維度合并,2個(gè)維度組合比笛卡爾積小則可以考慮合并。
庫(kù)存
價(jià)值鏈
多數(shù)企業(yè)存在關(guān)鍵業(yè)務(wù)過程價(jià)值鏈。
OLTP 通常為價(jià)值鏈每個(gè)步驟建立事務(wù)或快照。
OLAP主要目標(biāo)是監(jiān)控關(guān)鍵步驟的性能指標(biāo)。
價(jià)值鏈為企業(yè)DW/BI環(huán)境提供高層知識(shí)。
庫(kù)存模型
提升獲利,減少脫銷情況,減少總的庫(kù)存管理費(fèi)用。
庫(kù)存周期快照
每天600萬(wàn)(60000種產(chǎn)品*100個(gè)商店),可以保存近60天日快照,其余周快照。
半可加事實(shí)
度量對(duì)某些維度是可加的,但不是所有維度。稱其為半可加事實(shí)。
庫(kù)存可以按照產(chǎn)品或商店匯總,不可按日期匯總。
增強(qiáng)型庫(kù)存事實(shí)
需要現(xiàn)存數(shù)量事實(shí)協(xié)同以度量庫(kù)存運(yùn)動(dòng)變化情況(流轉(zhuǎn)數(shù)量與日供貨數(shù)量)
日周轉(zhuǎn)次數(shù):賣出/現(xiàn)存
年月周周轉(zhuǎn)次數(shù):賣出/平均庫(kù)存
庫(kù)存事務(wù)
庫(kù)存累計(jì)快照
事實(shí)表類型
- 事務(wù)
- 周期快照
- 累計(jì)快照:不常見,通常表示效率與工作流經(jīng)過時(shí)間
價(jià)值鏈集成
數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu)
為了數(shù)據(jù)倉(cāng)庫(kù)的成功,需要一種架構(gòu)化,增量式的方法。
理解總線架構(gòu)
總線架構(gòu)可以指導(dǎo)不同組、不同時(shí)間、實(shí)現(xiàn)不同的維度模型、使不同模型有效共存。
總線矩陣(重點(diǎn))
最重要的交付產(chǎn)物
解決主數(shù)據(jù)管理和數(shù)據(jù)集成的需求/
用途:結(jié)構(gòu)規(guī)劃、數(shù)據(jù)庫(kù)設(shè)計(jì)、數(shù)據(jù)治理、協(xié)調(diào)、項(xiàng)目評(píng)估以及組織交互
利益相關(guān)方矩陣
常見總線矩陣錯(cuò)誤
定義的過寬或過窄
- 基于部門的或包含太多內(nèi)容的行。
- 報(bào)表為中心或定義過于狹窄的行。
一致性維度
多事實(shí)表鉆取
跨鉆:
- 多個(gè)SQL 分別查詢每個(gè)維度模型
- 基于公共維度屬性全外連接
相同的一致性維度
包含屬性子集的縮減上卷一致性維度
包含行子集的縮減上卷一致性維度
沒看懂
總線矩陣縮減一致性維度
沒看懂
有限一致性
如果一個(gè)集團(tuán)公司業(yè)務(wù)范圍由眾多分公司組成,則沒必要開展集成工作
一致性事實(shí)
采購(gòu)
總結(jié)
以上是生活随笔為你收集整理的数据仓库工具箱:维度建模权威指南3的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hive中实现有序,有序concat拼接
- 下一篇: vs2013 未将对象引用设置到对象的实