日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

一文理清数据仓库实施方法论

發布時間:2023/12/29 编程问答 64 豆豆
生活随笔 收集整理的這篇文章主要介紹了 一文理清数据仓库实施方法论 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.


關鍵的原則包括:
以數據倉庫技術為核心平臺
數據平臺的設計必須解決現有問題,同時著眼于未來
促進一致性和跨部門的整合
剔除重復的數據
保留事件的歷史和事件的相關內容
收集和保存最原始的數據
收集滿足現有需要更廣泛的數據
為客戶的使用、使用模式和角色選擇合適的工具
達到自動操作化的最高程度和重復使用

項目具體實施步驟
項目前期準備:

業務探索(Business Discovery)
信息探索(Information Discovery)
邏輯數據模型設計

系統體系結構設計:

物理數據庫設計
數據轉換加載ETL
前端應用開發
數據挖掘服務

元數據管理
數據倉庫管理(處理流程與操作)
解決方案集成(測試驗收與試運行)

一、項目前期準備:
項目啟動相關事宜

成立項目組
確定各項目小組的成員及各自的工作職責
確認項目范圍和主要目標
確認項目實施計劃
確定各項目小組的階段性工作目標
確認項目階段性驗收及總體驗收標準
確定教育訓練計劃

開展項目啟動會議

1.1、業務探索(Business Discovery)
主要任務:

確定重點用戶與數據源
用戶需求調研與記錄
用戶需求和數據源的匹配度分析
用戶需求的反饋與討論用戶對業務需求的確認

以引導的方式進行業務需求的訪談

1.2、信息探索(Information Discovery)
業務系統信息分析

確認數據源
數據字典的整理
數據的分析
·數據內容的分析與確認
·數據結構的確認與分析
·數據時間跨度分析
·數據完整性的分析
·數據關聯性的分析
·數據的時序性分析
·數據的冗余關系等

1.3、邏輯數據模型設計
確定邏輯數據模型的設計原則

命名規范
設計思想
概念模型的確認(確認主題以及主題關系)

進行邏輯數據模型設計

建立實體模型
建立實體間依賴關系
完善并填入所有屬性

進行邏輯數據模型的驗證–——基于業務問題的驗證方法
邏輯數據模型的提交與確認

邏輯數據模型是用來發現、記錄和溝通業務的詳細“藍圖”

通用的業務語言
便于業務與業務之間的功能理解
集成當前和未來數據的藍圖
為物理數據庫設計作準備
是IT人員和業務人員溝通的工具

二、系統體系結構設計
體系架構的詳細涉及包括:

網絡拓撲結構
數據的存取機制
設備的互連與訪問機制
備份機制與策略
用戶組織機構與類型
系統安全性
元數據方法
命名規范等

進行工具評估:

應用開發工具
數據采集與轉換工具
數據挖掘工具
備份工具等

2.1 物理數據庫設計
主要任務:

轉換邏輯數據模型(LDM)為物理數據模型
定義主索引/次索引
非正規化處理(denormalizations)
數據庫建立
設計優化
數據庫功能測試

2.2 數據轉換與加載(ETL)
主要任務:

數據源及其特性定義
數據析取,轉換和加載策略設計
構建和測試初始加載的程序和處理流程
構建和測試日常加載的程序和處理流程
40%的工作量在數據轉換與加載上

數據正確性檢查是ETL成功的保障

需要制定相應的策略
貫穿整個數據轉換與加載的過程
程序檢查與人工確認相結合
每日程序審核和定期的手工抽查相結合

2.3 前端應用開發
主要任務:

前端應用體系結構設計
OLAP應用設計(Summary/Fact表及Cube的產生)
前端應用開發(隨機查詢、預定義報表、OLAP應用)
撰寫用戶使用手冊
用戶測試驗收

使用工具:

查詢報表工具
OLAP工具(Brio,Cognos,MicroStrategy…)
基于Web的開發工具(InterDev,ColdFusion…)
其他開發工具

2.4 數據挖掘應用
2.5 元數據管理
元數據(Metadata)是指關于數據的數據,即用來描述數據的類型、來源、定義、存儲位置,使得業務用戶可以正確地使用數據倉庫。
主要任務:

定義可以獲取,并且需要進行管理的元數據的內容
設計用于元數據存儲的元數據模型
選擇合適的元數據管理工具
建立和測試元數據的接口(Bridge)
開發對元數據的應用(如影響度分析)

2.6 數據倉庫管理
主要任務:

設計和開發數據倉庫支持體系結構
開發和測試數據倉庫日常運作流程
分析和建立日常運作的錯誤處理流程
開發和測試性能監視程序
開發和測試數據備份與恢復程序
設計和開發操作人員/最終用戶培訓計劃
建立用戶支持和培訓材料

2.7 解決方案集成(系統驗收與試運行)
主要任務:

建立并執行集成測試計劃
建立并執行數據倉庫平臺測試計劃
建立并執行系統驗收測試計劃
移植開發系統到生產系統
執行用戶培訓計劃
實施數據倉庫管理基礎設施
項目實施完成
回顧項目狀態

三、額外說說如何科學的進行項目管理
3.1 詳細的項目計劃:

基于SOW(工作說明書)進行項目實施范圍的詳細的界定
在SOW中明確項目的整體實施規劃
Milestone(里程碑)式的項目階段性實施計劃m
基于項目階段性實施計劃的月度工作計劃(整個項目)
基于整個項目月度工作計劃的小組每周工作計劃

詳細的項目計劃可以保證:

項目的實施進度的合理控制
項目人力資源的合理調度與分配

3.2 計劃的執行與總結
Plan |Action |Review

項目每個小組按照指定的每周工作計劃,進行執行,并且每周組織項目例會進行工作總結
整個項目組月度工作計劃,完成月度工作總結,提交項目管理委員會審核。
按照項目實施的里程碑,完成向項目管理委員會的階段性工作報告。

總結的目的:

按照執行情況,及時的進行項目計劃的調整。
在回顧與總結中,及時發現項目存在的問題和實施的風險,以尋求外界的支援和幫助

3.3 問題的跟蹤機制
進行跟蹤的問題主要包括以下兩類:

目前沒有達成一致,但是需要雙方進一步協調解決的問題。
項目組內部已經達成一致,但是解決時機不成熟的問題。
項目組內部無法解決,需要需求外界支援與協調的問題。
對于項目后期建設有利的項目組成員的跳躍式思維火化。

備忘錄機制可以對問題進行及時地記錄。
對備忘錄的定期地回顧,后者建立定期的提醒機制,是問題跟蹤很好的方法。

3.4 完善的文檔管理
建立完善的文檔管理機制

對項目的各種文檔以及程序代碼進
行統一的管理
對于所有的文檔必須進行留存管理
建立文檔的編寫與審核的機制
文檔的審核需要有客戶的參與
保證版本的一致性
文檔有統一的模板

3.5 部門之間的配合與協調

因為任何大型分析型的應用都不是由單個技術或者業務部門運作的,都需要整個公司內部的配合,所以部門之間的配合和協調都是非常重要的。部門之間的配合和協調需要:
公司決策領導的支持
項目組客戶中能夠進行跨部門協調的人員其他部門確認的聯絡員進行配合
協調與溝通中的文檔紀錄

3.6 知識的轉移:
知識的轉移需要貫穿在整個分析系統的建設過程中。
知識轉移的目的為:
·只有足夠的知識準備才能保證客戶在建設過程中的全程參與。
·只有足夠的知識準備才能保證系統在維護過程中的順利交接。

知識轉移的方法:培訓與實踐的結合
·在項目的不同的階段,定期組織各種相關的培訓。
·客戶積極地參與Teradata的全球技術認證考試。
·客戶積極地參與到項目的開發中來。

總結

以上是生活随笔為你收集整理的一文理清数据仓库实施方法论的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。