【DBMS 数据库管理系统】数据库 -＞ 数据仓库 ( 数据处理类型 | 传统数据库 | 数据库不适用于分析型应用 )
文章目錄
- 一、數(shù)據(jù)處理類型
- 二、傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)
- 三、傳統(tǒng)數(shù)據(jù)庫(kù) 不適用于 分析型 ( DSS 決策支持系統(tǒng) ) 應(yīng)用 原因
- 四、事務(wù)性處理 與 分析型處理 性能特性不同
- 五、數(shù)據(jù)集成問(wèn)題
- 六、數(shù)據(jù)集成問(wèn)題 : 數(shù)據(jù)分散原因
- 七、數(shù)據(jù)集成問(wèn)題 : 數(shù)據(jù)倉(cāng)庫(kù)引入
- 八、數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題
- 九、歷史數(shù)據(jù)問(wèn)題
- 十、數(shù)據(jù)綜合問(wèn)題
一、數(shù)據(jù)處理類型
數(shù)據(jù)處理類型 :
① 操作型處理 : 又稱為 事務(wù)型處理 ;
- 處理內(nèi)容 : 與業(yè)務(wù)活動(dòng)相關(guān) , On-Line Transaction Processing ( OLTP ) 聯(lián)機(jī)事務(wù)處理過(guò)程 ;
- 主要作用 : 對(duì)數(shù)據(jù)聯(lián)機(jī)的日常操作 , 對(duì)一個(gè)或一組數(shù)據(jù)進(jìn)行查詢 , 修改 ; 關(guān)注 響應(yīng)時(shí)間 , 數(shù)據(jù)安全性 , 完整性 ;
- 示例 : 與業(yè)務(wù)相關(guān)的操作 ( 如網(wǎng)上購(gòu)物 , 各種網(wǎng)絡(luò)應(yīng)用等 ) , 要求反應(yīng)時(shí)間快 , 占用資源少 ;
② 分析型處理 :
- 處理內(nèi)容 : 與決策活動(dòng)相關(guān) , OLAP 聯(lián)機(jī)分析處理過(guò)程 ;
- 主要作用 : 用于管理人員決策分析 , DSS 決策支持系統(tǒng) , EIS 企業(yè)信息系統(tǒng) , 多維分析 , 需要訪問(wèn)大量歷史數(shù)據(jù) ( 5 ~ 10 年 時(shí)間跨度大 / 企業(yè)內(nèi)外 數(shù)據(jù)范圍廣 ) ;
- 示例 : 由管理人員使用 , 如 CEO , CFO 等 , 對(duì)企業(yè)數(shù)據(jù)進(jìn)行分析 , 然后做出決策 ;
上述兩種操作差異巨大 , 操作型處理 和 分析性處理 的數(shù)據(jù)必須 分離存放 ;
在數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)之前 , 上述兩種處理類型都放在數(shù)據(jù)庫(kù)中進(jìn)行處理 , 其中分析性處理效果不好 , 因此提出不同的數(shù)據(jù)類型 , 放在不同的數(shù)據(jù)載體中 :
- 操作型 : OLTP 聯(lián)機(jī)事務(wù)處理 , 數(shù)據(jù)放在 數(shù)據(jù)庫(kù) 中 ;
- 分析性 : OLAP 聯(lián)機(jī)分析處理 , 數(shù)據(jù)放在 數(shù)據(jù)倉(cāng)庫(kù) 中 ;
二、傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)
傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù) :
- 數(shù)據(jù)資源 : 單一的數(shù)據(jù)資源 , 數(shù)據(jù)庫(kù) ;
- 進(jìn)行的處理 : 事務(wù)處理 , 批處理 , 決策分析 , 等各種類型數(shù)據(jù)處理工作 ;
不同數(shù)據(jù)處理有不同的要求 : 上述數(shù)據(jù)處理有不同的特點(diǎn) ;
- 反應(yīng)時(shí)間 : 有的要求反應(yīng)執(zhí)行時(shí)間快 , 有的不要求實(shí)時(shí)性 ;
- 返回?cái)?shù)據(jù)量 : 有的需要獲取大量數(shù)據(jù) , 有的只需要返回一個(gè)值 ;
傳統(tǒng)數(shù)據(jù)庫(kù)弊端 : 單一的數(shù)據(jù)組織方式 ( 傳統(tǒng)數(shù)據(jù)庫(kù) ) , 無(wú)法滿足數(shù)據(jù)處理多樣化需求 ;
傳統(tǒng)數(shù)據(jù)庫(kù) 重要性 :
- 數(shù)據(jù)庫(kù)是所有 信息系統(tǒng)基礎(chǔ) ;
- 主要用于 事務(wù)處理方面 ;
- 發(fā)展階段 : ① 網(wǎng)狀數(shù)據(jù)庫(kù) , ② 層次數(shù)據(jù)庫(kù) , ③ 關(guān)系數(shù)據(jù)庫(kù) ;
不適合分析型應(yīng)用 : 傳統(tǒng)數(shù)據(jù)庫(kù)很重要 , 扔發(fā)揮著重大作用 , 但是在分析型應(yīng)用中 , 使用數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)不太適合 ;
數(shù)據(jù)庫(kù) 不適合 分析型應(yīng)用 ( DSS ) :
-
數(shù)據(jù)庫(kù)的三級(jí)模式 : 內(nèi)模式 , 外模式 , 模式 ;
-
外模式 : 任何數(shù)據(jù)庫(kù)應(yīng)用都是 建立在外模式之上的 , 需要進(jìn)行編程實(shí)現(xiàn) ;
-
數(shù)據(jù)庫(kù)對(duì) DSS 支持有限 : 傳統(tǒng)數(shù)據(jù)庫(kù) 的 即席查詢功能 , 支持 DSS ( 分析型應(yīng)用 ) 的需求 , 但是支持的不是很好 ;
-
效率低下 : DSS ( 分析型應(yīng)用 ) 關(guān)注 模型 與 方法 , 沒(méi)有 在數(shù)據(jù)庫(kù)管理系統(tǒng)層面上 的支持 ; 每個(gè)應(yīng)用都需要編寫(xiě)一個(gè)程序 , 幾百上千次分析決策 , 就需要編寫(xiě)對(duì)應(yīng)的應(yīng)用程序 , 這樣效率很低下 ;
-
數(shù)據(jù)倉(cāng)庫(kù)引入 : 如果有一個(gè)系統(tǒng)已經(jīng)將上述 模型 與 方法 實(shí)現(xiàn)好 , 可以支持成千上萬(wàn)個(gè)應(yīng)用 , 不用為每個(gè)單獨(dú)的應(yīng)用編寫(xiě)程序 ; 這里就引入了數(shù)據(jù)倉(cāng)庫(kù) ;
三、傳統(tǒng)數(shù)據(jù)庫(kù) 不適用于 分析型 ( DSS 決策支持系統(tǒng) ) 應(yīng)用 原因
事務(wù)處理環(huán)境 不適用于 分析型 ( DSS - Decision Support System 決策支持系統(tǒng)) 應(yīng)用原因 :
- 事務(wù)性處理 與 分析型處理 性能特性不同
- 數(shù)據(jù)集成問(wèn)題
- 數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題
- 歷史數(shù)據(jù)問(wèn)題
- 數(shù)據(jù)的綜合問(wèn)題
四、事務(wù)性處理 與 分析型處理 性能特性不同
用戶行為模式 :
- 事務(wù)型處理 : 數(shù)據(jù)存取頻率高 , 每次操作要求時(shí)間短 ;
- 分析型處理 : DSS 運(yùn)行時(shí)間長(zhǎng) , 消耗資源多 , 運(yùn)行頻率低 ;
五、數(shù)據(jù)集成問(wèn)題
DSS 分析型應(yīng)用需要的數(shù)據(jù) :
- DSS 數(shù)據(jù) : 需要全面 , 集成 的數(shù)據(jù) , 時(shí)間跨度很長(zhǎng) , 來(lái)源很多 , 企業(yè)內(nèi)部數(shù)據(jù) , 外部數(shù)據(jù) , 競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù) ;
- 事務(wù)處理數(shù)據(jù) : 只有當(dāng)前業(yè)務(wù)部門數(shù)據(jù) , 企業(yè)范圍數(shù)據(jù)沒(méi)有集成 , 需要額外開(kāi)發(fā)程序收集這些數(shù)據(jù)集成起來(lái) ; 數(shù)據(jù)是分散的 ;
六、數(shù)據(jù)集成問(wèn)題 : 數(shù)據(jù)分散原因
數(shù)據(jù)分散原因 : ① 事務(wù)處理應(yīng)用分散 , ② 蜘蛛網(wǎng)問(wèn)題 , ③ 數(shù)據(jù)不一致問(wèn)題 , ④ 外部數(shù)據(jù) 和 非結(jié)構(gòu)化數(shù)據(jù) ;
① 事務(wù)處理應(yīng)用分散 : 應(yīng)用本身就是分散的
-
應(yīng)用獨(dú)立 : 企業(yè)的 每個(gè)應(yīng)用的 事務(wù)處理 都是相互獨(dú)立的 ;
-
設(shè)計(jì)針對(duì)當(dāng)前問(wèn)題 : 設(shè)計(jì)系統(tǒng)時(shí) , 每個(gè)系統(tǒng)只是針對(duì)當(dāng)前問(wèn)題而設(shè)計(jì) , 如財(cái)務(wù)系統(tǒng) , 只針對(duì)財(cái)務(wù)問(wèn)題 , 客戶管理系統(tǒng) , 只針對(duì)客戶管理問(wèn)題 ;
-
不考慮后續(xù)問(wèn)題 : 設(shè)計(jì)時(shí) , 不考慮以后可能出現(xiàn)的新問(wèn)題 ;
② 蜘蛛網(wǎng)問(wèn)題 : 分析型應(yīng)用中 , 需要抽取數(shù)據(jù) , 那就涉及到各種數(shù)據(jù)抽取程序 , 不同的用戶設(shè)計(jì)的抽取程序不同 , 導(dǎo)致 :
- 抽取數(shù)據(jù)的時(shí)間不同
- 抽取數(shù)據(jù)算法不同
- 抽取數(shù)據(jù)級(jí)別不同
- 參考的外部數(shù)據(jù)不同
結(jié)果導(dǎo)致針對(duì)相同的問(wèn)題 , 不同的節(jié)點(diǎn)產(chǎn)生不同的分析結(jié)果 ;
③ 數(shù)據(jù)不一致問(wèn)題 : 多個(gè)應(yīng)用之間數(shù)據(jù)格式不一致 ;
- 數(shù)據(jù)庫(kù)相同字段數(shù)據(jù)類型不同 , 如標(biāo)識(shí) ID , 有使用 Int 類型 , 有使用 String 類型的 ;
- 數(shù)據(jù)庫(kù)相同字段數(shù)據(jù)名稱不同 , 學(xué)生名稱有使用 name 作為字段名稱 , 有使用 studentName 作為字段名 ;
- 字段名稱類型相同 , 含義不同 , name 作為學(xué)生名稱 , 學(xué)校名稱 等 ;
④ 外部數(shù)據(jù) 和 非結(jié)構(gòu)化數(shù)據(jù) : 使用爬蟲(chóng)爬下來(lái)的文本 , 圖片 , 視頻 等信息 , 結(jié)構(gòu)形式各不相同 ;
七、數(shù)據(jù)集成問(wèn)題 : 數(shù)據(jù)倉(cāng)庫(kù)引入
DSS 對(duì)數(shù)據(jù)集成需求迫切 :
- 工作繁雜 : 數(shù)據(jù)集成工作繁雜 , 如果全部由開(kāi)發(fā)者實(shí)現(xiàn) , 負(fù)擔(dān)很大 ;
- 效率低下 : 如果每次分析都要集成一次 , 處理效率很低 ;
DSS ( Decision Support System ) 決策支持系統(tǒng) 對(duì)數(shù)據(jù)集成的需求 , 是數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)的最重要的原因 ;
八、數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題
數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題 :
- 靜態(tài)集成 : 集成后 , 數(shù)據(jù)與數(shù)據(jù)源不再進(jìn)行關(guān)聯(lián) ; 之后數(shù)據(jù)源改變 , 集成的數(shù)據(jù)不再變化 ;
- 動(dòng)態(tài)集成 : 集成后 , 每隔一定周期 , 就要同步一次集成數(shù)據(jù) ;
九、歷史數(shù)據(jù)問(wèn)題
歷史數(shù)據(jù)問(wèn)題 :
-
事務(wù)處理系統(tǒng) : 數(shù)據(jù)庫(kù)中 , 存儲(chǔ)的都是當(dāng)前數(shù)據(jù) , 或 短期數(shù)據(jù) ;
-
分析處理系統(tǒng) : 數(shù)據(jù)倉(cāng)庫(kù)中 , 需要?dú)v史數(shù)據(jù) ,
十、數(shù)據(jù)綜合問(wèn)題
DSS 決策支持系統(tǒng) 分析的對(duì)象 :
- 不分析 細(xì)節(jié)數(shù)據(jù)
- 分析前 先要對(duì)細(xì)節(jié)數(shù)據(jù)進(jìn)行 不同程度的 綜合
事務(wù)處理系統(tǒng) 分析的對(duì)象 :
- 主要處理 細(xì)節(jié)數(shù)據(jù)
- 不進(jìn)行數(shù)據(jù) 綜合 , 該系統(tǒng)下降綜合作為數(shù)據(jù)冗余 , 限制綜合 ;
總結(jié)
以上是生活随笔為你收集整理的【DBMS 数据库管理系统】数据库 -＞ 数据仓库 ( 数据处理类型 | 传统数据库 | 数据库不适用于分析型应用 )的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 【运筹学】对偶理论 : 对偶问题引入 (
- 下一篇： 【DBMS 数据库管理系统】数据仓库 (