數據倉庫與數據挖掘概述

1. 數據倉庫與傳統數據庫

傳統型數據庫

• 定義：面向業務，對事物進行處理
• 類似關系型數據庫，對數據進行增刪改查

數據倉庫

• 定義：面向主題，集成，穩定，隨時間變化的數據集，支持管理決策過程

• 數據倉庫的數據來源：

  • DB，數據文件，其他數據運用數據ETL工具進行數據獲取

    ETL,用來描述將數據從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端的過程

    講解

兩者關系

構建目的

• 傳統—> 處理日常事務
• 數據倉庫—> 為幫助管理者做決策

傳統型數據庫是創建數據倉庫的一個數據源

2. 數據挖掘與機器學習

什么是數據挖掘

• 定義：試圖從海量數據中找出有用的知識
• 相識的知識發現：指發現的規則

什么是機器學習

• 定義：利用經驗改善計算機系統自身的性能

3. 數據挖掘簡要分析

3.1 數據挖掘的主要任務

3.1.1 預測型

也可以說是有監督學習：分類回歸，離群點檢測等

數據已經給出樣本類別，答案等。

分類分析：用某種分類算法對表中數據進行分析，挖掘分類規則

規則應用：利用數據分析預測新數據的類別，對其錄入規則。

3.1.2 描述型

? 也為無監督學習： 聚類, 關聯分析,序列模式等

不知道類別和答案等

? 用聚類算法，根據給定的某種相似度標準，將沒有類別標記的數據庫記錄集劃分成若干個不相交子集（簇），使簇內的記錄之間相似度很高，不同簇相似度低。

類別取值范圍理論上取值個數

離散型	字母或自然數	有限；可能無限
連續型	一個實數區間內	不可數，無限

3.2 不同任務所需算法簡述

• 分類：模型輸出為離散型， 樸樹貝斯，決策樹，邏輯回歸算法，KNN
• 回歸： 模型輸出為連續型
• 聚類： k-mean算法，層次聚類。
• 關聯分析： Apriori等
• 序列模型： 類Apriori等
  

4. 數據

定義：一切可被記錄的

• 用來描述對象的屬性。

  • id：標識碼主鍵
  • 屬性名：特征
  • 取值：特征的值

• 數據預處理

  • 數據清洗：洗出主要數據
  • 數據集成：對多個數據源進行同一
  • 數據變換
  • 數據歸約
  • 數據離散化

總結

以上是生活随笔為你收集整理的数据仓库与数据挖掘概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。