分類問題

分類是一種有監督的學習

貝葉斯定理：頭痛和流感的關系

樸素貝葉斯分類

為何樸素？
需要假設條件獨立

何為條件獨立？

• 肺癌和性別的關系，不能簡單說男性得肺癌的概率大于女性，需要考慮得肺癌的條件：抽煙，
  在抽煙的情況下，得肺癌的概率大于不抽煙的情況。
• 拋硬幣問題，一枚正常硬幣，一枚雙面相同的硬幣，拋硬幣概率不同。

獨立不等于不相關

避免出現概率為0？
拉普拉斯平滑：樣本加1

應用
文本推薦：統計感興趣文本中單詞出現的概率，當新出現一個文本時，通過計算文本中單詞出現的概率，來推測對文本感興趣的概率。

決策樹

奧卡姆的剃刀：相同效果，選簡單的模型

決策樹的選取？

決策樹算法

ID3 （Iterative Dichotomizer 3）
迭代劃分,確定屬性節點，確定停止條件
計算熵值，熵值最大為1，越大越表示不確定
計算信息增益，信息增益越大越好，越能區分 -> 確定屬性

剪枝 Pruning 決策樹太長：過擬合； 決策樹太短：無法分類復雜數據集

軟件：
Naive Bayes algorithm for learning to classify text
http://www.cs.cmu.edu/afs/cs/project/theo-11/www/naive-bayes.html

總結

以上是生活随笔為你收集整理的【学习笔记】《数据挖掘：理论与算法》CH3 从贝叶斯到决策树的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。