即基于概率密度的方法和基于判別函數的方法。

• 基于概率密度的分類算法通常借助于貝葉斯理論體系，采用潛在的類條件概率密度函數的知識進行分類；
  在基于概率密度的分類算法中，有著名的貝葉斯估計法[40]、最大似然估計[39] [149]，這些算法屬于有參估計，需要預先假設類別的分布模型，然后使用訓練數據來調整概率密度中的各個參數。另外，如 Parzen窗[41]、Kn鄰近[42]
  等方法屬于無參數估計法，此類方法可從訓練樣本中直接估計出概率密度。
• 基于判別函數的分類方法使用訓練數據估計分類邊界完成分類，無需計算概率密度函數。
  基于判別函數的方法則假設分類規則是由某種形式的判別函數表示，而訓練樣本可用來表示計算函數中的參數，并利用該判別函數直接對測試數據進行分類。此類分類器中，有著名的感知器方法[43]、最小平方誤差法[44]、SVM法[45]、神經網絡方法[47]以及徑向基(RBF)方法[46等。

根據監督方式劃分分類算法。分類學習問題可分為三大類：有監督分類、半監督分類和無監督分類。

• 有監督分類是指用來訓練分類器的所有樣本都經過了人工或其他方式的標注，有很多著名的分類器算法都屬于有監督的學習方式，如AdaBoost[51]，SVM，神經網絡算法以及感知器算法。
• 無監督分類是指所有的樣本均沒有經過標注，分類算法需利用樣本自身信息完成分類學習任務，這種方法通常被稱為聚類，常用的聚類算法包括期望最大化（EM）算法[48]和模糊C均值聚類算法[49][50]等。
• 半監督分類指僅有一部分訓練樣本具有類標號，分類算法需要同時利用有標號樣本和無標號樣本學習分類，使用兩種樣本訓練的結果比僅使用有標注的樣本訓練的效果更好。這類算法通常由有監督學習算法改進而成，如SemiBoost[52]、流形正則化[53]、半監督SVM[54]等。