即基于概率密度的方法和基于判別函數(shù)的方法。

• 基于概率密度的分類算法通常借助于貝葉斯理論體系，采用潛在的類條件概率密度函數(shù)的知識進行分類；
  在基于概率密度的分類算法中，有著名的貝葉斯估計法[40]、最大似然估計[39] [149]，這些算法屬于有參估計，需要預先假設類別的分布模型，然后使用訓練數(shù)據(jù)來調整概率密度中的各個參數(shù)。另外，如 Parzen窗[41]、Kn鄰近[42]
  等方法屬于無參數(shù)估計法，此類方法可從訓練樣本中直接估計出概率密度。
• 基于判別函數(shù)的分類方法使用訓練數(shù)據(jù)估計分類邊界完成分類，無需計算概率密度函數(shù)。
  基于判別函數(shù)的方法則假設分類規(guī)則是由某種形式的判別函數(shù)表示，而訓練樣本可用來表示計算函數(shù)中的參數(shù)，并利用該判別函數(shù)直接對測試數(shù)據(jù)進行分類。此類分類器中，有著名的感知器方法[43]、最小平方誤差法[44]、SVM法[45]、神經(jīng)網(wǎng)絡方法[47]以及徑向基(RBF)方法[46等。

根據(jù)監(jiān)督方式劃分分類算法。分類學習問題可分為三大類：有監(jiān)督分類、半監(jiān)督分類和無監(jiān)督分類。

• 有監(jiān)督分類是指用來訓練分類器的所有樣本都經(jīng)過了人工或其他方式的標注，有很多著名的分類器算法都屬于有監(jiān)督的學習方式，如AdaBoost[51]，SVM，神經(jīng)網(wǎng)絡算法以及感知器算法。
• 無監(jiān)督分類是指所有的樣本均沒有經(jīng)過標注，分類算法需利用樣本自身信息完成分類學習任務，這種方法通常被稱為聚類，常用的聚類算法包括期望最大化（EM）算法[48]和模糊C均值聚類算法[49][50]等。
• 半監(jiān)督分類指僅有一部分訓練樣本具有類標號，分類算法需要同時利用有標號樣本和無標號樣本學習分類，使用兩種樣本訓練的結果比僅使用有標注的樣本訓練的效果更好。這類算法通常由有監(jiān)督學習算法改進而成，如SemiBoost[52]、流形正則化[53]、半監(jiān)督SVM[54]等。