1 KNN算法

原理：已知樣本集中每一個數據與所屬分類的對應關系，輸入沒有標簽的新數據后，將新數據與訓練集的數據對應特征進行比較，找出“距離”最近的k（通常k<20）數據，選擇這k個數據中出現最多的分類作為新數據的分類。
算法描述：
(1) 計算已知類別數據及中的點與當前點的距離；
(2) 按距離遞增次序排序
(3) 選取與當前點距離最小的k個點
(4) 確定前K個點所在類別出現的頻率
(5) 返回頻率最高的類別作為當前類別的預測
距離計算方法有”euclidean”（歐氏距離）,“wski”（明科夫斯基距離）,”maximum”（切比雪夫距離）,”manhattan”（絕對值距離）,”canberra”（蘭式距離）,”minkowski”（馬氏距離）等。
優點：精度高、對異常值不敏感、無數據輸入假定。
缺點：計算復雜度高，空間復雜度高。

2 決策樹

生成決策樹的步驟：
(1) 根據給定的訓練數據，根據屬性選擇度量選擇每一個維度來劃分數據集，找到最關鍵的維度。
(2) 當某個分支下所有的數據都數據同一分類則終止劃分并返回類標簽，否則在此分支上重復實施(1)過程。
(3) 依次計算就將類標簽構建成了一棵抉擇樹。
(4) 依靠訓練數據構造了決策樹之后，我們就可以將它用于實際數據的分類。
典型的算法有ID3 、C4.5、 CART（分類與回歸樹），三種算法均采用貪心（即非回溯的）方法，其中決策樹以自頂向下遞歸的分支方式構造。但屬性選擇度量的不同：ID3采用信息增益度量；C4.5采用信息增益率；CART采用GINI指標。
優點：計算復雜度不高，輸出結果易于理解，對中間值的缺失不敏感，可以處理不相關特征數據。
缺點：可能會產生匹配過度問題。

3 樸素貝葉斯算法

優點：在數據較少的情況下仍然有效，可以處理多類別問題。
缺點：對于輸入數據的準備方式較為敏感。

4 支持向量機

優點：泛化錯誤率低，計算開銷不大，結果易解釋。
缺點：對參數調節和核函數的選擇敏感，原始分類器不加修改僅適用于處理二分類問題

5 神經網絡

6 Logistic回歸

優點：計算代價不高，易于理解和實現。
缺點：容易欠擬合，分類精度可能不高。

總結

以上是生活随笔為你收集整理的各种分类算法比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。