机器学习算法优缺点对比及选择
文章目錄
- 偏差&方差
- 常見算法優缺點
- 樸素貝葉斯
- Logistic Regression（邏輯回歸）
- 線性回歸
- 最近鄰算法——KNN
- 決策樹
- ID3、C4.5算法
- CART分類與回歸樹
- Adaboosting
- SVM支持向量機
- 人工神經網絡
- K-Means聚類
- EM最大期望算法
- 集成算法（AdaBoost算法）
- 排序算法（PageRank）
- 關聯規則算法（Apriori算法）
- 算法選擇竅門
機器學習算法太多了，分類、回歸、聚類、推薦、圖像識別領域等等，要想找到一個合適算法真的不容易，所以在實際應用中，我們一般都是采用啟發式學習方式來實驗。通常最開始我們都會選擇大家普遍認同的算法，諸如SVM，GBDT，Adaboost，現在深度學習很火熱，神經網絡也是一個不錯的選擇。
假如你在乎精度（accuracy）的話，最好的方法就是通過交叉驗證（cross-validation）對各個算法一個個地進行測試，進行比較，然后調整參數確保每個算法達到最優解，最后選擇最好的一個。但是如果你只是在尋找一個“足夠好”的算法來解決你的問題，或者這里有些技巧可以參考，下面來分析下各個算法的優缺點，基于算法的優缺點，更易于我們去選擇它。
在機器學習領域，一個基本的定理就是“ 沒有免費的午餐”。換言之，就是沒有算法能完美地解決所有問題，尤其是對監督學習而言（例如預測建模）。
偏差&方差
在統計學中，一個模型好壞，是根據偏差和方差來衡量的，所以我們先來普及一下偏差(bias)和方差(variance)：
偏差： 描述的是預測值（估計值）的期望E’與真實值Y之間的差距。偏差越大，越偏離真實數據。
方差： 描述的是預測值P的變化范圍，離散程度，是預測值的方差，也就是離其期望值E的距離。方差越大，數據的分布越分散。
模型的真實誤差是兩者之和：
通常情況下，如果是小訓練集，高偏差/低方差的分類器（例如，樸素貝葉斯NB）要比低偏差/高方差大分類的優勢大（例如，KNN），因為后者會發生過擬合（overfiting）。然而，隨著你訓練集的增長，模型對于原數據的預測能力就越好，偏差就會降低，此時低偏差/高方差的分類器就會漸漸的表現其優勢（因為它們有較低的漸近誤差），而高偏差分類器這時已經不足以提供準確的模型了。
常見算法優缺點
樸素貝葉斯
樸素貝葉斯屬于生成式模型（關于生成模型和判別式模型，主要還是在于是否需要求聯合分布），比較簡單，你只需做一堆計數即可。如果注有條件獨立性假設（一個比較嚴格的條件），樸素貝葉斯分類器的收斂速度將快于判別模型，比如邏輯回歸，所以你只需要較少的訓練數據即可。即使NB條件獨立假設不成立，NB分類器在實踐中仍然表現的很出色。它的主要缺點是它不能學習特征間的相互作用，用mRMR中R來講，就是特征冗余。引用一個比較經典的例子，比如，雖然你喜歡Brad Pitt和Tom Cruise的電影，但是它不能學習出你不喜歡他們在一起演的電影。
優點：
樸素貝葉斯模型發源于古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。
對大數量訓練和查詢時具有較高的速度。即使使用超大規模的訓練集，針對每個項目通常也只會有相對較少的特征數，并且對項目的訓練和分類也僅僅是特征概率的數學運算而已；對小規模的數據表現很好，能個處理多分類任務，適合增量式訓練（即可以實時的對新增的樣本進行訓練）；對缺失數據不太敏感，算法也比較簡單，常用于文本分類；樸素貝葉斯對結果解釋容易理解。
缺點：
需要計算先驗概率；分類決策存在錯誤率；對輸入數據的表達形式很敏感；由于使用了樣本屬性獨立性的假設，所以如果樣本屬性有關聯時其效果不好。
應用場景：
欺詐檢測中使用較多；一封電子郵件是否是垃圾郵件；一篇文章應該分到科技、政治，還是體育類；一段文字表達的是積極的情緒還是消極的情緒；人臉識別。
Logistic Regression（邏輯回歸）
邏輯回歸屬于判別式模型，同時伴有很多模型正則化的方法（L0， L1，L2，etc），而且你不必像在用樸素貝葉斯那樣擔心你的特征是否相關。與決策樹、SVM相比，你還會得到一個不錯的概率解釋，你甚至可以輕松地利用新數據來更新模型（使用在線梯度下降算法-online gradient descent）。如果你需要一個概率架構（比如，簡單地調節分類閾值，指明不確定性，或者是要獲得置信區間），或者你希望以后將更多的訓練數據快速整合到模型中去，那么使用它吧。
Sigmoid函數：表達式如下:
優點：
實現簡單，廣泛的應用于工業問題上；分類時計算量非常小，速度很快，存儲資源低；便利的觀測樣本概率分數；對邏輯回歸而言，多重共線性并不是問題，它可以結合L2正則化來解決該問題；計算代價不高，易于理解和實現；
缺點：
當特征空間很大時，邏輯回歸的性能不是很好；容易欠擬合，一般準確度不太高不能很好地處理大量多類特征或變量；只能處理兩分類問題（在此基礎上衍生出來的softmax可以用于多分類），且必須線性可分；對于非線性特征，需要進行轉換。
應用場景：
用于二分類領域，可以得出概率值，適用于根據分類概率排名的領域，如搜索排名等。
Logistic回歸的擴展softmax可以應用于多分類領域，如手寫字識別等。
信用評估
測量市場營銷的成功度
預測某個產品的收益
特定的某天是否會發生地震
線性回歸
線性回歸是用于回歸的，它不像Logistic回歸那樣用于分類，其基本思想是用梯度下降法對最小二乘法形式的誤差函數進行優化，當然也可以用normal equation直接求得參數的解，結果為：
而在LWLR（局部加權線性回歸）中，參數的計算表達式為:
由此可見LWLR與LR不同，LWLR是一個非參數模型，因為每次進行回歸計算都要遍歷訓練樣本至少一次。
優點： 實現簡單，計算簡單；
缺點： 不能擬合非線性數據
最近鄰算法——KNN
KNN即最近鄰算法，其主要過程為：
如何選擇一個最佳的K值，這取決于數據。一般情況下，在分類時較大的K值能夠減小噪聲的影響，但會使類別之間的界限變得模糊。一個較好的K值可通過各種啟發式技術來獲取，比如，交叉驗證。另外噪聲和非相關性特征向量的存在會使K近鄰算法的準確性減小。近鄰算法具有較強的一致性結果，隨著數據趨于無限，算法保證錯誤率不會超過貝葉斯算法錯誤率的兩倍。對于一些好的K值，K近鄰保證錯誤率不會超過貝葉斯理論誤差率。
**優點：**理論成熟，思想簡單，既可以用來做分類也可以用來做回歸；可用于非線性分類；訓練時間復雜度為O(n)；對數據沒有假設，準確度高，對outlier不敏感；KNN是一種在線技術，新數據可以直接加入數據集而不必進行重新訓練；KNN理論簡單，容易實現。
**缺點：**樣本不平衡問題（即有些類別的樣本數量很多，而其它樣本的數量很少）效果差； 需要大量內存；對于樣本容量大的數據集計算量比較大（體現在距離計算上）；樣本不平衡時，預測偏差比較大。如：某一類的樣本比較少，而其它類樣本比較多；KNN每一次分類都會重新進行一次全局運算；k值大小的選擇沒有理論選擇最優，往往是結合K-折交叉驗證得到最優k值選擇。
應用場景：
文本分類、模式識別、聚類分析，多分類領域
決策樹
決策樹的一大優勢就是易于解釋。它可以毫無壓力地處理特征間的交互關系并且是非參數化的，因此你不必擔心異常值或者數據是否線性可分（舉個例子，決策樹能輕松處理好類別A在某個特征維度x的末端，類別B在中間，然后類別A又出現在特征維度x前端的情況）。它的缺點之一就是不支持在線學習，于是在新樣本到來后，決策樹需要全部重建。另一個缺點就是容易出現過擬合，但這也就是諸如隨機森林RF（或提升樹boosted tree）之類的集成方法的切入點。另外，隨機森林經常是很多分類問題的贏家（通常比支持向量機好上那么一丁點），它訓練快速并且可調，同時你無須擔心要像支持向量機那樣調一大堆參數，所以在以前都一直很受歡迎。
決策樹中很重要的一點就是選擇一個屬性進行分枝，因此要注意一下信息增益的計算公式，并深入理解它。
信息熵的計算公式如下:
優點：
決策樹易于理解和解釋，可以可視化分析，容易提取出規則；可以同時處理標稱型和數值型數據；比較適合處理有缺失屬性的樣本；能夠處理不相關的特征；測試數據集時，運行速度比較快；在相對短的時間內能夠對大型數據源做出可行且效果良好的結果。
缺點：
容易發生過擬合（隨機森林可以很大程度上減少過擬合）；容易忽略數據集中屬性的相互關聯；對于那些各類別樣本數量不一致的數據，在決策樹中，進行屬性劃分時，不同的判定準則會帶來不同的屬性選擇傾向；信息增益準則對可取數目較多的屬性有所偏好（典型代表ID3算法），而增益率準則（CART）則對可取數目較少的屬性有所偏好，但CART進行屬性劃分時候不再簡單地直接利用增益率盡心劃分，而是采用一種啟發式規則）（只要是使用了信息增益，都有這個缺點，如RF）。ID3算法計算信息增益時結果偏向數值比較多的特征。
改進措施：
對決策樹進行剪枝。可以采用交叉驗證法和加入正則化的方法。使用基于決策樹的combination算法，如bagging算法，randomforest算法，可以解決過擬合的問題。
應用場景：
企業管理實踐，企業投資決策，由于決策樹很好的分析能力，在決策過程應用較多。
ID3、C4.5算法
ID3算法是以信息論為基礎，以信息熵和信息增益度為衡量標準，從而實現對數據的歸納分類；ID3算法計算每個屬性的信息增益，并選取具有最高增益的屬性作為給定的測試屬性。
C4.5算法核心思想是ID3算法，是ID3算法的改進，
改進方面：
- 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足； - 在樹構造過程中進行剪枝；
- 能處理非離散的數據；
- 能處理不完整的數據。
**優點：**產生的分類規則易于理解，準確率較高。**缺點：**在構造樹的過程中，需要對數據集進行多次的順序掃描和排序，因而導致算法的低效；C4.5只適合于能夠駐留于內存的數據集，當訓練集大得無法在內存容納時程序無法運行。
CART分類與回歸樹
是一種決策樹分類方法，采用基于最小距離的基尼指數估計函數，用來決定由該子數據集生成的決策樹的拓展形。如果目標變量是標稱的，稱為分類樹；如果目標變量是連續的，稱為回歸樹。分類樹是使用樹結構算法將數據分成離散類的方法。
優點 非常靈活，可以允許有部分錯分成本，還可指定先驗概率分布，可使用自動的成本復雜性剪枝來得到歸納性更強的樹；在面對諸如存在缺失值、變量數多等問題時CART 顯得非常穩健。
Adaboosting
Adaboost是一種加和模型，每個模型都是基于上一次模型的錯誤率來建立的，過分關注分錯的樣本，而對正確分類的樣本減少關注度，逐次迭代之后，可以得到一個相對較好的模型。該算法是一種典型的boosting算法，其加和理論的優勢可以使用Hoeffding不等式得以解釋。有興趣的同學可以閱讀下自己之前寫的這篇文章AdaBoost算法詳述.下面總結下它的優缺點。
優點 Adaboost是一種有很高精度的分類器。可以使用各種方法構建子分類器，Adaboost算法提供的是框架。當使用簡單分類器時，計算出的結果是可以理解的，并且弱分類器的構造極其簡單。簡單，不用做特征篩選。不易發生overfitting。 Adaboost、GBDT與XGBoost的區別
缺點對outlier比較敏感
SVM支持向量機
支持向量機，一個經久不衰的算法，高準確率，為避免過擬合提供了很好的理論保證，而且就算數據在原特征空間線性不可分，只要給個合適的核函數，它就能運行得很好。在動輒超高維的文本分類問題中特別受歡迎。可惜內存消耗大，難以解釋，運行和調參也有些煩人，而隨機森林卻剛好避開了這些缺點，比較實用。
**優點：**可以解決高維問題，即大型特征空間；解決小樣本下機器學習問題；能夠處理非線性特征的相互作用；無局部極小值問題；（相對于神經網絡等算法）無需依賴整個數據；泛化能力比較強；
**缺點：**當觀測樣本很多時，效率并不是很高；對非線性問題沒有通用解決方案，有時候很難找到一個合適的核函數；對于核函數的高維映射解釋力不強，尤其是徑向基函數；常規SVM只支持二分類；對缺失數據敏感。
對于核的選擇也是有技巧的（libsvm中自帶了四種核函數：線性核、多項式核、RBF以及sigmoid核）：第一，如果樣本數量小于特征數，那么就沒必要選擇非線性核，簡單的使用線性核就可以了；第二，如果樣本數量大于特征數目，這時可以使用非線性核，將樣本映射到更高維度，一般可以得到更好的結果；第三，如果樣本數目和特征數目相等，該情況可以使用非線性核，原理和第二種一樣。 對于第一種情況，也可以先對數據進行降維，然后使用非線性核，這也是一種方法。
**應用場景：**文本分類、圖像識別（主要二分類領域，畢竟常規SVM只能解決二分類問題）
人工神經網絡
**優點：**分類的準確度高；并行分布處理能力強,分布存儲及學習能力強，對噪聲神經有較強的魯棒性和容錯能力；具備聯想記憶的功能，能充分逼近復雜的非線性關系。
**缺點：**神經網絡需要大量的參數，如網絡拓撲結構、權值和閾值的初始值；黑盒過程，不能觀察之間的學習過程，輸出結果難以解釋，會影響到結果的可信度和可接受程度；學習時間過長，有可能陷入局部極小值，甚至可能達不到學習的目的。
**應用場景：**目前深度神經網絡已經應用與計算機視覺，自然語言處理，語音識別等領域并取得很好的效果。
K-Means聚類
是一個簡單的聚類算法，把n的對象根據他們的屬性分為k個分割，k< n。 算法的核心就是要優化失真函數J,使其收斂到局部最小值但不是全局最小值。
**優點：**算法簡單，容易實現 ；算法速度很快；對處理大數據集，該算法是相對可伸縮的和高效率的，因為它的復雜度大約是O(nkt)，其中n是所有對象的數目，k是簇的數目,t是迭代的次數。通常k<<n。這個算法通常局部收斂。算法嘗試找出使平方誤差函數值最小的k個劃分。當簇是密集的、球狀或團狀的，且簇與簇之間區別明顯時，聚類效果較好。
**缺點：**對數據類型要求較高，適合數值型數據；可能收斂到局部最小值，在大規模數據上收斂較慢分組的數目k是一個輸入參數，不合適的k可能返回較差的結果。對初值的簇心值敏感，對于不同的初始值，可能會導致不同的聚類結果；不適合于發現非凸面形狀的簇，或者大小差別很大的簇。對于”噪聲”和孤立點數據敏感，少量的該類數據能夠對平均值產生極大影響。
EM最大期望算法
EM算法是基于模型的聚類方法，是在概率模型中尋找參數最大似然估計的算法，其中概率模型依賴于無法觀測的隱藏變量。E步估計隱含變量，M步估計其他參數，交替將極值推向最大。EM算法比K-means算法計算復雜，收斂也較慢，不適于大規模數據集和高維數據，但比K-means算法計算結果穩定、準確。EM經常用在機器學習和計算機視覺的數據集聚（Data Clustering）領域。
集成算法（AdaBoost算法）
**優點：**很好的利用了弱分類器進行級聯；可以將不同的分類算法作為弱分類器；AdaBoost具有很高的精度；相對于bagging算法和Random Forest算法，AdaBoost充分考慮的每個分類器的權重。
缺點： AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定；數據不平衡導致分類精度下降；訓練比較耗時，每次重新選擇當前分類器最好切分點。
應用場景： 模式識別、計算機視覺領域，用于二分類和多分類場景。
排序算法（PageRank）
PageRank是google的頁面排序算法，是基于從許多優質的網頁鏈接過來的網頁，必定還是優質網頁的回歸關系，來判定所有網頁的重要性。（也就是說，一個人有著越多牛X朋友的人，他是牛X的概率就越大。）
優點： 完全獨立于查詢，只依賴于網頁鏈接結構，可以離線計算。
缺點： PageRank算法忽略了網頁搜索的時效性。舊網頁排序很高，存在時間長，積累了大量的in-links，擁有最新資訊的新網頁排名卻很低，因為它們幾乎沒有in-links。
關聯規則算法（Apriori算法）
Apriori算法是一種挖掘關聯規則的算法，用于挖掘其內含的、未知的卻又實際存在的數據關系，其核心是基于兩階段頻集思想的遞推算法 。Apriori算法分為兩個階段：尋找頻繁項集由頻繁項集找關聯規則
缺點： 在每一步產生侯選項目集時循環產生的組合過多，沒有排除不應該參與組合的元素；每次計算項集的支持度時，都對數據庫中 的全部記錄進行了一遍掃描比較，需要很大的I/O負載。
算法選擇竅門
首當其沖應該選擇的就是邏輯回歸，如果它的效果不怎么樣，那么可以將它的結果作為基準來參考，在基礎上與其他算法進行比較；然后試試決策樹（隨機森林）看看是否可以大幅度提升你的模型性能。即便最后你并沒有把它當做為最終模型，你也可以使用隨機森林來移除噪聲變量，做特征選擇；如果特征的數量和觀測樣本特別多，那么當資源和時間充足時（這個前提很重要），使用SVM不失為一種選擇。通常情況下：【GBDT>=SVM>=RF>=Adaboost>=Other…】，現在深度學習很熱門，很多領域都用到，它是以神經網絡為基礎的，假如你有一個超大數據集，那么無論你使用哪種算法可能對分類性能都沒太大影響（此時就可以根據速度和易用性來進行抉擇）。
總結
以上是生活随笔為你收集整理的机器学习算法优缺点对比及选择的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【mysql】提取字符串中的数字、字母、
- 下一篇： Flink的状态一致性