來源：機(jī)器之心

參與：黃小天、蔣思源、吳攀

校對(duì)：譚佳瑤

本文長度為4000字，建議閱讀6分鐘

本文針對(duì)算法的選擇為你提供一些參考意見。

本文主要的目標(biāo)讀者是機(jī)器學(xué)習(xí)愛好者或數(shù)據(jù)科學(xué)的初學(xué)者，以及對(duì)學(xué)習(xí)和應(yīng)用機(jī)器學(xué)習(xí)算法解決實(shí)際問題抱有濃厚興趣的讀者。面對(duì)大量的機(jī)器學(xué)習(xí)算法，初學(xué)者通常會(huì)問自己一個(gè)典型的問題：「我該使用哪一種算法？」有很多因素會(huì)影響這一問題的答案，比如：

• 數(shù)據(jù)的大小、質(zhì)量及性質(zhì)

• 可用計(jì)算時(shí)間

• 任務(wù)的急迫性

• 數(shù)據(jù)的使用用途

在沒有測試過不同算法之前，即使是經(jīng)驗(yàn)豐富的數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)算法開發(fā)者也都不能分辨出哪種算法性能最好。我們并不提倡一步到位，但是我們確實(shí)希望根據(jù)一些明確的因素為算法的選擇提供一些參考意見。

機(jī)器學(xué)習(xí)算法速查表

機(jī)器學(xué)習(xí)算法速查表可幫助你從大量算法之中篩選出解決你的特定問題的算法，同時(shí)本文也將介紹如何使用該速查表。

由于該速查表專門針對(duì)數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的初學(xué)者，所以在探討這些算法之時(shí)，我們做了一些簡化的假設(shè)。本文中所有推薦的算法均來自于程序編譯反饋以及若干個(gè)數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)專家和開發(fā)者的建議。對(duì)于沒有達(dá)成一致意見的幾個(gè)問題，我們會(huì)著重求同存異。

速查表的使用方法

將閱讀速查表上的路徑和算法標(biāo)簽讀為「如果符合<路徑標(biāo)簽>，那么使用<算法>。」例如：

• 如果你想要降維，那么使用主成分分析。

• 如果你需要得到快速的數(shù)值型預(yù)測，那么使用決策樹或 logistic 回歸。

• 如果你需要層級(jí)結(jié)果，那么使用層級(jí)聚類。

有時(shí)會(huì)應(yīng)用不止一個(gè)分支，而有時(shí)又找不到一個(gè)完美的匹配。重要的是這些路徑是基于經(jīng)驗(yàn)法則的推薦，因此其中一些并不精確。很多數(shù)據(jù)科學(xué)家說找到最佳算法的唯一確定方法就是嘗試所有算法。

機(jī)器學(xué)習(xí)算法的分類

這一章節(jié)將對(duì)最流行的機(jī)器學(xué)習(xí)分類做一個(gè)概覽，如果你對(duì)這些分類很熟悉，可直接跳至下文「什么時(shí)候使用具體算法」這一節(jié)。

監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)算法基于一組樣本對(duì)作出預(yù)測。例如，以往銷售業(yè)績可以用來預(yù)測未來的價(jià)格走勢。借助監(jiān)督學(xué)習(xí)，我們會(huì)有一組由標(biāo)注訓(xùn)練數(shù)據(jù)組成的輸入變量和一組希望預(yù)測的輸出變量。我們可以使用算法分析訓(xùn)練數(shù)據(jù)來學(xué)習(xí)一個(gè)將輸入映射到輸出的函數(shù)。算法推斷的函數(shù)可通過概括訓(xùn)練數(shù)據(jù)預(yù)測未知情景中的結(jié)果進(jìn)而預(yù)測未知的新實(shí)例。

• 分類：當(dāng)數(shù)據(jù)被用于預(yù)測類別時(shí)，監(jiān)督學(xué)習(xí)也可處理這類分類任務(wù)。給一張圖片貼上貓或狗的標(biāo)簽就是這種情況。當(dāng)分類標(biāo)簽只有兩個(gè)時(shí)，這就是二元分類；超過兩個(gè)則是多元分類。

• 回歸：當(dāng)預(yù)測為連續(xù)數(shù)值型時(shí)，這就是一個(gè)回歸問題。

• 預(yù)測：這是一個(gè)基于過去和現(xiàn)在的數(shù)據(jù)預(yù)測未來的過程，其最大應(yīng)用是趨勢分析。一個(gè)典型實(shí)例是根據(jù)今年和前年的銷售業(yè)績以預(yù)測下一年的銷售業(yè)績。

半監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)的主要挑戰(zhàn)是標(biāo)注數(shù)據(jù)價(jià)格昂貴且非常耗時(shí)。如果標(biāo)簽有限，你可以使用非標(biāo)注數(shù)據(jù)來提高監(jiān)督學(xué)習(xí)。由于在這一情況中機(jī)器并非完全有監(jiān)督，所以稱之為半監(jiān)督。通過半監(jiān)督學(xué)習(xí)，你可以使用只包含少量標(biāo)注數(shù)據(jù)的非標(biāo)注實(shí)例提升學(xué)習(xí)精確度。

無監(jiān)督學(xué)習(xí)

在無監(jiān)督學(xué)習(xí)之中，機(jī)器完全采用非標(biāo)注數(shù)據(jù)，其被要求發(fā)現(xiàn)隱藏在數(shù)據(jù)之下的內(nèi)在模式，比如聚類結(jié)構(gòu)、低維流形或者稀疏樹和圖。

• 聚類：把一組數(shù)據(jù)實(shí)例歸為一類，從而一個(gè)類（一個(gè)集群）之中的實(shí)例與其他類之中的實(shí)例更相似（根據(jù)一些指標(biāo)），其經(jīng)常被用于把整個(gè)數(shù)據(jù)集分割為若干個(gè)類。這種分析可在每一分類之中進(jìn)行，從而幫助用戶需要內(nèi)在模式。

• 降維：減少考慮的變量數(shù)量。在很多應(yīng)用中，原始數(shù)據(jù)有非常高的特征維度，而其中一些特征是多余的且與任務(wù)不相關(guān)。降維將有助于發(fā)現(xiàn)真實(shí)、潛在的關(guān)系。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是通過環(huán)境的反饋信息來分析和優(yōu)化智能體的行為。在強(qiáng)化學(xué)習(xí)中，智能體不會(huì)被告知應(yīng)該采取哪種行為，而是通過不斷嘗試不同的策略，從而發(fā)現(xiàn)哪種行為能夠產(chǎn)生最大的回報(bào)。試錯(cuò)學(xué)習(xí)和延遲獎(jiǎng)賞是將強(qiáng)化學(xué)習(xí)與其他技術(shù)區(qū)分的重要特點(diǎn)。

選擇算法的注意事項(xiàng)

當(dāng)選擇一個(gè)算法的時(shí)候，你要時(shí)刻牢記如下方面：精確性、訓(xùn)練時(shí)間和易用性。很多用戶將精確性置于首位，然而新手則傾向于選擇他們最了解的算法。

當(dāng)你有一個(gè)數(shù)據(jù)集后，第一件需要考慮的事情就是如何獲得結(jié)果，無論這些結(jié)果可能會(huì)多么奇怪。新手傾向于選擇易于實(shí)現(xiàn)且能快速獲得結(jié)果的算法。這種思路僅在整個(gè)訓(xùn)練的第一步過程中適用。一旦你獲得了一些結(jié)果并且開始逐漸熟悉數(shù)據(jù)，你或許應(yīng)該花更多時(shí)間，使用更加復(fù)雜的算法來強(qiáng)化你對(duì)數(shù)據(jù)的理解，這樣方可改進(jìn)結(jié)果。

不過，即便到了這一步，達(dá)到最高精度的標(biāo)準(zhǔn)算法也可能不是最合適的算法，這是因?yàn)橐粋€(gè)算法通常需要用戶細(xì)致的調(diào)參以及大范圍的訓(xùn)練才能獲得其最佳性能。

選擇具體算法的場景

對(duì)具體算法的深入研究可以幫助你理解它們的性能以及使用的方式。下面更多細(xì)節(jié)可為你選擇具體算法提供進(jìn)一步幫助，你可以配合前面速查表一起閱讀。

線性回歸和 Logistic 回歸

線性回歸（linear regression）是一種對(duì)連續(xù)型因變量 y 與單個(gè)或多個(gè)特征 X 之間的關(guān)系進(jìn)行建模的方法。y 和 X 之間的關(guān)系可被線性建模成 如下形式：當(dāng)存在訓(xùn)練樣本時(shí)，，參數(shù)向量β可從訓(xùn)練樣本中學(xué)到。

如果因變量不連續(xù)且為分類變量，那么線性回歸可以轉(zhuǎn)為使用一個(gè) Sigmoid 函數(shù)的 logistic 回歸。logistic 回歸是一種簡便，快速而且強(qiáng)大的分類算法。這里討論二分類情況，即因變量 y 只有兩個(gè)值 y∈(?1,1)（這可以很容易被擴(kuò)展為多分類問題）。

在 logistic 回歸中，我們使用不同的假設(shè)類別來嘗試預(yù)測一個(gè)給定樣例是屬于「1」類還是「-1」類的概率。具體而言，我們將嘗試學(xué)習(xí)如下形式的一個(gè)函數(shù)：以及，其中是一個(gè) sigmoid 函數(shù)。當(dāng)存在訓(xùn)練樣本 {xi，yi} 時(shí)，參數(shù)向量β能在給定數(shù)據(jù)集下，最大化 β 對(duì)數(shù)似然值來學(xué)習(xí)。

線性 SVM 和核 SVM

核（kernel）技巧可被用于將非線性可分函數(shù)映射成高維的線性可分函數(shù)。支持向量機(jī)（SVM）訓(xùn)練算法可以找到由超平面的法向量 w 和偏置項(xiàng) b 表示的分類器。這個(gè)超平面（邊界）可以按照最大間隔的方式來分開不同的類別。這個(gè)問題可以被轉(zhuǎn)換一個(gè)條件優(yōu)化問題：

Kernel 技巧被用于將非線性可分函數(shù)映射成高維的線性可分函數(shù)

當(dāng)類別不是線性可分的時(shí)候，核技巧可被用于將非線性可分空間映射到高維的線性可分空間。

當(dāng)因變量不是數(shù)值型時(shí)，logistic 回歸和 SVM 應(yīng)該被用作分類的首要嘗試。這些模型可以輕松實(shí)現(xiàn)，它們的參數(shù)易于調(diào)節(jié)，而且其性能也相當(dāng)好。所以這些模型非常適合初學(xué)者。

樹和集成樹

用于預(yù)測模型的決策樹

決策樹、隨機(jī)森林和梯度提升（gradient boosting）全都是基于決策樹的算法。決策樹有很多變體，但它們所做的事情都一樣——將特征空間細(xì)分為基本具有相同標(biāo)簽的區(qū)域。決策樹易于理解和實(shí)現(xiàn)。但是，它們往往會(huì)過擬合數(shù)據(jù)，并且在樹上面走得非常深。隨機(jī)森林和梯度提升是兩種流行的使用樹算法來實(shí)現(xiàn)良好準(zhǔn)確度的集成方法，該兩種集成方法同時(shí)還能克服過擬合的問題。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

一個(gè)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

神經(jīng)網(wǎng)絡(luò)憑借其并行和分布式處理的能力而在 1980 年代中期興起。但該領(lǐng)域的研究受到了反向傳播訓(xùn)練算法的低效性的阻礙，而反向傳播算法在神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化上得到了廣泛的應(yīng)用。支持向量機(jī)（SVM）和其它更簡單的模型（可以通過解決凸優(yōu)化問題而輕松訓(xùn)練）逐漸在機(jī)器學(xué)習(xí)領(lǐng)域替代了神經(jīng)網(wǎng)絡(luò)。

近年來，如非監(jiān)督預(yù)訓(xùn)練和逐層貪婪訓(xùn)練等新的、改進(jìn)的訓(xùn)練技術(shù)，導(dǎo)致了人們對(duì)神經(jīng)網(wǎng)絡(luò)興趣的復(fù)興。越來越強(qiáng)大的計(jì)算能力（如GPU和大規(guī)模并行處理（MPP）），也激發(fā)了神經(jīng)網(wǎng)絡(luò)的復(fù)興。神經(jīng)網(wǎng)絡(luò)研究的復(fù)興引起了數(shù)千層模型的發(fā)明。

一種神經(jīng)網(wǎng)絡(luò)

換句話說，淺層神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在監(jiān)督學(xué)習(xí)領(lǐng)域取得了巨大的成功。當(dāng)被用于語音識(shí)別和圖像識(shí)別，深度學(xué)習(xí)的水平已經(jīng)達(dá)到甚至超過了人類水平。當(dāng)被應(yīng)用于無監(jiān)督學(xué)習(xí)任務(wù)（比如特征提取）時(shí)，深度學(xué)習(xí)僅需少量的人為干預(yù)就可以從原始圖像和語音中提取出特征。

神經(jīng)網(wǎng)絡(luò)由 3 個(gè)部分組成：輸入層、隱藏層和輸出層。當(dāng)輸出層是一個(gè)分類變量時(shí)，那么該神經(jīng)網(wǎng)絡(luò)可以解決分類問題。當(dāng)輸出層是一個(gè)連續(xù)變量時(shí)，那么該網(wǎng)絡(luò)可被用于執(zhí)行回歸。當(dāng)輸出層和輸入層一樣時(shí)，該網(wǎng)絡(luò)可被用于提取內(nèi)在的特征。隱藏層的數(shù)量定義了模型復(fù)雜度和建模能力。

k-均值/k-模式、高斯混合模型（GMM）聚類

k-均值聚類

高斯混合模型

k-均值/k-模式，GMM 聚類的目標(biāo)是將 n 個(gè)觀察分區(qū)成 k 個(gè)集群。k-均值聚類定義為硬分配標(biāo)準(zhǔn)：其樣本會(huì)被而且僅可被分配給一個(gè)集群。然而，GMM 可以為每個(gè)樣本定義一個(gè)軟分配（soft assignment）。每個(gè)樣本都有一個(gè)與每個(gè)集群相關(guān)的概率。當(dāng)給定了集群的數(shù)量 k 時(shí)，這兩個(gè)算法都很簡單快速。

DBSCAN

DBSCAN 示意圖

當(dāng)聚類的數(shù)量 k 給定時(shí)，可以通過密度擴(kuò)散（density diffusion）來連接樣本，從而使用 DBSCAN（基于密度的空間聚類（density-based spatial clustering））。

層次聚類

層次分區(qū)可以使用樹結(jié)構(gòu)（樹形圖）來進(jìn)行可視化。其不需要集群的數(shù)量作為輸入，且其分區(qū)可以使用不同的 K 而在不同的粒度水平下查看（即可以細(xì)化/粗化集群）。

PCA、SVD 和 LDA

我們通常并不想直接給機(jī)器學(xué)習(xí)算法送入大量特征，因?yàn)橐恍┨卣骺赡苁菬o關(guān)的或者「固有的（intrinsic）」維度可能少于特征的數(shù)量。主成分分析（PCA）、奇異值分解（Singular Value Decomposition）和隱狄利克雷分布（LDA）都可以被用于執(zhí)行降維。

PCA 是一種無監(jiān)督聚類方法，其可以將原有的數(shù)據(jù)空間映射到一個(gè)更低維的空間，同時(shí)還能保留盡可能多的信息。PCA 基本上是在尋找一個(gè)保留了最大數(shù)據(jù)方差的子空間，且該子空間由數(shù)據(jù)的協(xié)方差矩陣的主要特征向量所定義。

SVD 和 PCA 有某種程度的聯(lián)系——與PCA定義了子空間類似，中心數(shù)據(jù)矩陣（特征與樣本）的SVD也由主左奇異向量（dominant left singular vectors）定義了子空間。但是，SVD 是一種更加通用的技術(shù)，因?yàn)槠湟材茏鲆恍?PCA 可能做不到的事情。比如，一個(gè)用戶 vs. 電影矩陣的 SVD 可以提取用戶資料和電影資料，然后將其用在推薦系統(tǒng)中。此外，SVD 也被廣泛用作主題建模工具，在自然語言處理領(lǐng)域被稱為潛在語義分析。

自然語言處理領(lǐng)域的一個(gè)相關(guān)技術(shù)是隱狄利克雷分布（LDA）。LDA 是概率主題模型，其可以將文檔分解為主題，分解方式就像高斯混合模型（GMM）將連續(xù)數(shù)據(jù)分解成高斯密度（Gaussian densities）。與GMM不同的是，LDA是對(duì)離散型數(shù)據(jù)（文檔中的詞）進(jìn)行建模，并且模型中的主題是被限制為服從Dirichlet分布的先驗(yàn)分布。

結(jié)論

這是一個(gè)易于掌握的工作流程。當(dāng)你在嘗試一個(gè)新問題時(shí)，其中的關(guān)鍵信息是：

• 定義問題。你想要解決什么問題？

• 從簡單開始。熟悉你的數(shù)據(jù)和基準(zhǔn)結(jié)果。

• 然后嘗試更加復(fù)雜的東西。

原文鏈接：

http://blogs.sas.com/content/subconsciousmusings/2017/04/12/machine-learning-algorithm-use/

總結(jié)

以上是生活随笔為你收集整理的初学者如何选择合适的机器学习算法（附算法速查表）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。