轉載地址：http://www.csdn.net/article/2015-03-02/2824069

編者按：目前機器學習領域誕生的多種算法并不見得都有很好的實戰(zhàn)效果。本文作者認為，集成學習是一種立竿見影、從不過時的方法，堪稱機器學習兵器譜上排名第一的“屠龍刀”。作者在文章中介紹了集成學習的概念和發(fā)展，它有RF和GBDT兩大殺器，著重講解了嫁接法、集成半監(jiān)督學習等最新進展，以及集成學習成功的關鍵。

機器學習是一個大武林，這里面江湖人士頗多，“發(fā)明”出來的算法兵器也是五花八門，浩瀚如海，足夠你數(shù)上三天兩夜了。然而，這些兵器行走江湖能用的不多，真正無敵的更是屈指可數(shù)，或許只有屠龍刀倚天劍了。正如江湖傳言：武林至尊，寶刀屠龍，號令天下，莫敢不從，倚天不出，誰與爭鋒? 機器學習中還真有這么一把屠龍刀、一把倚天劍。用上了這兩樣兵器，保你平平安安闖四方，瀟瀟灑灑走江湖。今天，就先絮叨絮叨這把屠龍刀。

在下以為，集成學習就是這把屠龍刀。為什么集成學習能稱為“屠龍刀”呢？因為它立竿見影，好像“刀過竹解”；因為它從不過時，儼然“寶刀未老”。它是一把刀，但不是一把普通的刀；它是一把鋒利的刀，一把可以屠龍的刀。集成學習在眾多的機器學習/數(shù)據(jù)挖掘競賽中往往探囊取物，屢試不爽，像屠龍刀一樣當之無愧排行兵器譜第一。

什么是集成學習

什么是集成學習呢？通俗的講，就是多算法融合。它的思想相當簡單直接，以至于用一句俗語就可以完美概括：三個臭皮匠，頂個諸葛亮。實際操作中，集成學習把大大小小的多種算法融合在一起，共同協(xié)作來解決一個問題。這些算法可以是不同的算法，也可以是相同的算法。對于前者，效果一般也不差，但出發(fā)點實在過于簡單粗暴，簡直就是一介武夫，就不過多介紹了。這里著重談一下如何使用同一個算法進行集成學習（雖然只關注這個話題，但里面很多思想對前者也是適用的）。

用好集成學習有兩個關鍵點：1）怎么訓練每個算法？2）怎么融合每個算法？圍繞這兩個關鍵點，有很多方法提出來，極具代表性就是大家熟知的bagging和boosting方法，其中Bagging和boosting也是當今兩大殺器RF（Random Forests）和GBDT（Gradient Boosting Decision Tree）之所以成功的主要秘訣。注意，這里我用的是“方法”，而不是“算法”，個人以為“方法”比“算法”更高一層，更抽象些，更具有普適性。

集成學習的發(fā)展

集成學習是典型的實踐驅動的研究方向，它一開始先在實踐中證明有效，而后才有學者從理論上進行各種分析，這是非常不同于大名鼎鼎的SVM（Support Vector Machine）的。SVM是先有理論，然后基于理論指導實現(xiàn)了算法。這是機器學習研究中少有的理論指導的創(chuàng)新案列。直到如今，它還是部分學者用來看輕工業(yè)界發(fā)明的算法的主要證據(jù)之一。為了證明我的觀點，我們就回顧下集成學習中最主流的RF的發(fā)展歷程。1995年，AT&T bell實驗室的香港女學者Ho Tin Kam最早提出了RF，那個時候還不叫Random Forests, 而叫RDF（Random Decision Forest），她主要是采用Random Subspace的思想使用DT（Decision Tree）來構建Forest。隨后的幾年里，又有一批人相繼提出了大大小小的一些類似或改進的工作，但都還不足以載入史冊。歷史的年輪不知不覺來到了2001年，統(tǒng)計學家Breiman已開始在機器學習界站穩(wěn)腳跟。他在RDF基礎上又引入了Bagging技術，并提出了沿用至今的Random Forests。雖然老人家在那篇后來被引用幾千次的文章里進行了“理論”分析，并給出了一個看似不錯的誤差上界，但其實那個公式只是個中看不中用的數(shù)學符號，沒有太多的指導意義。而且，老人家在回顧Ho的工作時，相當輕描淡寫，不知道何故，謹慎懷疑他對她是否有誤會？【批注1】2005年，Breiman離世，集成學習理論突破的使命交給了后來人。

2005-2015這十年里，集成學習方面的論文陸續(xù)有放出，但遺憾的是，個人認為集成學習的理論進展還是非常緩慢。大多工作都是圍繞一個特定的算法做分析，始終沒有一個大一統(tǒng)的理論站穩(wěn)腳跟。“理論指導實踐”，這是機器學習研究者們渴望已久的燈塔，但它太遠太遠，以至于我們只能在茫茫迷霧中懷著這份渴望摸索前行。回顧集成學習理論的發(fā)展歷程，為數(shù)不多的有用結論之一可能就是---從bias-variance分解角度分析集成學習方法【批注2】，人們意識到：Bagging主要減小了variance，而Boosting主要減小了bias，而這種差異直接推動結合Bagging和Boosting的MultiBoosting的誕生。值得一提的是，我國學者在集成學習領域并不落后，以南大周志華教授為代表的學者的一系列工作走在了世界前列，如選擇集成技術、集成聚類技術、半監(jiān)督集成技術等等。周志華老師還最早將Ensemble Learning翻譯為“集成學習”，是國內這一領域的先行者。

• 實用新方法：算法嫁接

近年來，除了上面的這些方法外，還有一些新方法涌現(xiàn)出來，這里就特別討論下個人認為比較有創(chuàng)意而且很實用的方法，我稱之為“嫁接法”。據(jù)百度百科的說法--所謂嫁接，是指植物的人工營養(yǎng)繁殖方法之一。即把一種植物的枝或芽，嫁接到另一種植物的莖或根上，使接在一起的兩個部分長成一個完整的植株。把這個概念遷移到集成學習領域，就是把一個算法嫁接到另外一個算法上，從而形成一個新的完整的算法。為什么要這么做呢？因為嫁接后有好處啊。回想一下當下我們吃的各種水果，不少都是嫁接后的產(chǎn)物。不嚴格說來，袁隆平的雜交水稻也是一種高級的嫁接產(chǎn)物。嫁接后的水稻抗病害，易種植，產(chǎn)量還高。同樣，把兩種算法嫁接在一起，也能達到類似的好效果。

算法嫁接之后為什么會好呢？回答這個問題得從一個基礎問題講起。以分類算法為例，所有算法大致分為線性和非線性兩類，線性算法如LR，NB，ME之類；非線性算法如DT，RF，NN之流。一般來說，線性算法訓練和預測的效率較高，但效果較差，而且非常依賴人的知識。如廣告CTR預估中常用的LR算法，要想達到一定的效果，需要人工或半人工的進行龐大的特征工程--進行特征的變換組合等預處理工作。有過LR使用經(jīng)驗的同學一定對這個過程刻骨銘心，沒有一定年限的積累是做不好線性模型的。而非線性算法如DT，理論上是能自動地做這些繁瑣工作的（雖然效果不一定好）。如果能借助這些算法減少人的工作，豈不大快人心？沒錯，LMT(Logistic Model Tree ) 應運而生，它把LR和DT嫁接在一起，實現(xiàn)了兩者的優(yōu)勢互補。剛剛過去的一年，網(wǎng)上近乎瘋傳的Facebook的那個GBDT+LR的文章，只不過是這個思想的延續(xù)，初看下來實在沒啥可追捧的。不同意？先別急，這樣做的確還有一些其他好處，咱們得換另外一個角度來看GBDT+LR。對比GBDT和DT會發(fā)現(xiàn)GBDT較DT有兩點好處：1）GBDT本身是集成學習的一種算法，效果可能較DT好；2）GBDT中的DT一般是RT，所以預測出來的絕對值本身就有比較意義，而LR能很好利用這個值。這是個非常大的優(yōu)勢，尤其是用到廣告競價排序的場景上。最后需要說明的是，這只是從一個角度來理解嫁接的好處，還有其他方面就不一一展開了。

• 集成半監(jiān)督學習的改進

雖然集成半監(jiān)督技術在一些數(shù)據(jù)集或場景下取得了一定效果，個人一直偏執(zhí)地不看好這個方向。個人拙見：具體到分類問題上，集成方法要想成功，要依賴的有標記的樣本量要大，至少可能是要大于單個算法的。半監(jiān)督學習技術雖然可取，但沒有一定量的標記樣本也是瞎折騰。兩者都對樣本要求如此苛刻，融合在一起豈不是更壞？另一方面，兩派人的研究方法論不同，根本不看好融合在一起的集成半監(jiān)督技術【批注3】。所以即便是co-training這樣訓練兩個學習器的算法，實際預測時也只使用其中一個。然而，隨后這方面一系列的工作有理有據(jù)，著實給人們上了生動的一課。值得一提的是，我國南大數(shù)據(jù)挖掘團隊對這個領域的發(fā)展起到了推動作用，他們先是做了tri-training，co-forest等算法，驗證了引入集成對半監(jiān)督學習的好處。后來又在理論上證明了半監(jiān)督學習引入集成會帶來很大好處。而對集成學習者，他們揭示出引入半監(jiān)督學習可以不犧牲個體學習器精度就能提升diversity，并設計出UDEED算法。這一系列工作得到了業(yè)界高度評價。

集成學習成功的關鍵

集成學習成功的關鍵---要千方百計圍繞學習器的差異和強度做文章。這兩者有非常密切而又難以描述的關系，其中有對立，也有協(xié)同，實際應用中我們要平衡好彼此。瞄準了這個方向，就能事半功倍，才能在正確的道路上越走越遠。怎樣解決這個關鍵問題呢？答案就一個字：試。如果非要多說兩個字，那就是：試試。如果…你還要我多說嗎?呵呵。好吧，不開玩笑了。如果你非想問出個子丑寅卯來，你可能要用好以下技術：完全隨機，結合先驗的偽隨機，選擇集成，融合進人為思維等等。最最重要的是，會根據(jù)不同問題要調一把好參，如特征相關性太強怎么調隨機選取特征的比例，樣本噪聲太大怎么調隨機選取示例的比例，正負比例不平衡時怎么做平衡等等。另外，在實際應用中，還要平衡好性能和效果，做一些工程上的優(yōu)化，哪些該實時算，哪些可以離線算，哪些可以半實時都要規(guī)劃好，還要使用好單機資源，多機資源，甚至犧牲效果換性能。這些點都是要注意的，用過才知道。

小結

集成學習方法是機器學習中最最實用的兵器，堪稱屠龍刀。但并不是每個人都能用好這把刀，我們都要繼續(xù)修煉內功，理解數(shù)據(jù)，用好數(shù)據(jù)。

希望大家牢記兩句話：

機器學習的成功依賴數(shù)據(jù)，系統(tǒng)和算法，缺一不可。

人能做的絕不留給機器。

主要批注：

她是模式識別領域的，研究方法論和機器學習有很大差別。Ho主要的貢獻是隨機子空間，她偶然用了一下決策樹，但是從屬性子空間的角度去做的，是不是決策樹并不重要，而且最關鍵的是沒有用到bootstrap，而bootstrap是bagging和RF的最精華。從Breiman的角度看，Ho是純屬湊巧弄了個和RF看上去長得像的東西，而且這東西里面沒有RF最寶貴的部分，當然不會看好。Ho的random subspace是模式識別里面很有效的技術。她自己也更看重這個。

bias-variance分解不是集成學習特有的，1992年German發(fā)明后借用過來的。集成學習特有的是error-ambiguity分解。

集成學習者認為: 只要允許我使用多個學習器，就能把弱學習器提升到足夠強，根本不需要什么無標記樣本。半監(jiān)督學習者認為: 只要能讓我使用無標記樣本，就能把學習器提升到足夠強，哪需要什么多學習器。雙方各執(zhí)一詞，真是老死不相往來的節(jié)奏。

---

本文摘自@龍星鏢局發(fā)布于我愛計算機（www.52cs.org）的文章機器學習刀光劍影 之 屠龍刀，有細微刪節(jié)和改動。據(jù)作者預告還有下篇，講能帶你裝逼帶你飛的倚天劍，敬請期待。另外，如果您有人工智能的好文章要向我們推薦或投遞，請聯(lián)系：zhoujd#csdn.net(#換成@)。

原文鏈接：機器學習刀光劍影 之 屠龍刀（責編/周建丁）

總結

以上是生活随笔為你收集整理的集成学习：机器学习兵器谱的“屠龙刀”的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。