统计学习概论
統計學習的定義
統計學習（statistical learning）：關于計算機基于數據構建概率統計模型并運用模型對數據進行預測與分析的一門學科。統計學習也稱為統計機器學習。
統計學習的特點
特點
統計學習以計算機機網絡為平臺，是建立在計算機網絡之上的；
統計學習以數據為研究對象，是數據驅動的學科；
統計學習的目的是對數據進行預測和分析；
統計學習以方法為中心，統計學習方法構建模型并應用模型進行預測與分析；
統計學習是概率論、統計學、信息論、計算理論、最優化理論及計算機科學等多個領域的交叉學科，并且在發展中逐步形成獨自的理論體系與方法論。
學習的定義：如果一個系統能夠能夠執行某個過程改進它的性能，這就是學習。按照這一觀點，統計學習就是計算機系統通過運用數據及統計方法提高系統性能的機器學習。現在，當人們提及機器學習時，往往是指機器學習。
統計學習的對象
統計學習的對象是數據（data），它從數據出發，提取數據的特征，抽象出數據的模型，發現數據中的知識，又回到對數據的分析與預測中去，作為統計學習的對象，數據是多樣的，包括存在于計算機及網絡上的各種數字、文字、圖像、視頻、音頻數據以及它們的組合。
統計學習關于數據的基本假設是同類數據具有一定的統計規律性，這是統計學習的前提。這里的同類數據是指某種共同性質的數據。由于他們具有統計規律性，所以可以用概率統計方法加以處理。
統計學習的目的
統計學習用于對數據進行預測與分析，特別是對未知新數據進行預測與分析。對數據的預測可以是計算機更加智能化，或者說使計算機的某些性能得到提高；對數據的分析可以讓人們獲得新的知識，給人們帶來新的發現。
對數據的預測與分析是通過構建概率統計模型實現的。統計學習總的目標就是考慮學習什么樣的模型和如何學習模型，以使模型能對數據進行準確的預測與分析，同時也要考慮盡可能地提高學習效率。
統計學習的分類
監督學習（supervised learning ）：任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個好的預測（注意此處的輸入輸出指的是某個系統的輸入輸出，與學習的輸入輸出不同）。監督學習是極其重要的統計學習的分支，也是統計學習中內容最豐富的、應用最廣泛的部分。
分類問題：監督學習核心問題，在監督學習中，當輸出變量取有限個離散值時，預測問題就變成了分類問題。這時，輸入X可以是離散，也可以是連續的。監督學習從數據中學習一個分類模型或分類決策函數，稱為分類器。分類器對新的輸入進行輸出的預測，稱為分類，可能的輸出稱為類。分類的類別為多個時（多于兩個），稱為多類分類問題。
標注問題：是分類問題的一個推廣，標注問題是一個更復雜的結構預測問題的簡單形式。標注問題的輸入是一個觀測序列，輸出是一個標記序列或狀態序列。
注意，可能的標記個數是有限的，但其組合所成的標記序列的個數是依序長度呈指數級增長的。
回歸問題：函數擬合.
非監督學習（unsupervised learning）：輸出未明，作為監督與增強學習的預處理。
- 半監督學習（semi-supervised learning）
- 強化學習（又稱增強學習，reinforcement learning）：輸出行為，經過行為獲得回報最優，有延遲，訓練較難。
統計學習的方法
統計學習方法三要素，方法=模型+策略+算法。下面以監督學習中的統計學習三要素為例說明，非監督學習、強化學習也同樣擁有這三要素，可以說構建一種統計學習方法就是具體的統計學習三要素。
模型：監督學習過程中，模型就是所要學習的條件概率分布或決策函數。模型的假設空間 包含所有可能的條件概率分布 或 決策函數。
本書中稱由決策函數表示的模型為非概率模型，有條件概率表示的模型為概率模型。
策略：有了模型的假設空間，統計學習接著需要考慮的是按照什么樣的準則學習或者選擇最優的模型，統計學習的目標在于從假設空間中選取最優的模型。引入 損失函數與風險函數的概念，損失函數度量模型一次預測的好壞，風險函數度量平均意義下模型預測的好壞。損失函數值越小，模型就越好平均意義下的損失，稱為風險函數或期望損失，學習的目標就是選擇期望風險最小的模型。期望風險是模型關于聯合分布的期望損失， 經驗風險是模型關于訓練樣本集的平均損失。根據大數定理，當樣本容量N趨于無窮時，經驗風險趨于期望風險。由于現實中訓練樣本數目有限，甚至很小，所以用經驗風險估計期望風險常常不理想，要對經驗風險進行一定的矯正，這就關系到監督學習的兩個基本策略： 經驗風險最小化和結構風險最小化（結構風險最小化是為了防止過擬合提出來的策略）。
算法：學習模型的具體計算方法。統計學習基于訓練數據集，根據學習策略，從假設空間中選擇最優的模型，最后需要考慮用什么樣的計算方法求解最優的模型。
統計學習的研究
統計學習研究一般包括統計學習方法、統計學習理論及統計學習應用三個方面。統計學習方法的研究旨在開發新的學習方法；統計學習理論的研究在于探求統計學習方法的有效性與效率，以及統計學習的基本理論問題；統計學習的研究主要考慮將統計學習方法應用到實際問題中去，解決實際問題。
統計學習的重要性
近20年來，統計學習無論在理論還是在應用方面度得到了巨大的發展，有許多重大突破，統計學習已被成功地應用到人工智能、模式識別、數據挖掘、自然語言處理、語音識別、圖像識別、信息檢索和生物信息等許多計算機應用領域中，并且稱為這些領域的核心技術。人們確信，統計學習將會在今后的科學發展和技術應用中發揮越來越大的作用。
統計學習學科在科學技術中的重要性體現在以下幾個方面：
（1）處理海量數據
（2）計算機智能化
（3）計算機科學發展的一個重要組成部分
模型評估與模型選擇
模型評估
- 訓練誤差與測試誤差
統計學習的目的是學到的模型不僅對已知數據而且對位置數據都能有很好的預測能力。不同的學習方法會給出不同的模型，當損失函數給定時，基于損失函數的模型的訓練誤差和模型的測試誤差就自然成為學習方法評估的標準。
統計學習方法具有采用的損失函數未必是評估時使用的損失函數，當然，兩者一致是比較理想的。
訓練誤差的大小，對判斷給定的問題是不是一個容易學習的問題是有意義的，但本質上不重要。測試誤差反應學習方法對未知的測試數據集的預測能力，是學習中重要概念，顯然，給定兩種學習方法，測量誤差小的方法具有更好的預測能力，是更有效的方法。通常將學習方法對未知數據的預測能力稱為泛化能力。
模型選擇
- 過擬合和模型選擇
當假設空間含有不同復雜度（如不同的參數個數）的模型時，就要面臨模型選擇的問題。我們希望選擇或學習一個合適的模型。如果在假設空間中存在“真”模型，那么所選擇的模型應該逼近模型。具體地，所選擇的模型要與真模型的參數個數相同，所選擇模型的參數向量與真模型的參數向量相近。
過擬合：如果一味追求提高對訓練數據的預測能力，所選模型的復雜度則往往會比真模型高，這種現象稱為過擬合（over-fitting）。過擬合是指學習時選擇的模型所包含的參數過多，以致于出現這一模型對已知數據預測的很好，但對未知數據預測很差的現象。可以說模型選擇旨在避免過擬合并提高模型的預測能力。
模型選擇方法
正則化
定義：結構風險最小化策略的實現，是在經驗風險上加上一個正則化項（regularization）或罰項（penalty term）。正則化項一般是模型復雜度的單調遞增函數，模型越復雜，正則化值就越大。
正則化的作用是選擇經驗風險和模型復雜度同時較小的模型。
正則化符合Occam’s razor原理，該原理應用于模型選擇時變為以下想法：在所有可能選擇的模型中，能夠很好地解釋已知數據并且十分簡單才是最好的模型，也就是應選擇的模型 。從貝葉斯估計的角度看，正則化項對應于模型的先驗概率，可以假設復雜的模型有較小的先驗概率，簡單的模型有較大的先驗概率。
具體可參考：機器學習之正則化
交叉驗證
提出背景：如果給定的樣本數據充足，進行模型選擇的一種簡單方法是隨機地將數據集切分成三部分，分為
訓練集（training set），用來訓練模型；
驗證集（validation set），用于模型選擇；
測試集（test set），用于最終對學習方法的評估。
在學習到不同復雜度模型中，選擇對驗證集有最小預測誤差的模型，由于驗證集有足夠多的數據，用它對模型進行選擇也是有效的。但是在很多實際應用中數據是不充足的。為了選擇好的模型，可以采用交叉驗證方法，交叉驗證方法的基本思想是重復地使用數據；把給定的數據進行切分，將切分的數據集組合為訓練集與測試集，在此基礎上反復地進行先練、測試以及模型選擇。
分類
簡單交叉驗證:將數據集隨機分為訓練集和測試集。
K-折交叉驗證：將數據等分為K份，每一部分都作為作為一次的測試集，計算k次求得的分類率的平均值，作為該模型或者假設函數的真實分類率。。示意圖如下：
留一交叉驗證：每次只留下一個樣本做測試集，其它樣本做訓練集，如果有k個樣本，則需要訓練k次，測試k次。留一發計算最繁瑣，但樣本利用率最高。適合于小樣本的情況。
參考資料：2012.李航著.《統計學習方法》
總結
- 上一篇： 空间谱专题07：干涉仪仿真思路
- 下一篇： 空间谱专题08：相位模糊