前言：

?????????? 接上一篇：AI：模式識別的數學表示

????????? 在圖像處理PR領域，相對于ANN方法，其他的方法一般稱為傳統方法。在結構上，幾乎所有的PR方法都是可解釋的。且任一傳統方法，在一定約束下，可以轉換為SV近鄰法，即與SVM方法具有相似性，且理論函數復雜度不小于同精度的基于SV的決策樹方法。

????????? 而在規則和語義上，ANN方法一般是無法使用明確函數解釋的，稱之為PR的語義黑箱。

????????? 對于圖像處理IP來說，一般形式下的模式函數都是（降維）壓縮hash函數。

????????? 而對于傳統模式識別方法，特征提取和模式識別模型一般都有固定的函數模型，甚至是純粹的概率觀測模型（如Bayes方法）。固定的函數模型的優勢是語義可解析，缺點是缺失了極端泛用性。

K近鄰法：模式函數的近鄰hash

?????????? 從直觀角度上看，相似的圖片應該表示相似的語義，即相似的圖片在集合張量空間內的距離較近，那么其模式值也應該是接近的，這就引出了模式函數的一般特性：近鄰hash。

????????? 近鄰hash定義：

????????? 對于函數 f( x ) = { X——>Y }，其中f（x）是一個單射。Dx(t1,t2),Dy(t1,t2)表示距離函數。

?? ??且存在p>P(x){ P(x)> 0.9...9 }, 使得

? ? ???Dx(x1,x2) <Dx(x1,x3) ——>?Dy(y1,y2) <Dy(y1,y3)? (蘊含式)

???????????????

???????? 百科：KNN方法? 歐式距離定義（2-范數）

???????? 因此，K近鄰法從直觀上描述了模式函數的自然語義-壓縮近鄰hash。

???????? 但近鄰法的模式函數是這樣的：

????????????????????? S(x)為取最小函數：? S(xi) = min( Dx( xi, x ) )，運算符為“<”，實現方法為各種排序方法 Sort (yi){ yi ∈ Y} 。

?????????語義分析：一般來說，近鄰法模型是有語義的，而這個語義蘊含在距離判斷函數Dx( xi, x ) 里面，且另一個附加語義最近，表示了模式映射的一般特性，一旦你選擇了什么樣的距離，直接決定了會有什么樣的分類結果。

??????????

貝葉斯方法：

? ? ? ? 貝葉斯方法是已知后驗概率，收集條件概率，求取模型的先驗分布的方法。??

??????? 模型函數為貝葉斯公式和躍階函數的復合函數。

??????? 參考文章：ML常用機器學習公式梳理??

??????? 從思維方法上講，貝葉斯方法表示了分類方法的一般極限，卻是無語義的，純粹從觀測的角度分析結果。

PR的一般路徑—線性可分判別函數

?????? ? 從樣本出發直接設計分類器，而不去確定大概率情況下不會準確的條件概率和觀測后驗概率，是分類模型的形式轉換要求。即樣本分類一般有一個界面，這個界限對應了一個函數，即是分類器的模式函數。

???????? 從分界面的思想出發，設計分類函數，必然導致函數形式的具體化。直接在二維圖像/張量空間里面尋找分類界面的函數形式，非常困難，因此模式識別發展為一般的傳統模式識別方法：特征提取和模式識別。特征提取把圖像從二維張量/歐氏空間，映射到N維向量空間，轉化為特征集合；而模式識別只負責對特征集合進行分類，即把對N維向量特征再次進行壓縮近鄰hash，完成分類——模式函數建立。

???????? 傳統IP模式識別的方法

????????定義X，和模式的種類Y，來確定函數 f( x ) = { X——>Y }，其中f（x）是一個單射。

???????? 引入特征空間概念，分解為兩個函數乘積/復合

????????定義X，和模式的種類Y，引入特征概念F 。模式 f( x ) = { X—>Y }，分離處特征提取函數H(x)，由此分解為特征函數 H(x)和 分類器/分類模型C(f)。

?????? 表示為f( x ) = { X—>Y }=H(x)*C(f)或者C( H(x) ) = {X—>F—>Y}。?????

????????意義：向量空間的壓縮映射有完整的數學理論支持，且可以使整個PR系統圍繞著模型逐步優化，且定能達到要求，符合工程學上復雜問題進行復雜度分解的一般要求。

????????

???????? 文章：圖像的局部特征綜述-SIFT為例??? ——SIFT函數把圖像塊轉化為128維向量空間中的向量

????????語義表示：特征函數 H(x)和 分類器/分類模型C(f) 必須都是近鄰hash函數，且一般是壓縮近鄰hash函數。其中 特征函數 H(x)把二維歐氏空間中的圖片集合壓縮到一維歐式空間中的N維向量空間，而分類模型C(f) 完成模式函數 f(x) 的一般功能。

模式識別

?????? ?? 從IPPR發展至今，模式識別方法從非參數方法到參數方法，從線性分析到非線性分析。非參數方法不使用明顯的函數或者簡單函數表示形式，如KNN。參數方法把模式函數使用明確的函數形式進行表示，大多數方法為參數方法如線性回歸、Fisher線性判別、感知器模型、邏輯斯特回歸、SVM方法、PCA預處理方法、ANN方法、決策樹方法以及組合學習方法。

????????經典SVM方法：SVM方法不直接對原始N維特征向量進行訓練，尋找線性分類面，而是經過核函數映射，把N維向量映射到高維空間，尋找分類面，避開了非線性計算，分類時也使用了同樣的過程。參考文章：支持向量機的近鄰解釋。

?????????

??????? 文章：支持向量機的近鄰解釋-（3）。 SVM完成特征高維映射，再進行判別分析。

???????經典ANN方法：ANN方法訓練之后可視為分層復合連乘器，經過最后的判別層，把結果向量降低到0維，完成模式識別。

特征提取hash

?????? ?? 從IPPR發展至今，特征函數 H(x)的指導思想依然是近鄰hash。語義蘊含在距離判斷函數/度量函數Dx( xi, x ) 里面，即在直覺上相近的圖片應該得到近鄰的特征。

????? ?? 特征提取的一些要求：縮放不變性、位移不變性、光照不變性等。也表示了相似的一般要求：一個物體在縮放、旋轉、光線變化的環境中，所提取的特征也應該能表示此物體，即是特征也應該近鄰。

?????? ? 基于不變性，出現了大量的局部特征，參考文章：圖像的局部特征綜述-SIFT為例。OpenCV幾乎包含了已知的有效特征函數，包含在opencv\build\include\opencv2\features2d\features2d.hpp里面。即把2d圖像轉化為N維向量的函數。而全局特征函數比如HOG、LBP、HAAR等包含在檢測特征里面。

????????意義：特征提取有什么意義？把2d圖像轉化為N維向量，是為了滿足模型的要求。向量空間的壓縮映射有完整的數學理論支持，且可以使整個PR系統圍繞著模型逐步優化，且定能達到要求。

????????優勢：專家得到的特征函數，從理論上給出了函數語義，怎么維持了不變性，在結構上怎樣地保持近鄰特性，甚至在語義上給出了可靠的支持，比如LBP表示的人臉模型方法。

????? ? 壓縮局限：每一個特征的產生，都是經過圖像處理方面的專家經過理論證實且經過大量實驗證明其在特定約束（比如旋轉不變、位移不變性、光照不變性等的一個或多個）要求下有效的方法，是個經驗過程。而對于不同類別的圖像，可能特征近鄰模式也不相同。以檢測為例，人臉識別適合HARR和LBP，而行人檢測更適合HOG，這表明了特定的圖像集合即使在特征提取層面最優特征hash函數也會有不同，而特征模式的優化比模型本身更耗費精力，因為需要模型的反饋，而不是模型本身可以根據結果自行優化。

???????? ? ?

???????? 文章：圖像的全局特征LBP。??????????圖像的全局特征HOG?？梢钥闯?#xff0c;兩種不同全局特征的表示優勢和適應范圍。

HOG特征為例—（特征提取語義）

?????? ? HOG特征使用局部梯度計算子（光照、旋轉不變性），然后對每一個Cell塊對梯度直方圖進行投影（劃分計算子），對每一個重疊塊內的Cell進行對比度歸一化（平移不變性），然后把所有Block內的向量組合成一個直方圖（從二維歐式空間降低到一維歐式空間，使用塊劃分的模式）。

????????? 分別使用了歸一化圖像 N(X)，梯度計算函數 G(p)，直方圖投影 P(g)，歸一化直方圖 N(p)，把二維降低到一維的函數 C(h)，復合函數為N()*G()*P()*N()*C()，也可以表示為C( N( P( G( N(X) ) ) ) ) 。

?????????? 而對于整幅圖像，以場景識別的特征SIFT+VQ方法為例，如下圖。

????????

???????????????????? SIFT特征提取+VQ編碼，圖片來自：在線場景感知ScSPM和LLC總結????

??????????優勢和缺點：優勢是特征提取特定的方法給出了明確的語義， 缺點是形式上的固定限制了特征提取的可表達性，即即便如廣受好評的SIFT特征和HOG特征，特征提取壓縮函數形式上的固定決定了其壓縮損失的固定性，這種損失率不會隨著數據的增多而降低。

??????? ? SIFT特征局限：即使廣泛使用的SIFT特征，特征hash準確性和泛化性能出類拔萃，但在ImageNet?ILSVRC比賽的最好結果的錯誤率也有26%以上，而且常年難以產生突破。這也驗證了一個算法的普遍難題：沒有一個合適的算法適合所有問題，如果在一個問題上體現足夠的準確，那么在一個問題上也能體現足夠的錯誤。而最通用的算法，則代表著通用的普通性能。

CNN方法—一站式PR方法（特征提取方向）

??????? 隨著超量類別PR和高精度的需求，人工特征方法局限性凸顯出來，特征hash壓縮映射因其壓縮損失，在海量的同類數據集上表現的近鄰特性變差，而在不同類別的數據上面隔離性又出現問題。

??????? 既然人工構建的特征hash函數并不能滿足每一個場景的需求，每個經驗都有局限，且特征提取的壓縮映射必然導致壓縮損失，為何不略過此環節，使用數據來完成此過程。越多的數據可生成越精確的分類結果，這就引出了圖像特征提取的自動化方法、一站式圖像處理PR方法——CNN方法。IPPR又從分治法回到一站式方法。

?????? 從2012年AlexNet橫空出世，獲取制高點之后，圖像處理PR進入了CNN方法的汪洋大海，而后以橫掃之勢統治了整個IPPR界。

?????? 后來隨著類別的增加，和準確度要求的提高，CNN走向了更大、更深，且在這條路上越走越遠。且隨著對網絡結構的進一步分析，特定的網絡結構可以進行語義分析，甩開了“語義黑箱”的帽子。

Baging方法：傳統方法隨機森林應對多類和高精度挑戰

?????? ?? 在 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems? 這篇論文里，分析了各個家族的分類器結構、效果、以及分類器極限。這樣介紹：we evaluate 179 classifiers arising from17families (discriminant analysis, Bayesian, neural networks,support vector machines, decision trees, rule-based classifiers,boosting, bagging, stacking, random forests and other ensembles,generalized linear models, nearest-neighbors, partial leastsquares and principal component regression, logistic andmultinomial regression, multiple adaptive regression splines andother methods), implemented in Weka, R (with and without thecaret package), C and Matlab, including all the relevantclassifiers available today. We use121 data sets。使用了121個經典數據集，分析了17個族的179種分類器，得出了隨機森林方法乃是綜合評價最好的集成學習方法。甚至：The classifiers mostlikely to be the bests are the random forest (RF) versions,the best of which (implemented in R and accessed via caret)achieves 94.1% of the maximum accuracy overcoming 90% in the84.3% of the data sets. However, the difference is notstatistically significant with the second best。除了隨機森林方法，第二好的方法無法評判。

?????? ? 隨機森林的優勢一：精度優勢。決策樹對特征的權重進行選擇，置為不同權重（即指明了那些特征的重要性），理論上數據越多且弱分類器相應增加的情況下，隨機性帶來的特征提取損失會相應降低，因為對特征進行賦權的方法，使組合分類器已經明顯包含了特征選擇的功能，可逐步降低特征hash的損失。直覺上，隨機森林在精度上必然超過其他機器學習方法，且數據越多優勢越明顯。

????? ? ? 隨機森林的優勢二：多類優勢——隨機森林進行多分類和模型調優。隨機森林的多類優勢是由決策樹本身的結構而定，并且弱分類器組合的投票模型，有效的降低多類的識別誤差。

???????? 隨機深林的極限：隨機深林使用隨機策略保證最大似然概率為無偏估計，其復雜度大于基于SV的單顆決策樹方法，甚至在一些時刻復雜度超過使用多項式核的SVM方法。

模型的處理極限

????? ? 根據模型的PAC可學習理論分析，每一種分類器都有其處理極限，參考：PAC學習理論-機器學習那些事。

?????? ? PAC可學習理論的公式：下列公式是機器學習的泛化誤差和一些學習器參數的關系

??? 公式12

??? ?? ? 在機器學習中，簡單的算法意味著增長函數

????????????????

? ? ??? 較小，帶入公式12，意味著相對較小的泛化誤差。但是簡單的算法導致E’(h)較大，產生較大的訓練誤差，導致學習器變得沒有實際意義。

???? ?? ? 更廣泛的場景意味著樣本的分布更加復雜，因此分類界面也更加復雜，以分界面思想構建模式分類器的思路表明，代表分類界面的模型函數復雜度會隨之增加。而特定類型的傳統PR方法模式函數的形式是固定的，在理論上產生了特定的“局限性” 的，分類準確度可以使用PAC學習理論的方法計算出來。特定函數形式的模式識別準確度、泛化誤差都受到模型本身VC維的限制。

???????? 更加復雜的分類面要求更復雜的分類函數，PAC理論給出了近似分類面的模式函數復雜度代價，更高的精度意味著更接近真實的分類面，固定領域模式函數的復雜度和泛化能力可以通過PAC計算得出。

???????? 既然ANN沒有固定的函數形式，特定復雜的ANN可以有不受限制的VC維，理論上可以突破傳統模式識別方法的可學習性限制。ANN理論上成為突破高精度和多類識別挑戰的唯一選擇。

????????

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的AI：PR的数学表示-传统方法PR的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。