前言：

?????????? 接上一篇：AI：模式識(shí)別的數(shù)學(xué)表示

????????? 在圖像處理PR領(lǐng)域，相對(duì)于ANN方法，其他的方法一般稱為傳統(tǒng)方法。在結(jié)構(gòu)上，幾乎所有的PR方法都是可解釋的。且任一傳統(tǒng)方法，在一定約束下，可以轉(zhuǎn)換為SV近鄰法，即與SVM方法具有相似性，且理論函數(shù)復(fù)雜度不小于同精度的基于SV的決策樹(shù)方法。

????????? 而在規(guī)則和語(yǔ)義上，ANN方法一般是無(wú)法使用明確函數(shù)解釋的，稱之為PR的語(yǔ)義黑箱。

????????? 對(duì)于圖像處理IP來(lái)說(shuō)，一般形式下的模式函數(shù)都是（降維）壓縮hash函數(shù)。

????????? 而對(duì)于傳統(tǒng)模式識(shí)別方法，特征提取和模式識(shí)別模型一般都有固定的函數(shù)模型，甚至是純粹的概率觀測(cè)模型（如Bayes方法）。固定的函數(shù)模型的優(yōu)勢(shì)是語(yǔ)義可解析，缺點(diǎn)是缺失了極端泛用性。

K近鄰法：模式函數(shù)的近鄰hash

?????????? 從直觀角度上看，相似的圖片應(yīng)該表示相似的語(yǔ)義，即相似的圖片在集合張量空間內(nèi)的距離較近，那么其模式值也應(yīng)該是接近的，這就引出了模式函數(shù)的一般特性：近鄰hash。

????????? 近鄰hash定義：

????????? 對(duì)于函數(shù) f( x ) = { X——>Y }，其中f（x）是一個(gè)單射。Dx(t1,t2),Dy(t1,t2)表示距離函數(shù)。

?? ??且存在p>P(x){ P(x)> 0.9...9 }, 使得

? ? ???Dx(x1,x2) <Dx(x1,x3) ——>?Dy(y1,y2) <Dy(y1,y3)? (蘊(yùn)含式)

???????????????

???????? 百科：KNN方法? 歐式距離定義（2-范數(shù)）

???????? 因此，K近鄰法從直觀上描述了模式函數(shù)的自然語(yǔ)義-壓縮近鄰hash。

???????? 但近鄰法的模式函數(shù)是這樣的：

????????????????????? S(x)為取最小函數(shù)：? S(xi) = min( Dx( xi, x ) )，運(yùn)算符為“<”，實(shí)現(xiàn)方法為各種排序方法 Sort (yi){ yi ∈ Y} 。

?????????語(yǔ)義分析：一般來(lái)說(shuō)，近鄰法模型是有語(yǔ)義的，而這個(gè)語(yǔ)義蘊(yùn)含在距離判斷函數(shù)Dx( xi, x ) 里面，且另一個(gè)附加語(yǔ)義最近，表示了模式映射的一般特性，一旦你選擇了什么樣的距離，直接決定了會(huì)有什么樣的分類(lèi)結(jié)果。

??????????

貝葉斯方法：

? ? ? ? 貝葉斯方法是已知后驗(yàn)概率，收集條件概率，求取模型的先驗(yàn)分布的方法。??

??????? 模型函數(shù)為貝葉斯公式和躍階函數(shù)的復(fù)合函數(shù)。

??????? 參考文章：ML常用機(jī)器學(xué)習(xí)公式梳理??

??????? 從思維方法上講，貝葉斯方法表示了分類(lèi)方法的一般極限，卻是無(wú)語(yǔ)義的，純粹從觀測(cè)的角度分析結(jié)果。

PR的一般路徑—線性可分判別函數(shù)

?????? ? 從樣本出發(fā)直接設(shè)計(jì)分類(lèi)器，而不去確定大概率情況下不會(huì)準(zhǔn)確的條件概率和觀測(cè)后驗(yàn)概率，是分類(lèi)模型的形式轉(zhuǎn)換要求。即樣本分類(lèi)一般有一個(gè)界面，這個(gè)界限對(duì)應(yīng)了一個(gè)函數(shù)，即是分類(lèi)器的模式函數(shù)。

???????? 從分界面的思想出發(fā)，設(shè)計(jì)分類(lèi)函數(shù)，必然導(dǎo)致函數(shù)形式的具體化。直接在二維圖像/張量空間里面尋找分類(lèi)界面的函數(shù)形式，非常困難，因此模式識(shí)別發(fā)展為一般的傳統(tǒng)模式識(shí)別方法：特征提取和模式識(shí)別。特征提取把圖像從二維張量/歐氏空間，映射到N維向量空間，轉(zhuǎn)化為特征集合；而模式識(shí)別只負(fù)責(zé)對(duì)特征集合進(jìn)行分類(lèi)，即把對(duì)N維向量特征再次進(jìn)行壓縮近鄰hash，完成分類(lèi)——模式函數(shù)建立。

???????? 傳統(tǒng)IP模式識(shí)別的方法

????????定義X，和模式的種類(lèi)Y，來(lái)確定函數(shù) f( x ) = { X——>Y }，其中f（x）是一個(gè)單射。

???????? 引入特征空間概念，分解為兩個(gè)函數(shù)乘積/復(fù)合

????????定義X，和模式的種類(lèi)Y，引入特征概念F 。模式 f( x ) = { X—>Y }，分離處特征提取函數(shù)H(x)，由此分解為特征函數(shù) H(x)和 分類(lèi)器/分類(lèi)模型C(f)。

?????? 表示為f( x ) = { X—>Y }=H(x)*C(f)或者C( H(x) ) = {X—>F—>Y}。?????

????????意義：向量空間的壓縮映射有完整的數(shù)學(xué)理論支持，且可以使整個(gè)PR系統(tǒng)圍繞著模型逐步優(yōu)化，且定能達(dá)到要求，符合工程學(xué)上復(fù)雜問(wèn)題進(jìn)行復(fù)雜度分解的一般要求。

????????

???????? 文章：圖像的局部特征綜述-SIFT為例??? ——SIFT函數(shù)把圖像塊轉(zhuǎn)化為128維向量空間中的向量

????????語(yǔ)義表示：特征函數(shù) H(x)和 分類(lèi)器/分類(lèi)模型C(f) 必須都是近鄰hash函數(shù)，且一般是壓縮近鄰hash函數(shù)。其中 特征函數(shù) H(x)把二維歐氏空間中的圖片集合壓縮到一維歐式空間中的N維向量空間，而分類(lèi)模型C(f) 完成模式函數(shù) f(x) 的一般功能。

模式識(shí)別

?????? ?? 從IPPR發(fā)展至今，模式識(shí)別方法從非參數(shù)方法到參數(shù)方法，從線性分析到非線性分析。非參數(shù)方法不使用明顯的函數(shù)或者簡(jiǎn)單函數(shù)表示形式，如KNN。參數(shù)方法把模式函數(shù)使用明確的函數(shù)形式進(jìn)行表示，大多數(shù)方法為參數(shù)方法如線性回歸、Fisher線性判別、感知器模型、邏輯斯特回歸、SVM方法、PCA預(yù)處理方法、ANN方法、決策樹(shù)方法以及組合學(xué)習(xí)方法。

????????經(jīng)典SVM方法：SVM方法不直接對(duì)原始N維特征向量進(jìn)行訓(xùn)練，尋找線性分類(lèi)面，而是經(jīng)過(guò)核函數(shù)映射，把N維向量映射到高維空間，尋找分類(lèi)面，避開(kāi)了非線性計(jì)算，分類(lèi)時(shí)也使用了同樣的過(guò)程。參考文章：支持向量機(jī)的近鄰解釋。

?????????

??????? 文章：支持向量機(jī)的近鄰解釋-（3）。 SVM完成特征高維映射，再進(jìn)行判別分析。

???????經(jīng)典ANN方法：ANN方法訓(xùn)練之后可視為分層復(fù)合連乘器，經(jīng)過(guò)最后的判別層，把結(jié)果向量降低到0維，完成模式識(shí)別。

特征提取hash

?????? ?? 從IPPR發(fā)展至今，特征函數(shù) H(x)的指導(dǎo)思想依然是近鄰hash。語(yǔ)義蘊(yùn)含在距離判斷函數(shù)/度量函數(shù)Dx( xi, x ) 里面，即在直覺(jué)上相近的圖片應(yīng)該得到近鄰的特征。

????? ?? 特征提取的一些要求：縮放不變性、位移不變性、光照不變性等。也表示了相似的一般要求：一個(gè)物體在縮放、旋轉(zhuǎn)、光線變化的環(huán)境中，所提取的特征也應(yīng)該能表示此物體，即是特征也應(yīng)該近鄰。

?????? ? 基于不變性，出現(xiàn)了大量的局部特征，參考文章：圖像的局部特征綜述-SIFT為例。OpenCV幾乎包含了已知的有效特征函數(shù)，包含在opencv\build\include\opencv2\features2d\features2d.hpp里面。即把2d圖像轉(zhuǎn)化為N維向量的函數(shù)。而全局特征函數(shù)比如HOG、LBP、HAAR等包含在檢測(cè)特征里面。

????????意義：特征提取有什么意義？把2d圖像轉(zhuǎn)化為N維向量，是為了滿足模型的要求。向量空間的壓縮映射有完整的數(shù)學(xué)理論支持，且可以使整個(gè)PR系統(tǒng)圍繞著模型逐步優(yōu)化，且定能達(dá)到要求。

????????優(yōu)勢(shì)：專家得到的特征函數(shù)，從理論上給出了函數(shù)語(yǔ)義，怎么維持了不變性，在結(jié)構(gòu)上怎樣地保持近鄰特性，甚至在語(yǔ)義上給出了可靠的支持，比如LBP表示的人臉模型方法。

????? ? 壓縮局限：每一個(gè)特征的產(chǎn)生，都是經(jīng)過(guò)圖像處理方面的專家經(jīng)過(guò)理論證實(shí)且經(jīng)過(guò)大量實(shí)驗(yàn)證明其在特定約束（比如旋轉(zhuǎn)不變、位移不變性、光照不變性等的一個(gè)或多個(gè)）要求下有效的方法，是個(gè)經(jīng)驗(yàn)過(guò)程。而對(duì)于不同類(lèi)別的圖像，可能特征近鄰模式也不相同。以檢測(cè)為例，人臉識(shí)別適合HARR和LBP，而行人檢測(cè)更適合HOG，這表明了特定的圖像集合即使在特征提取層面最優(yōu)特征hash函數(shù)也會(huì)有不同，而特征模式的優(yōu)化比模型本身更耗費(fèi)精力，因?yàn)樾枰Ｐ偷姆答?#xff0c;而不是模型本身可以根據(jù)結(jié)果自行優(yōu)化。

???????? ? ?

???????? 文章：圖像的全局特征LBP。??????????圖像的全局特征HOG。可以看出，兩種不同全局特征的表示優(yōu)勢(shì)和適應(yīng)范圍。

HOG特征為例—（特征提取語(yǔ)義）

?????? ? HOG特征使用局部梯度計(jì)算子（光照、旋轉(zhuǎn)不變性），然后對(duì)每一個(gè)Cell塊對(duì)梯度直方圖進(jìn)行投影（劃分計(jì)算子），對(duì)每一個(gè)重疊塊內(nèi)的Cell進(jìn)行對(duì)比度歸一化（平移不變性），然后把所有Block內(nèi)的向量組合成一個(gè)直方圖（從二維歐式空間降低到一維歐式空間，使用塊劃分的模式）。

????????? 分別使用了歸一化圖像 N(X)，梯度計(jì)算函數(shù) G(p)，直方圖投影 P(g)，歸一化直方圖 N(p)，把二維降低到一維的函數(shù) C(h)，復(fù)合函數(shù)為N()*G()*P()*N()*C()，也可以表示為C( N( P( G( N(X) ) ) ) ) 。

?????????? 而對(duì)于整幅圖像，以場(chǎng)景識(shí)別的特征SIFT+VQ方法為例，如下圖。

????????

???????????????????? SIFT特征提取+VQ編碼，圖片來(lái)自：在線場(chǎng)景感知ScSPM和LLC總結(jié)????

??????????優(yōu)勢(shì)和缺點(diǎn)：優(yōu)勢(shì)是特征提取特定的方法給出了明確的語(yǔ)義， 缺點(diǎn)是形式上的固定限制了特征提取的可表達(dá)性，即即便如廣受好評(píng)的SIFT特征和HOG特征，特征提取壓縮函數(shù)形式上的固定決定了其壓縮損失的固定性，這種損失率不會(huì)隨著數(shù)據(jù)的增多而降低。

??????? ? SIFT特征局限：即使廣泛使用的SIFT特征，特征hash準(zhǔn)確性和泛化性能出類(lèi)拔萃，但在ImageNet?ILSVRC比賽的最好結(jié)果的錯(cuò)誤率也有26%以上，而且常年難以產(chǎn)生突破。這也驗(yàn)證了一個(gè)算法的普遍難題：沒(méi)有一個(gè)合適的算法適合所有問(wèn)題，如果在一個(gè)問(wèn)題上體現(xiàn)足夠的準(zhǔn)確，那么在一個(gè)問(wèn)題上也能體現(xiàn)足夠的錯(cuò)誤。而最通用的算法，則代表著通用的普通性能。

CNN方法—一站式PR方法（特征提取方向）

??????? 隨著超量類(lèi)別PR和高精度的需求，人工特征方法局限性凸顯出來(lái)，特征hash壓縮映射因其壓縮損失，在海量的同類(lèi)數(shù)據(jù)集上表現(xiàn)的近鄰特性變差，而在不同類(lèi)別的數(shù)據(jù)上面隔離性又出現(xiàn)問(wèn)題。

??????? 既然人工構(gòu)建的特征hash函數(shù)并不能滿足每一個(gè)場(chǎng)景的需求，每個(gè)經(jīng)驗(yàn)都有局限，且特征提取的壓縮映射必然導(dǎo)致壓縮損失，為何不略過(guò)此環(huán)節(jié)，使用數(shù)據(jù)來(lái)完成此過(guò)程。越多的數(shù)據(jù)可生成越精確的分類(lèi)結(jié)果，這就引出了圖像特征提取的自動(dòng)化方法、一站式圖像處理PR方法——CNN方法。IPPR又從分治法回到一站式方法。

?????? 從2012年AlexNet橫空出世，獲取制高點(diǎn)之后，圖像處理PR進(jìn)入了CNN方法的汪洋大海，而后以橫掃之勢(shì)統(tǒng)治了整個(gè)IPPR界。

?????? 后來(lái)隨著類(lèi)別的增加，和準(zhǔn)確度要求的提高，CNN走向了更大、更深，且在這條路上越走越遠(yuǎn)。且隨著對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)一步分析，特定的網(wǎng)絡(luò)結(jié)構(gòu)可以進(jìn)行語(yǔ)義分析，甩開(kāi)了“語(yǔ)義黑箱”的帽子。

Baging方法：傳統(tǒng)方法隨機(jī)森林應(yīng)對(duì)多類(lèi)和高精度挑戰(zhàn)

?????? ?? 在 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems? 這篇論文里，分析了各個(gè)家族的分類(lèi)器結(jié)構(gòu)、效果、以及分類(lèi)器極限。這樣介紹：we evaluate 179 classifiers arising from17families (discriminant analysis, Bayesian, neural networks,support vector machines, decision trees, rule-based classifiers,boosting, bagging, stacking, random forests and other ensembles,generalized linear models, nearest-neighbors, partial leastsquares and principal component regression, logistic andmultinomial regression, multiple adaptive regression splines andother methods), implemented in Weka, R (with and without thecaret package), C and Matlab, including all the relevantclassifiers available today. We use121 data sets。使用了121個(gè)經(jīng)典數(shù)據(jù)集，分析了17個(gè)族的179種分類(lèi)器，得出了隨機(jī)森林方法乃是綜合評(píng)價(jià)最好的集成學(xué)習(xí)方法。甚至：The classifiers mostlikely to be the bests are the random forest (RF) versions,the best of which (implemented in R and accessed via caret)achieves 94.1% of the maximum accuracy overcoming 90% in the84.3% of the data sets. However, the difference is notstatistically significant with the second best。除了隨機(jī)森林方法，第二好的方法無(wú)法評(píng)判。

?????? ? 隨機(jī)森林的優(yōu)勢(shì)一：精度優(yōu)勢(shì)。決策樹(shù)對(duì)特征的權(quán)重進(jìn)行選擇，置為不同權(quán)重（即指明了那些特征的重要性），理論上數(shù)據(jù)越多且弱分類(lèi)器相應(yīng)增加的情況下，隨機(jī)性帶來(lái)的特征提取損失會(huì)相應(yīng)降低，因?yàn)閷?duì)特征進(jìn)行賦權(quán)的方法，使組合分類(lèi)器已經(jīng)明顯包含了特征選擇的功能，可逐步降低特征hash的損失。直覺(jué)上，隨機(jī)森林在精度上必然超過(guò)其他機(jī)器學(xué)習(xí)方法，且數(shù)據(jù)越多優(yōu)勢(shì)越明顯。

????? ? ? 隨機(jī)森林的優(yōu)勢(shì)二：多類(lèi)優(yōu)勢(shì)——隨機(jī)森林進(jìn)行多分類(lèi)和模型調(diào)優(yōu)。隨機(jī)森林的多類(lèi)優(yōu)勢(shì)是由決策樹(shù)本身的結(jié)構(gòu)而定，并且弱分類(lèi)器組合的投票模型，有效的降低多類(lèi)的識(shí)別誤差。

???????? 隨機(jī)深林的極限：隨機(jī)深林使用隨機(jī)策略保證最大似然概率為無(wú)偏估計(jì)，其復(fù)雜度大于基于SV的單顆決策樹(shù)方法，甚至在一些時(shí)刻復(fù)雜度超過(guò)使用多項(xiàng)式核的SVM方法。

模型的處理極限

????? ? 根據(jù)模型的PAC可學(xué)習(xí)理論分析，每一種分類(lèi)器都有其處理極限，參考：PAC學(xué)習(xí)理論-機(jī)器學(xué)習(xí)那些事。

?????? ? PAC可學(xué)習(xí)理論的公式：下列公式是機(jī)器學(xué)習(xí)的泛化誤差和一些學(xué)習(xí)器參數(shù)的關(guān)系

??? 公式12

??? ?? ? 在機(jī)器學(xué)習(xí)中，簡(jiǎn)單的算法意味著增長(zhǎng)函數(shù)

????????????????

? ? ??? 較小，帶入公式12，意味著相對(duì)較小的泛化誤差。但是簡(jiǎn)單的算法導(dǎo)致E’(h)較大，產(chǎn)生較大的訓(xùn)練誤差，導(dǎo)致學(xué)習(xí)器變得沒(méi)有實(shí)際意義。

???? ?? ? 更廣泛的場(chǎng)景意味著樣本的分布更加復(fù)雜，因此分類(lèi)界面也更加復(fù)雜，以分界面思想構(gòu)建模式分類(lèi)器的思路表明，代表分類(lèi)界面的模型函數(shù)復(fù)雜度會(huì)隨之增加。而特定類(lèi)型的傳統(tǒng)PR方法模式函數(shù)的形式是固定的，在理論上產(chǎn)生了特定的“局限性” 的，分類(lèi)準(zhǔn)確度可以使用PAC學(xué)習(xí)理論的方法計(jì)算出來(lái)。特定函數(shù)形式的模式識(shí)別準(zhǔn)確度、泛化誤差都受到模型本身VC維的限制。

???????? 更加復(fù)雜的分類(lèi)面要求更復(fù)雜的分類(lèi)函數(shù)，PAC理論給出了近似分類(lèi)面的模式函數(shù)復(fù)雜度代價(jià)，更高的精度意味著更接近真實(shí)的分類(lèi)面，固定領(lǐng)域模式函數(shù)的復(fù)雜度和泛化能力可以通過(guò)PAC計(jì)算得出。

???????? 既然ANN沒(méi)有固定的函數(shù)形式，特定復(fù)雜的ANN可以有不受限制的VC維，理論上可以突破傳統(tǒng)模式識(shí)別方法的可學(xué)習(xí)性限制。ANN理論上成為突破高精度和多類(lèi)識(shí)別挑戰(zhàn)的唯一選擇。

????????

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的AI：PR的数学表示-传统方法PR的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。