關(guān)于鞍點(diǎn)的定義可以參考論文

《鞍點(diǎn)定理在Lagrange乘數(shù)法上的應(yīng)用》

下面這篇文章的重點(diǎn)是是提到了鞍點(diǎn)

?在學(xué)習(xí)之前，先說(shuō)一些題外話，由于博主學(xué)習(xí)模式識(shí)別沒(méi)多久，所以可能對(duì)許多問(wèn)題還沒(méi)有深入的認(rèn)識(shí)和正確的理解，如有不妥，還望海涵，另請(qǐng)各路前輩不吝賜教。

? ? ? ?好啦，我們開(kāi)始學(xué)習(xí)吧。。

? ? ? ?同樣假設(shè)有樣本集：

由于線性不可分，所以?不會(huì)對(duì)每一個(gè)樣本都滿足，就是說(shuō)肯定會(huì)有一些小于1的樣本，對(duì)于這些樣本我們?cè)趺崔k呢，想象一下，如果我們?cè)诓坏仁絻蛇呁瑫r(shí)加上一個(gè)正數(shù)，是不是總會(huì)讓它不小于1，基于這樣一個(gè)想法，我們對(duì)每一個(gè)樣本引入一個(gè)非負(fù)的松弛因子將上述不等式變?yōu)?#xff1a;

? ? ? ? ?(1)

? ? ? ?當(dāng)樣本出現(xiàn)錯(cuò)分時(shí)，則該樣本對(duì)應(yīng)的，為了保證式（1）非負(fù)，那么必然>0，而對(duì)于那些被正確分類的樣本來(lái)說(shuō)，=0；為了保證分類的準(zhǔn)確性和可靠性，就是在樣本不可分的情況下，我們要盡可能少的出現(xiàn)錯(cuò)分，因此可以通過(guò)對(duì)錯(cuò)分樣本對(duì)應(yīng)的松弛因子求和來(lái)增加對(duì)錯(cuò)誤的懲罰，這個(gè)求和用來(lái)來(lái)表示在整個(gè)訓(xùn)練樣本集上的樣本錯(cuò)分程度，當(dāng)這個(gè)求和越小，表明錯(cuò)分程度越小；回憶下之前的線性可分下的SVM它的目標(biāo)函數(shù)，在它的基礎(chǔ)上我們通過(guò)增加一個(gè)懲罰項(xiàng)來(lái)定義不可分下的目標(biāo)函數(shù)：? ? ? ? (2)

? ? ? ?在上述目標(biāo)函數(shù)中，我們的目的有兩個(gè)：（1）使分類間隔盡可能大；（2）使錯(cuò)分程度盡可能小；gamma表示在上述兩個(gè)目的之間的平衡參數(shù)，這個(gè)參數(shù)比較重要，值的選擇很關(guān)鍵，值太大時(shí)，說(shuō)明我們對(duì)樣本錯(cuò)分的容忍小，值太小，說(shuō)明對(duì)錯(cuò)分容忍稍大，而比較重視大間隔分類。

? ? ? ?基于上面兩個(gè)期望，同樣使用拉格朗日乘法來(lái)求解：

? ? ? ? ? ? ? ? ? ? ? ? （3）

? ? ? ?較可分情況而言，這是一個(gè)廣義的最優(yōu)分類面問(wèn)題，具體求解方法同可分情況類似，這里不再贅述，詳細(xì)過(guò)程請(qǐng)見(jiàn)http://blog.csdn.net/eternity1118_/article/details/51474693。

對(duì)上式泛函求導(dǎo)（注意上面的連接沒(méi)有寫(xiě)清楚Q(a) 是怎么來(lái)的，所以這里可以跳過(guò)，看別的資料即可），得到下面的解：

? ? ?（4）

? ? ? ? ? ? （5）

注意，這里的跟線性可分下的不同，這里不再只是單單的大于0就行，而是? ? ? ? ?(6)

另外得到w的解：

? ? ? ? （7）

于是廣義問(wèn)題的判別函數(shù)為：

? ? ? ?（8）

到這里，你會(huì)發(fā)現(xiàn)上面幾個(gè)式子和線性可分下的完全一模一樣，唯一的不同是多了一個(gè)上界C。

? ? ? ?下面，來(lái)看一看這種情況下的支持向量都有哪些樣本組成。

根據(jù)庫(kù)恩-塔克條件（KKT條件），泛函的鞍點(diǎn)出滿足以下式子：

? ? ? ?(9) ?以及 ? ??? ? ? ? (10)

對(duì)右邊式子來(lái)說(shuō)，=C時(shí)，才有>0，此時(shí)這些對(duì)應(yīng)的樣本正是被錯(cuò)分的樣本，而本身非負(fù)，所以其余的樣本對(duì)應(yīng)=0；

對(duì)左邊式子來(lái)說(shuō)，與之前分析的一樣，{}中的那一項(xiàng)等于0時(shí)，才有可能使得>0，此時(shí)這些樣本又分為兩類，一類是正確分類但是位于分類邊界面上的樣本，它們滿足，=0；一類是被錯(cuò)分的樣本，它們滿足=C，>0。上述兩類樣本組成了不可分下的支持向量，一類叫做邊界支持向量，一類叫做錯(cuò)分支持向量。同樣b的獲得，可以通過(guò)對(duì)的樣本代入公式（9）得到，也可以進(jìn)一步取平均。

? ? ? 至此，可以發(fā)現(xiàn)，線性不可分的情況包含了可分的情況的，所以我們通常所說(shuō)的SVM其實(shí)就是廣義的最優(yōu)分類面形式，即無(wú)需考慮樣本可分不可分。

?

?

總結(jié)

以上是生活随笔為你收集整理的深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件（转）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。