• 為什么是12||w||212||w||2？

  ① 1/2 可以在求導(dǎo)中消除平方

  ② ||w||2||w||2的函數(shù)特性更好

3、最終要求的問題

2.4 利用拉格朗日求解有約束的優(yōu)化問題

有約束的最小化問題可以利用拉格朗日函數(shù)轉(zhuǎn)化為無約束的問題，為了求解線性可分支持向量機(jī)的最優(yōu)化問題，將它作為原始最優(yōu)化問題，應(yīng)用拉格朗日對偶性，通過求解對偶問題得到原始問題的最優(yōu)解，這就是線性可分支持向量機(jī)的對偶算法。

我們可以構(gòu)造一個(gè)函數(shù)，使其在可行域能與原來的目標(biāo)函數(shù)完全一致，在可行域以外的數(shù)值非常大，甚至無窮大，則該無約束的新目標(biāo)函數(shù)就和原來的有約束的問題一致了。獲得拉格朗日函數(shù)之后，使用求導(dǎo)方法依然求解困難，進(jìn)而需要將極小極大問題通過對偶轉(zhuǎn)化為極大極小問題。

復(fù)習(xí)拉格朗日函數(shù)：

θp(w)θp(w)是對三項(xiàng)和和求極大，也就是調(diào)整α,βα,β使得等式達(dá)到極大值，其中αi>0αi>0。之后調(diào)整w求θp(w)θp(w)的極小值。

當(dāng)所有約束都滿足，即hi(w)=0,gi(w)≤0hi(w)=0,gi(w)≤0，無論如何調(diào)整α,βα,β，后面兩個(gè)∑+∑∑+∑的最大值都是0，所以θp(w)=f(w)θp(w)=f(w)。

當(dāng)所有約束都不滿足的時(shí)候，如果hi(w)≠0hi(w)≠0，則可以調(diào)整ββ使得θp(w)θp(w)無窮大；如果gi(w)≥0gi(w)≥0，又αi>0αi>0，故可以令αiαi無窮大，θp(w)=∞θp(w)=∞，沒有極小值。

利用對偶方法來對問題進(jìn)行簡化，也就是將極小極大問題，轉(zhuǎn)化為極大極小問題。

2.5 利用拉格朗日求解最有間隔分類器

將約束條件寫成拉格朗日不等式約束的形式，獲得拉格朗日方程，也就是最終要求的方程。

如何求解目標(biāo)方程：利用對偶方法，先調(diào)整w極小化目標(biāo)方程，再調(diào)整αiαi求極大值

求解極大極小問題：

帶入LL

說明拉格朗日函數(shù)只取決于訓(xùn)練集樣本點(diǎn)的兩兩內(nèi)積，和w無關(guān)，所以可以將maxαminwL()maxαminwL()變?yōu)?span id="ozvdkddzhkzd" class="MathJax_Preview" style="color: inherit; display: none;">maxαL()maxαL()，注意約束條件。

α>0α>0：是邊界線上的向量，也就是支持向量
α=0α=0：是非邊界上的向量，非支持向量

也就是對于分類模型f(x)=wTx+b=∑αiy(i)x(i)x+bf(x)=wTx+b=∑αiy(i)x(i)x+b，每個(gè)新來的數(shù)據(jù)點(diǎn)要和所有i個(gè)已有的數(shù)據(jù)點(diǎn)做內(nèi)積，但是非支持向量點(diǎn)的α=0α=0，所以不起作用。

新來的數(shù)據(jù)點(diǎn)要和所有支持向量做內(nèi)積

2.6 SMO算法（序列最小最優(yōu)化算法）

坐標(biāo)上升法：對于要優(yōu)化的參數(shù)，先固定其他參數(shù)，優(yōu)化一個(gè)參數(shù)α1α1，優(yōu)化到最好，再優(yōu)化其他參數(shù)。

SMO算法：

支持向量機(jī)問題可以轉(zhuǎn)化為求解凸二次規(guī)劃問題，這樣的問題具有全局最優(yōu)解，并且有許多算法可以用于這個(gè)問題的求解，但是當(dāng)訓(xùn)練樣本容量很大時(shí)，這些算法往往變得非常低效，以至于無法使用。

SMO算法是將大優(yōu)化問題分解為多個(gè)小優(yōu)化問題來求解的。這些小優(yōu)化問題往往很容易求解，并且對它們進(jìn)行順序求解的結(jié)果與將它們作為整體來求解的結(jié)果完全一致的。在結(jié)果完全相同的同時(shí)，SMO算法的求解時(shí)間短很多。

因?yàn)橛屑s束條件，所以需要選兩個(gè)變量進(jìn)行優(yōu)化，因?yàn)槿绻淖円粋€(gè)αα的值，肯定需要調(diào)整另一個(gè)αα的值使得約束條件仍然滿足。

舉例：假設(shè)α1,α2α1,α2為兩個(gè)變量，α3,α4,...,αNα3,α4,...,αN固定，α1y(1)+α2y(2)+∑mi=3αiy(i)=0α1y(1)+α2y(2)+∑i=3mαiy(i)=0

即：α2=y(2)(?∑mi=3αiy(i)?α1y(1))α2=y(2)(?∑i=3mαiy(i)?α1y(1))

也就是α2α2確定，α1α1也隨之確定。

SMO算法的目標(biāo)是求出一系列alpha和b，一旦求出了這些alpha，就很容易計(jì)算出權(quán)重向量w并得到分隔超平面。

SMO算法的工作原理是：每次循環(huán)中選擇兩個(gè)alpha進(jìn)行優(yōu)化處理。一旦找到了一對合適的alpha，那么就增大其中一個(gè)同時(shí)減小另一個(gè)。這里所謂的”合適”就是指兩個(gè)alpha必須符合以下兩個(gè)條件，條件之一就是兩個(gè)alpha必須要在間隔邊界之外，而且第二個(gè)條件則是這兩個(gè)alpha還沒有進(jìn)行過區(qū)間化處理或者不在邊界上。

3、核技法

對在低維空間線性不可分的數(shù)據(jù)集，通過映射到高維空間，從而線性可分

本來做空間變換需要對空間中的所有點(diǎn)都做變換，但是這種計(jì)算太復(fù)雜，于是我們不顯示處理數(shù)據(jù)，而是從模型上直接體現(xiàn)。

用線性分類方法求解非線性問題分為兩步：

1）使用一個(gè)變換將原空間的數(shù)據(jù)映射到新空間
2）在新空間用線性分類學(xué)習(xí)方法從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)分類模型

3.1 核函數(shù)

設(shè)χχ為輸入空間，又設(shè)HH為特征空間（希爾伯特空間），如果存在一個(gè)從χχ到HH的映射：?(x)=χ→H?(x)=χ→H

使得所有的x,z∈χx,z∈χ，函數(shù)K(x,z)K(x,z)滿足條件：K(x,z)=?(x)??(z)K(x,z)=?(x)??(z)

則K(x,z)K(x,z)稱為核函數(shù)，?(x)?(x)稱為映射函數(shù)。

3.2 核技巧的應(yīng)用：

SVM核函數(shù)的選擇對于其性能的表現(xiàn)有至關(guān)重要的作用，尤其是針對那些線性不可分的數(shù)據(jù)，因此核函數(shù)的選擇在SVM算法中就顯得至關(guān)重要。對于核技巧我們知道，其目的是希望通過將輸入空間內(nèi)線性不可分的數(shù)據(jù)映射到一個(gè)高緯的特征空間內(nèi)使得數(shù)據(jù)在特征空間內(nèi)是可分的，我們定義這種映射為?(x)?(x)，那么我們就可以把求解約束最優(yōu)化問題變?yōu)?/p>

但是由于從輸入空間到特征空間的這種映射會(huì)使得維度發(fā)生爆炸式的增長，因此上述約束問題中內(nèi)積?i??j?i??j
的運(yùn)算會(huì)非常的大以至于無法承受，因此通常我們會(huì)構(gòu)造一個(gè)核函數(shù)

• 線性核函數(shù)
  

  k(x,xi)=x?xik(x,xi)=x?xi
  線性核，主要用于線性可分的情況，我們可以看到特征空間到輸入空間的維度是一樣的，其參數(shù)少速度快，對于線性可分?jǐn)?shù)據(jù)，其分類效果很理想，因此我們通常首先嘗試用線性核函數(shù)來做分類，看看效果如何，如果不行再換別的

• 多項(xiàng)式核函數(shù)
  

  k(x,xi)=((x?xi)+1)dk(x,xi)=((x?xi)+1)d

多項(xiàng)式核函數(shù)可以實(shí)現(xiàn)將低維的輸入空間映射到高緯的特征空間，但是多項(xiàng)式核函數(shù)的參數(shù)多，當(dāng)多項(xiàng)式的階數(shù)比較高的時(shí)候，核矩陣的元素值將趨于無窮大或者無窮小，計(jì)算復(fù)雜度會(huì)大到無法計(jì)算。

• 高斯（RBF）核函數(shù)

• sigmoid核函數(shù)

采用sigmoid核函數(shù)，支持向量機(jī)實(shí)現(xiàn)的就是一種多層神經(jīng)網(wǎng)絡(luò)。

因此，在選用核函數(shù)的時(shí)候，如果我們對我們的數(shù)據(jù)有一定的先驗(yàn)知識(shí)，就利用先驗(yàn)來選擇符合數(shù)據(jù)分布的核函數(shù)；如果不知道的話，通常使用交叉驗(yàn)證的方法，來試用不同的核函數(shù)，誤差最下的即為效果最好的核函數(shù)，或者也可以將多個(gè)核函數(shù)結(jié)合起來，形成混合核函數(shù)。在吳恩達(dá)的課上，也曾經(jīng)給出過一系列的選擇核函數(shù)的方法：

• 如果特征的數(shù)量大，樣本數(shù)量較少，則選用LR或者線性核的SVM；

  樣本少，但是特征數(shù)目大，表示特征空間維度很高，一般認(rèn)為是線性可分的

• 如果特征的數(shù)量小，樣本的數(shù)量正常，則選用SVM+高斯核函數(shù)；

  特征少則疼我特征空間維度較低，可以用高斯核將其映射到高維空間

• 如果特征的數(shù)量小，而樣本的數(shù)量很大，則需要手工添加一些特征從而變成第一種情況。

交叉驗(yàn)證：先拿出來小的數(shù)據(jù)集應(yīng)用不同的核來驗(yàn)證哪個(gè)核比較好，然后再應(yīng)用在大數(shù)據(jù)集上去。

4、軟間隔分類器

針對高維空間仍然線性不可分的數(shù)據(jù)，提出了軟間隔分類器，就是給目標(biāo)函數(shù)加懲罰項(xiàng)，允許某些數(shù)據(jù)點(diǎn)用于小于1的幾何間隔，但是這些點(diǎn)要受到懲罰。

ξiξi表示小于1的程度

C表示加載懲罰項(xiàng)的系數(shù)：

① C值越大，對誤差的懲罰越大，也就是越不能容忍誤差，容易出現(xiàn)過擬合。

② C越小，對誤差的懲罰越小，不再關(guān)注分類是否正確，只要求間隔越大越好，容易欠擬合。

RBF和的σσ和參數(shù)gamma的關(guān)系：

RBF的幅寬為σσ，它會(huì)影響每個(gè)支持向量對應(yīng)的高斯的作用范圍，從而影響泛化性能：

① σσ越大，gammagamma越小，作用范圍越大，高斯分布覆蓋范圍越大，對未知樣本有較好的泛化能力，但如果σσ過大，平滑效果太大，訓(xùn)練集和測試集都沒法得到好的結(jié)果。
② σσ越小，gammagamma越大，作用范圍越小，高斯分布是高高瘦瘦的，只會(huì)作用于支持向量樣本附近，對未知樣本分類效果較差，容易過擬合。

軟間隔分類器和硬間隔分類器的區(qū)別，αα的限制條件變多了，0≤αi≤C0≤αi≤C。

5、SVM的性質(zhì)

6、合頁損失函數(shù)

對于線性支持向量機(jī)來說，其模型的分離超平面為wTx+b=0wTx+b=0，決策函數(shù)f(x)=sign(wTx+b)f(x)=sign(wTx+b)，其學(xué)習(xí)策略為軟間隔最大化，學(xué)習(xí)算法為凸二次規(guī)劃。

線性支持向量機(jī)還有另一種解釋，就是最小化以下目標(biāo)函數(shù)：

第一項(xiàng)為經(jīng)驗(yàn)損失或經(jīng)驗(yàn)風(fēng)險(xiǎn)，第二項(xiàng)是系數(shù)為λλ的w的范數(shù)，是正則化項(xiàng)。

函數(shù)

也就是說，當(dāng)樣本點(diǎn)被正確分類且函數(shù)間隔大于1時(shí)，損失為0，否則損失為1?y(wTx+b)1?y(wTx+b)。

合頁損失函數(shù)圖示：橫軸是函數(shù)間隔，縱軸是損失

黑色實(shí)線為Hinge Loss：

① 當(dāng)函數(shù)間隔小于1的時(shí)候，離1越遠(yuǎn)，損失越大

② 當(dāng)函數(shù)間隔大于1的時(shí)候，損失為0

圖中還畫出0-1損失函數(shù)，可以認(rèn)為它是二類分類問題的真正的損失函數(shù)，而合頁損失函數(shù)是0-1損失函數(shù)的上界。由于0-1損失函數(shù)不是連續(xù)可導(dǎo)的，直接優(yōu)化由其構(gòu)成的目標(biāo)函數(shù)比較困難，可以認(rèn)為線性支持向童機(jī)是優(yōu)化由0-1損失函數(shù)的上界（合頁損失函數(shù)）構(gòu)成的目標(biāo)函數(shù)。這時(shí)的上界損失函數(shù)又稱為代理損失函數(shù)（surrogate loss function)。

圖中虛線顯示的是感知機(jī)的損失函數(shù)支持向量機(jī)185.png。這時(shí)，當(dāng)樣本點(diǎn)支持向量機(jī)122.png被正確分類時(shí)，損失是0,否則損失是支持向量機(jī)123.png。相比之下，合頁損失函數(shù)不僅要分類正確，而且確信度足夠高時(shí)損失才是0。也就是說，合頁損失函數(shù)對學(xué)習(xí)有更高的要求。

7、多分類問題

7.1 一對多

one-versus-rest

N類就需要N個(gè)分類器

訓(xùn)練時(shí)依次把某個(gè)類別的樣本歸為一類,其他剩余的樣本歸為另一類，這樣k個(gè)類別的樣本就構(gòu)造出了k個(gè)SVM。分類時(shí)將未知樣本分類為具有最大分類函數(shù)值的那類。

假如我有四類要?jiǎng)澐?#xff08;也就是4個(gè)Label），他們是A、B、C、D。

　　于是我在抽取訓(xùn)練集的時(shí)候，分別抽取

　　（1）A所對應(yīng)的向量作為正集，B，C，D所對應(yīng)的向量作為負(fù)集；

　　（2）B所對應(yīng)的向量作為正集，A，C，D所對應(yīng)的向量作為負(fù)集；

　　（3）C所對應(yīng)的向量作為正集，A，B，D所對應(yīng)的向量作為負(fù)集；

　　（4）D所對應(yīng)的向量作為正集，A，B，C所對應(yīng)的向量作為負(fù)集；

　　使用這四個(gè)訓(xùn)練集分別進(jìn)行訓(xùn)練，然后的得到四個(gè)訓(xùn)練結(jié)果文件。

　　在測試的時(shí)候，把對應(yīng)的測試向量分別利用這四個(gè)訓(xùn)練結(jié)果文件進(jìn)行測試。

　　最后每個(gè)測試都有一個(gè)結(jié)果f1(x),f2(x),f3(x),f4(x)。

　　于是最終的結(jié)果便是這四個(gè)值中最大的一個(gè)作為分類結(jié)果。

優(yōu)點(diǎn)：

訓(xùn)練k個(gè)分類器，個(gè)數(shù)較少，其分類速度相對較快。

缺點(diǎn)：

①每個(gè)分類器的訓(xùn)練都是將全部的樣本作為訓(xùn)練樣本，這樣在求解二次規(guī)劃問題時(shí)，訓(xùn)練速度會(huì)隨著訓(xùn)練樣本的數(shù)量的增加而急劇減慢；

②同時(shí)由于負(fù)類樣本的數(shù)據(jù)要遠(yuǎn)遠(yuǎn)大于正類樣本的數(shù)據(jù)，從而出現(xiàn)了樣本不對稱的情況，且這種情況隨著訓(xùn)練數(shù)據(jù)的增加而趨向嚴(yán)重。解決不對稱的問題可以引入不同的懲罰因子，對樣本點(diǎn)來說較少的正類采用較大的懲罰因子C；

③還有就是當(dāng)有新的類別加進(jìn)來時(shí)，需要對所有的模型進(jìn)行重新訓(xùn)練。

7.2 一對一

N類需要N(N?1)2N(N?1)2個(gè)分類器

其做法是在任意兩類樣本之間設(shè)計(jì)一個(gè)SVM，因此k個(gè)類別的樣本就需要設(shè)計(jì)k(k?1)/2k(k?1)/2個(gè)SVM。

當(dāng)對一個(gè)未知樣本進(jìn)行分類時(shí)，最后得票最多的類別即為該未知樣本的類別。

Libsvm中的多類分類就是根據(jù)這個(gè)方法實(shí)現(xiàn)的。

示例：

假設(shè)有四類A,B,C,D四類。在訓(xùn)練的時(shí)候我選擇A,B; A,C; A,D; B,C; B,D;C,D所對應(yīng)的向量作為訓(xùn)練集，然后得到六個(gè)訓(xùn)練結(jié)果，在測試的時(shí)候，把對應(yīng)的向量分別對六個(gè)結(jié)果進(jìn)行測試，然后采取投票形式，最后得到一組結(jié)果。

　　投票是這樣的：
　　A=B=C=D=0;
　　(A,B)-classifier 如果是A win,則A=A+1;otherwise,B=B+1;
　　(A,C)-classifier 如果是A win,則A=A+1;otherwise, C=C+1;
　　…
　　(C,D)-classifier 如果是A win,則C=C+1;otherwise,D=D+1;
　　The decision is the Max(A,B,C,D)

評價(jià)：這種方法雖然好,但是當(dāng)類別很多的時(shí)候,model的個(gè)數(shù)是n*(n-1)/2,代價(jià)還是相當(dāng)大的。

優(yōu)點(diǎn)：不需要重新訓(xùn)練所有的SVM，只需要重新訓(xùn)練和增加語音樣本相關(guān)的分類器。在訓(xùn)練單個(gè)模型時(shí)，相對速度較快。

缺點(diǎn)：所需構(gòu)造和測試的二值分類器的數(shù)量關(guān)于k成二次函數(shù)增長，總訓(xùn)練時(shí)間和測試時(shí)間相對較慢。

總結(jié)

以上是生活随笔為你收集整理的二、SVM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。