目錄

一、非線性模型的最優(yōu)化問(wèn)題

1、非線性模型最優(yōu)化模型

2、兩個(gè)概念

1）正則項(xiàng)（regularization term）

2）調(diào)參參數(shù)

2、高維映射

1）定義及作用

2）高維映射后的最優(yōu)化模型

3）異或問(wèn)題（例子）

4）如何定義映射？（尋找確定映射關(guān)系——核函數(shù)的確定）

核函數(shù)與高維映射的關(guān)系：

常用核函數(shù)：

核函數(shù)K可以拆寫成高維映射的內(nèi)積的條件：

二、總結(jié)

如何通過(guò)核函數(shù)來(lái)代替優(yōu)化問(wèn)題中限制條件中的高維映射進(jìn)而對(duì)最優(yōu)化問(wèn)題進(jìn)行求解呢？

---

課程鏈接：《浙江大學(xué)-研究生機(jī)器學(xué)習(xí)課程》

一、非線性模型的最優(yōu)化問(wèn)題

至于什么是非線性方程在《機(jī)器學(xué)習(xí)理論——支持向量機(jī)SVM之線性模型》中已經(jīng)講過(guò)，不再贅述

1、非線性模型最優(yōu)化模型

在線性模型的基礎(chǔ)上，添加一個(gè)正則項(xiàng)和改變限制條件就得到了非線性模型

已知量：訓(xùn)練數(shù)據(jù)——xi，標(biāo)簽——yi，系數(shù)——C；

未知量：權(quán)重系數(shù)——w，偏置——b，松弛變量——（slack variable）

2、兩個(gè)概念

1）正則項(xiàng)（regularization term）

正則項(xiàng)使得目標(biāo)函數(shù)規(guī)劃化，讓沒(méi)有解的問(wèn)題變得有解（如線性模型在非線性情況下就沒(méi)有解，這時(shí)候加上合適的正則項(xiàng)后有解可取），或者求得的解不是我們所需要的解的時(shí)候則我們需要進(jìn)行正則項(xiàng)的添加

2）調(diào)參參數(shù)

C是事先設(shè)定好的值，作用是用來(lái)對(duì)目標(biāo)函數(shù)w和松弛變量間進(jìn)行權(quán)衡的作用，是一個(gè)權(quán)重。那具體取什么值呢？一般取值沒(méi)有固定的取值，C的大小決定了模型分類時(shí)容錯(cuò)率的大小，C越大，說(shuō)明容錯(cuò)率越小，越小則表明容錯(cuò)率越大，容錯(cuò)率就是沒(méi)有正確被歸類的占比

2、高維映射

1）定義及作用

在非線性模型中尋找一條直線進(jìn)行二元分類似乎已經(jīng)不太適用（如上圖找不到直線進(jìn)行二元分類），但是通過(guò)映射，將低維的量映射到高維，即通過(guò)高維映射后，在高維空間中，更有可能線性可分進(jìn)行二元分類。維度越高，線性可分的概率越大

2）高維映射后的最優(yōu)化模型

3）異或問(wèn)題（例子）

異或問(wèn)題是最簡(jiǎn)單的非線性模型，在低維下沒(méi)法找到一條直線將二元分類

其中一個(gè)解：

驗(yàn)證結(jié)果正確性（判斷是否線性可分）

注：

維度越高，線性可分的概率越大

維數(shù)為無(wú)限時(shí)，線性可分的概率為1

?

4）如何定義映射？（尋找確定映射關(guān)系——核函數(shù)的確定）

主要思路：我們不需要知道映射的確切關(guān)系，只需要知道由低維樣本組成的核函數(shù)的形式即可，因?yàn)楹撕瘮?shù)可以拆分為高維映射的內(nèi)積

核函數(shù)與高維映射的關(guān)系：

常用核函數(shù)：

核函數(shù)K可以拆寫成高維映射的內(nèi)積的條件：

二、總結(jié)

這節(jié)主要給出了非線性模型最優(yōu)化問(wèn)題，以及非線性最優(yōu)化問(wèn)題求解的思路——高維映射，利用核函數(shù)替代最優(yōu)化問(wèn)題中的高維映射進(jìn)行求解

如何通過(guò)核函數(shù)來(lái)代替優(yōu)化問(wèn)題中限制條件中的高維映射進(jìn)而對(duì)最優(yōu)化問(wèn)題進(jìn)行求解呢？

請(qǐng)看：《機(jī)器學(xué)習(xí)理論——支持向量機(jī)SVM之非線性模型（原問(wèn)題和對(duì)偶問(wèn)題）》

總結(jié)

以上是生活随笔為你收集整理的机器学习——支持向量机SVM之非线性模型（低维到高维映射）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。