二次規(guī)劃問(wèn)題
是一種典型的優(yōu)化問(wèn)題，包括凸二次規(guī)劃和非凸二次規(guī)劃，在此類(lèi)問(wèn)題中，目標(biāo)函數(shù)是變量的二次函數(shù)，約束條件是變量的線(xiàn)性不等式。

假定變量的個(gè)數(shù)為d，約束條件的個(gè)數(shù)為m，則標(biāo)準(zhǔn)的二次規(guī)劃問(wèn)題形如：

minxs.t.12xTQx+cTxAx?b
其中 x為d維向量， Q∈Rd×d為實(shí)對(duì)稱(chēng)矩陣， A∈Rm×d為實(shí)矩陣， b∈Rm和 c∈Rd為實(shí)向量， Ax?b的每一行對(duì)應(yīng)一個(gè)約束。

• 若Q為半正定矩陣，則上面的目標(biāo)函數(shù)是凸函數(shù)，相應(yīng)的二次規(guī)劃為凸二次規(guī)劃問(wèn)題；此時(shí)若約束條件定義的可行域不為空，且目標(biāo)函數(shù)在此可行域有下界，則該問(wèn)題有全局最小值。
• 若Q為正定矩陣，則該問(wèn)題有唯一的全局最小值。
• 若Q為非正定矩陣，則目標(biāo)函數(shù)是有多個(gè)平穩(wěn)點(diǎn)和局部極小點(diǎn)的NP難問(wèn)題。

常用的二次規(guī)劃問(wèn)題求解方法有：

• 橢球法
• 內(nèi)點(diǎn)法
• 增廣拉格朗日法
• 梯度投影法
  等。若Q為正定矩陣，則相應(yīng)的二次規(guī)劃問(wèn)題可由橢球法在多項(xiàng)式時(shí)間內(nèi)求解。

凸函數(shù)：

對(duì)區(qū)間[a,b]上定義的函數(shù)f，若它對(duì)區(qū)間中任意兩點(diǎn)x1,x2均有：

f(x1+x22)?f(x1)+f(x2)2 則稱(chēng) f為區(qū)間[a,b]上的凸函數(shù)。

U形曲線(xiàn)的函數(shù)如f(x)=x2，通常是凸函數(shù)。

對(duì)實(shí)數(shù)集上的函數(shù)，可通過(guò)求解二階導(dǎo)數(shù)來(lái)判別：

• 若二階導(dǎo)數(shù)在區(qū)間上非負(fù)，則稱(chēng)為凸函數(shù)
• 若二階導(dǎo)數(shù)在區(qū)間上恒大于0，則稱(chēng)嚴(yán)格凸函數(shù)

矩陣的正定及半正定：
正定矩陣是一種實(shí)對(duì)稱(chēng)矩陣。正定二次型f(x1，x2，…，xn)=XTAX的矩陣A(或A的轉(zhuǎn)置)稱(chēng)為正定矩陣。

廣義定義：設(shè)M是n階方陣，如果對(duì)任何非零向量z，都有zTMz>0，其中zT 表示z的轉(zhuǎn)置，就稱(chēng)M正定矩陣。

狹義定義：一個(gè)n階的實(shí)對(duì)稱(chēng)矩陣M是正定的的條件是當(dāng)且僅當(dāng)對(duì)于所有的非零實(shí)系數(shù)向量z，都有zTMz>0。其中zT表示z的轉(zhuǎn)置。

當(dāng)考慮矩陣的特征值時(shí)：

• 若所有特征值均不小于零，則稱(chēng)為半正定。
• 若所有特征值均大于零，則稱(chēng)為正定。

任意給一個(gè)對(duì)稱(chēng)陣，做他的特征分解：M=QTΛQ，那么,xTMx=(Qx)TΛQx。這里，由于Q是一個(gè)正交陣，則Qx為x的一個(gè)線(xiàn)性變換。考慮到定義中x具有任意性，顯然Qx也具有任意性。令y=Qx，即原定義等價(jià)于分析是否存在任意的y，使得yTΛy≥0恒成立。也就是說(shuō)：分析對(duì)稱(chēng)陣的正定性，等價(jià)于分析其特征值對(duì)角陣的正定性。
為了敘述方便，記Λ=diag(λ1,…,λi,…,λn)。容易知道，特征值對(duì)角陣Λ是正定陣必須要求所有特征值為正，半正定則要求所有特征值非負(fù)。關(guān)鍵在于正定性定義中x具有任意性。

從幾何的角度看的話(huà)：
首先半正定矩陣定義為: XTMX≥0其中X 是向量，M 是變換矩陣
矩陣變換中，MX代表對(duì)向量 X進(jìn)行變換，我們假設(shè)變換后的向量為Y，記做Y=MX。于是半正定矩陣可以寫(xiě)成：XTY≥0
又因?yàn)?#xff1a;cos(θ)=XTY||X||?||Y||
所以：cos(θ)≥0
正定、半正定矩陣的直覺(jué)代表一個(gè)向量經(jīng)過(guò)它的變化后的向量與其本身的夾角小于等于90度。

參考：

https://www.zhihu.com/question/22098422?sort=created

《機(jī)器學(xué)習(xí)》–周志華

總結(jié)

以上是生活随笔為你收集整理的二次规划的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。