二次規(guī)劃

其中這些問題在我考研的時(shí)候也想清楚了，只是讀研以來一開始做的是進(jìn)化算法，后來又做的深度學(xué)習(xí)，都是理論性不太強(qiáng)的方向。這些東西有點(diǎn)忘了，現(xiàn)在看到書突然一下記起來了，便做個(gè)筆記吧。

• 注：如何理解線性變換？向量經(jīng)過可逆線性變換以后，向量還是那個(gè)向量，只不過換了一組基向量（或者說換了一個(gè)坐標(biāo)系統(tǒng)）相當(dāng)于換了一種表達(dá)方式。但是向量假如經(jīng)過線性變換不是可逆的，那么這個(gè)變換過后就產(chǎn)生了信息丟失，比如一個(gè)向量$(1,1)$經(jīng)過一個(gè)不滿秩的線性變換以后就變回不來了，向量就不是那個(gè)向量了。
  
• 定義：一類典型的優(yōu)化問題，目標(biāo)函數(shù)是變量的二次函數(shù)，而約束條件使變量的線性不等式
  $$\begin{gathered} \min \frac{1}{2}{x}^{T}Qx+c^{T}x \\ s.t.Ax\le b \end{gathered}$$
  其中$x$為d維向量，$Q\in {\mathbb{R}}^{d\times d}$為實(shí)對(duì)稱矩陣
• 我們知道$Q$的特征向量實(shí)質(zhì)上是一組基向量，那么$x$可以轉(zhuǎn)換為這組特征向量的線性組合。假如Q是正定的，那么
  $$x^{T}Qx=x^{\prime T}{Q}^{\prime }{x}^{\prime }$$
  其中$Q^{\prime }$為一個(gè)對(duì)角陣，元素為$Q$的特征值，$x^{\prime }$為通過線性變換后得到的向量。其中
  $$Q=M^T{Q}^{\prime }M,x^{\prime }=Mx$$
  可以看成是一個(gè)特征分解的過程。

假如$Q$是正定的（即Q的特征值都是大于0的），則二次規(guī)劃具有全局唯一解$x^{\prime }=0$，根據(jù)$x^{\prime }$求出$x$即可。試想一下，$Q^{\prime }$是一個(gè)對(duì)角陣且對(duì)角元素全大于0，則$x^{\prime T}{Q}^{\prime }{x}^{\prime }$展開必然是這樣一種形式（懶得敲公式了我擦…直接寫出來拍照吧）

假如$Q$是半正定的（即Q的特征值都是大于或等于0的），且約束條件的可行域$Ax\le b$不為空，并且目標(biāo)函數(shù)在此可行域具有下界，則二次規(guī)劃具有局部最優(yōu)。假如不存在約束條件，則最優(yōu)解有無數(shù)個(gè)，只要令特征值為0對(duì)應(yīng)的$x^{\prime }$的元素為0即可（其他元素隨你喜歡，天馬行空都可以哈哈），這個(gè)也很好解釋，也就是我懶得寫的公式上邊有些$q_i^{\prime }=0$，其余的$q_i^{\prime }>0$，只需要$q_i^{\prime }>0$對(duì)應(yīng)的$x_i^{\prime }=0$即可，$q_i^{\prime }=0$對(duì)應(yīng)的$x_i^{\prime }$=天馬行空。

假如$Q$是非正定矩陣，則…天馬行空，有很多局部最優(yōu)解，是一個(gè)np難問題

• 注意：在最優(yōu)化問題中，只有hessian矩陣不定時(shí)才會(huì)出現(xiàn)鞍點(diǎn)（半正定也不會(huì)）！

總結(jié)

以上是生活随笔為你收集整理的二次规划的全局最优的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。