04 凸優(yōu)化問題

目錄
4.1 優(yōu)化問題
4.2 凸優(yōu)化問題
應(yīng)用
4.3 線性規(guī)劃問題
4.4 二次優(yōu)化問題
4.5 幾何規(guī)劃

4.6 廣義不等式約束
4.7 向量?jī)?yōu)化

4.1 優(yōu)化問題

（一）優(yōu)化問題的定義

4.1.1 基本術(shù)語

Def 1 優(yōu)化問題的定義[優(yōu)化變量、目標(biāo)函數(shù)、不等式約束、等式約束、無約束問題]
注：

定義域、可行域（可行\(zhòng)不可行）的定義；

最優(yōu)值的定義、$p?=+\infty$問題不可行、$p?=?\infty$問題無下界；

最優(yōu)點(diǎn)、局部最優(yōu)點(diǎn)、ε最優(yōu)的定義
（1）最優(yōu)點(diǎn)、最優(yōu)集（最優(yōu)值可達(dá)/不可達(dá)）
（2）ε-次優(yōu)、ε-次優(yōu)集
（3）局部最優(yōu)

Def 2 冗余約束、積極約束[約束起/不起作用]
Def 3 可行性問題[判定可行解的存在性、約束的一致性]

4.1.2 優(yōu)化問題的標(biāo)準(zhǔn)表示

Def 4 優(yōu)化問題標(biāo)準(zhǔn)形式的定義：不等式和等式約束右端值為零
示例：框約束問題
Def 5 極大化問題的定義及其標(biāo)準(zhǔn)化

（二）優(yōu)化問題的等價(jià)問題（4.1.3）

Def 6 等價(jià)問題的定義：可以從一個(gè)問題的解得到另一個(gè)問題的解
簡(jiǎn)單示例：伸縮變換

產(chǎn)生等價(jià)問題的變換

（1）變量變換

定理1*：設(shè)$\Phi ：R_n\to R_n$是一一映射，其像包含問題的定義域D，即$D?\Phi (dom\Phi )$，定義函數(shù)${\overline{f}}_i$和${\overline{h}}_i$為${\overline{h}}_i=h_i(\Phi (z)),i=0,...,m，$${\overline{f}}_i=f_i(\Phi (z)),i=0,...,p$。標(biāo)準(zhǔn)形式問題和該問題通過變量變換x=Φ(z)聯(lián)系，兩個(gè)問題等價(jià)。

（2）函數(shù)的變換（目標(biāo)函數(shù)和約束函數(shù)）

定理2：設(shè)${\psi }_0:R\to R$單增；${\psi }_1,...,{\psi }_m:R\to R$滿足：當(dāng)且僅當(dāng)$u\le 0$時(shí)，${\psi }_i(u)\le 0$；${\psi }_{m+1},...,{\psi }_{m+p}:R\to R$滿足：當(dāng)且僅當(dāng)$u=0$時(shí)，${\psi }_i(u)=0$，定義函數(shù)${\overline{f}}_i$和${\overline{\psi }}_i$為${\overline{f}}_i={\psi }_i(f_i(z)),i=0,...,m，$${\overline{h}}_i={\psi }_{m+i}(h_i(z)),i=0,...,p$。標(biāo)準(zhǔn)形式問題和該問題等價(jià)。

示例：最小范數(shù)和最小范數(shù)平方是等價(jià)的

（3）松弛變量

定理3：將不等式約束轉(zhuǎn)化為等式約束：$f_i\le 0$等價(jià)于存在一個(gè)$s_i\ge 0$滿足$f_i(x)+s_i=0$。即將每個(gè)不等式約束轉(zhuǎn)換為一個(gè)等式和一個(gè)非負(fù)約束，標(biāo)準(zhǔn)形式問題和該問題等價(jià)。

（4）消除等式約束

定理4：用參數(shù)$z\in R^k$顯式地參數(shù)化等式約束$h_i(x)=0,i=1,...,p$的解，那么可以從原問題中消除等式約束。x滿足該式等價(jià)于存在$z\in R^k$使得$x=\Phi (z)$.

特例：消除線性等式約束

定理5：如果等式約束是線性的，即Ax=b，如果$b\in /R(A)$，則原問題無解；否則，令R(F)=N(A)，則其通解可以表示為$Fz+x_0$。

（5）引入等式約束

定理6（原問題復(fù)合函數(shù)的分解）：將原問題中目標(biāo)函數(shù)$f_0(A_{0}x+b_0)$的$A_{0}x+b_0$用$y_0$表示，不等式約束$f_i(A_{i}x+b_i)\le 0$的$A_{i}x+b_i$用$y_i$表示，并將該等式作為新的約束。

（6）優(yōu)化部分變量

定理7（先優(yōu)化一部分變量后優(yōu)化另一部分變量）：由于$in{f}_{x,y}f(x,y)=in{f}_{x}in{f}_{y}f(x,y)$，可以通過先優(yōu)化一部分變量再優(yōu)化另一部分變量來達(dá)到優(yōu)化一個(gè)函數(shù)的目的。

（7）上境圖問題形式

定理8：將原優(yōu)化問題改為min t, subject to $f_0(x)?t\le 0$。

（8）隱式與顯式約束

定理9：標(biāo)準(zhǔn)形式問題可以表示為無約束問題，定義域由可行集限定，該目標(biāo)函數(shù)由于定義域可能不為開集而不可微；對(duì)于隱式約束的問題，可以將其顯式化。

注：這兩個(gè)問題不相同

（三）參數(shù)與諭示問題描述（4.1.4）

參數(shù)問題描述[函數(shù)參數(shù)給定，可確定問題]

諭示模型[不知顯式的f，需要詢問諭示；可知部分先驗(yàn)信息]

4.2 凸優(yōu)化問題

（一）凸優(yōu)化問題的定義（4.2.1）

Def 7 標(biāo)準(zhǔn)形式的凸優(yōu)化問題（凸優(yōu)化問題）的定義

定理10（可行集的性質(zhì)）： 凸優(yōu)化問題的可行集是凸的。

Def 8 擬凸優(yōu)化問題的定義：目標(biāo)函數(shù)擬凸而非凸

定理11（最優(yōu)集的性質(zhì)）：由于凸\擬凸問題的目標(biāo)函數(shù)下水平集是凸集，又根據(jù)定理10，其ε-次優(yōu)集是凸的，且最優(yōu)集是凸的。如果目標(biāo)函數(shù)嚴(yán)格凸，那么最優(yōu)解包含至多一個(gè)點(diǎn)。

注：凹/擬凹最大化問題的定義

凸優(yōu)化問題的抽象形式

Def 9 抽象的凸優(yōu)化問題：凸集上極小化凸函數(shù)的問題

定理12：抽象的凸優(yōu)化問題可等價(jià)變形為標(biāo)準(zhǔn)凸優(yōu)化問題（凸優(yōu)化問題）

注：抽象的凸優(yōu)化問題不是凸優(yōu)化問題

（二）凸優(yōu)化問題的最優(yōu)解

4.2.2 局部最優(yōu)解與全局最優(yōu)解

定理13：凸優(yōu)化問題的任意局部最優(yōu)解是全局最優(yōu)解

4.2.3 可微函數(shù)$f_0$的最優(yōu)性準(zhǔn)則

定理14（最優(yōu)性條件）：凸優(yōu)化問題的目標(biāo)函數(shù)$f_0$是可微的，X表示可行集。x是最優(yōu)解當(dāng)且僅當(dāng)$x\in X$且$?f_0(x{)}^T(y?x)\ge 0$，對(duì)于任意$y\in X$。

最優(yōu)性條件示例

（1）無約束問題

定理15：對(duì)于無約束的凸優(yōu)化問題，最優(yōu)化條件可以簡(jiǎn)化為$?f_0(x)=0$。

示例：
1.無約束二次規(guī)劃；
2.解析中心；

（2）只含等式約束的問題

定理16：對(duì)于只含等式約束不含不等式約束的問題，最優(yōu)性條件可以表示為：
$?f_0(x)\in R(A^T)，且Ax=b$。

（3）非負(fù)象限中的極小化

定理17：對(duì)于非負(fù)象限中的極小化問題，最優(yōu)性條件可以表示為：
$x\ge 0,?f_0(x)\ge 0,x_i(?f_0(x){)}_i=0$。

（三）等價(jià)的凸問題（4.2.4）

（1）消除等式約束

定理18：凸問題的等式約束是線性的，即消除線性等式約束，和優(yōu)化問題的消除等式約束相同。

（2）引入等式約束

定理19：凸優(yōu)化問題引入的等式約束必須是線性的，得到的優(yōu)化問題的凸優(yōu)化問題。

（3）松弛變量

定理20：如果原不等式約束是線性的，那么引入松弛變量，得到的優(yōu)化問題是凸優(yōu)化問題。

（4）上境圖問題形式

定理21：上境圖問題的形式中目標(biāo)函數(shù)是線性的，新的約束函數(shù)是(x,t)上的凸函數(shù)，所以該問題是凸問題。

（5）極小化部分變量

定理22：如果原問題的目標(biāo)函數(shù)是$x_1,x_2$上的聯(lián)合凸函數(shù)，并且$f_i,i=1,...,m_1,{\overline{f}}_i,i=1,...,m_2$，那么極小化部分變量的問題是凸問題。

（四）擬凸優(yōu)化問題（4.2.5）

1. 擬凸優(yōu)化問題的最優(yōu)解

（1）局部最優(yōu)解與全局最優(yōu)解

定理23：擬凸優(yōu)化問題的局部最優(yōu)解不一定就是全局最優(yōu)解[反例]。

（2）最優(yōu)性條件

定理24（充分條件）：令X表示擬凸優(yōu)化問題的可行集，如果$x\in X$，$?f_0(x{)}^T(y?x)>0$，對(duì)于任意$y\in$X/{x}。

2. 通過凸可行性問題求解擬凸優(yōu)化問題

定理25：可以通過求解凸可行問題判斷擬凸優(yōu)化問題的可行性，即得出最優(yōu)值p*大于或者小于給定值t。

求解方法：二分法

4.3 線性規(guī)劃問題

Def 10 線性規(guī)劃問題（LP）的定義及幾何含義

線性規(guī)劃的標(biāo)準(zhǔn)形式與不等式形式

Def 11 標(biāo)準(zhǔn)形式：不等式約束是分量的非負(fù)約束；
Def 12 不等式形式：線性規(guī)劃問題沒有等式約束；

將線性規(guī)劃轉(zhuǎn)換為標(biāo)準(zhǔn)形式

step 1. 引入松弛變量；
step 2. 將變量表示為兩個(gè)非負(fù)變量$x^{+},x^{?}$的差；

4.3.1 示例

（1）食譜問題

（2）多面體的Chebyshev中心

Def 13 多面體內(nèi)部最大球中心

（3）動(dòng)態(tài)活動(dòng)計(jì)劃

（4）Chebyshev不等式

滿足先驗(yàn)知識(shí)的分布下$E{f}_0(X)$的最小可能值

（5）分片線性極小化

4.3.2 線性分式規(guī)劃

Def 14 線性分式規(guī)劃的定義
ps. 線性分式規(guī)劃問題是擬凸優(yōu)化問題

1. 轉(zhuǎn)換為線性規(guī)劃

定理26：線性分式規(guī)劃可以轉(zhuǎn)換為線性規(guī)劃問題

2. 廣義的線性分式規(guī)劃

Def 15 廣義線性分式規(guī)劃的定義：目標(biāo)函數(shù)是r個(gè)線性分式函數(shù)的最大值
示例：Von Neumann增長(zhǎng)問題

4.4 二次優(yōu)化問題

4.4.1 二次規(guī)劃（QP）

Def 16 二次規(guī)劃（QP）的定義
Def 17 二次約束二次規(guī)劃（QCQP）的定義

示例

（1）最小二乘及回歸

Def 18 回歸分析（最小二乘逼近）
Def 19 約束回歸（約束最小二乘）

（2）多面體間距離

（3）方差定界（4.3.1示例(4)）

給定先驗(yàn)知識(shí)的約束下，最大化方差

（4）關(guān)于隨機(jī)費(fèi)用的線性規(guī)劃

Def 20 隨機(jī)費(fèi)用函數(shù)
Def 21 極小化風(fēng)險(xiǎn)敏感費(fèi)用

（5）Markowitz投資組合優(yōu)化

Def 22 投資組合優(yōu)化問題的定義：達(dá)到最小可接收平均回報(bào)率的約束下尋找極小化回報(bào)方差
擴(kuò)展：（1）允許空頭；（2）考慮線性交易成本；

4.4.2 二階錐規(guī)劃（SOCP）

Def 23 二階錐規(guī)劃的定義
示例
（1）魯棒線性規(guī)劃
（2）隨機(jī)約束下的線性規(guī)劃
（3）極小表面

4.5 幾何規(guī)劃（GP）

$可以將不是凸優(yōu)化的問題（幾何規(guī)劃）轉(zhuǎn)換為凸優(yōu)化問題$
Def 24 單項(xiàng)式、多項(xiàng)式的定義

4.5.2 幾何規(guī)劃的定義

Def 25 幾何規(guī)劃的定義
Def 26 幾何規(guī)劃的擴(kuò)展：可以轉(zhuǎn)換為GP的問題

4.5.3 凸形式的幾何規(guī)劃（轉(zhuǎn)換為凸問題）

定理26：可以將幾何規(guī)劃問題轉(zhuǎn)換為凸問題

Def 27 凸形式的幾何規(guī)劃定義（對(duì)比于 正項(xiàng)式形式的幾何規(guī)劃）

示例

（1）Frobenius范數(shù)的對(duì)角化伸縮
ps. 矩陣A的Frobenius范數(shù)定義為矩陣A各項(xiàng)元素的絕對(duì)值平方的總和
（2） 懸梁臂的設(shè)計(jì)
（3）通過Perron-Frobenius定理極小化譜半徑

定理27（Perron-Frobenius定理）*：非負(fù)矩陣A具有等于其譜半徑（特征值最大幅值）的正實(shí)數(shù)特征值${\lambda }_{pf}$。

定理28：Perron-Frobenius特征值${\lambda }_{pf}$決定了當(dāng)$k\to \infty$時(shí)，$A^k$增長(zhǎng)或消退的漸進(jìn)速率。

定理29（非負(fù)矩陣?yán)碚摰幕窘Y(jié)果）：Perron-Frobenius特征值${\lambda }_{pf}$由 ${\lambda }_{pf}$=inf{$\lambda |Av\le \lambda v$對(duì)某些$v\ge 0$}給出。

優(yōu)化問題：選擇x以極小化A(x)的Perron-Frobenius特征值，其中A的元素為某些基本變量x的正項(xiàng)式函數(shù)。根據(jù)定理27和29可以將該問題轉(zhuǎn)換為GP。

示例：細(xì)菌數(shù)量動(dòng)態(tài)特性的簡(jiǎn)單模型
思路：最大化細(xì)菌數(shù)量衰減速率$\to$由定理28，目標(biāo)函數(shù)為Perron-Frobenius特征值

4.6 廣義不等式約束

（一）廣義不等式約束

Def 28 廣義不等式意義下的凸優(yōu)化問題：將不等式約束函數(shù)擴(kuò)展為向量并利用廣義不等式
性質(zhì)：

定理30：可行集、任意下水平集和最優(yōu)集是凸集。

定理31：廣義不等式意義下的凸優(yōu)化問題的任意局部最優(yōu)集是全局最優(yōu)集

定理32：對(duì)于可微函數(shù)$f_0$的最優(yōu)性條件與上相同。

（二）錐形式問題（線性規(guī)劃的推廣）

4.6.1 錐形式問題

Def 29 線性目標(biāo)函數(shù)和仿射的廣義不等式約束函數(shù)

ps. 如果K是非負(fù)象限，則為線性規(guī)劃。

錐形式問題的標(biāo)準(zhǔn)形式與不等式形式

Def 30 標(biāo)準(zhǔn)形式：標(biāo)準(zhǔn)形式的錐形式問題
Def 31 不等式形式：不等式形式的錐形式問題
.

4.6.2 半定規(guī)劃（錐形式問題的特例）

Def 32 半定規(guī)劃的定義：K為半正定矩陣的錐形式問題

半定規(guī)劃的標(biāo)準(zhǔn)形式與不等式形式

Def 33 標(biāo)準(zhǔn)形式：標(biāo)準(zhǔn)形式的半定規(guī)劃
Def 34 不等式形式：不等式形式的半定規(guī)劃

多線性矩陣不等式與線性不等式

Def 35 線性目標(biāo)，等式、不等式約束、多個(gè)線性矩陣不等式約束的問題

定理33：將該問題轉(zhuǎn)換為一個(gè)SDP問題

4.6.2 示例

（1）二階錐規(guī)劃

定理34：二階錐規(guī)劃可以轉(zhuǎn)換為錐形式問題

（2）矩陣范數(shù)的最小化

（3）矩問題轉(zhuǎn)換為SDP問題

Def 36 隨機(jī)變量的矩
Def 37 矩問題（moment problem）指研究概率分布是否被其各階矩惟一決定的問題

定理35*：存在R上的概率分布使得$x_k=E{t}^k,t=0,...,2n$，那么$x_0=1$，并且Hankel矩陣半正定。

定理36*：（1）如果$x_0=1$，并且Hankel矩陣正定，那么存在R上的概率分布使得$x_k=E{t}^k,t=0,...,2n$；（2）如果$x_0=1$，并且Hankel矩陣半正定，那么存在R上的概率分布序列收斂到x，其中$x_k=E{t}^k,t=0,...,2n$

思路：已知R上的概率分布的矩，轉(zhuǎn)化為SDP問題
問題：不知R上的概率分布p(t)，但已知其矩的界，計(jì)算Ep(t)的最大和最小值

（4）不完全協(xié)方差信息下的投資組合風(fēng)險(xiǎn)界定

經(jīng)典的投資組合問題(4.4.1示例5)：投資組合x是優(yōu)化變量，在最小平均收益和其他約束條件下極小化風(fēng)險(xiǎn)。
風(fēng)險(xiǎn)界定問題：假設(shè)投資組合已知，但關(guān)于協(xié)方差矩陣Σ只有部分信息（先驗(yàn)信息，即約束條件），在滿足條件的所有協(xié)方差矩陣中，我們投資的最大風(fēng)險(xiǎn)是多少？

定理37：在滿足給定界的所有協(xié)方差矩陣中，投資的最大風(fēng)險(xiǎn)問題可以轉(zhuǎn)化為SDP問題。

關(guān)于Σ凸的先驗(yàn)信息 示例

已知特定投資組合的方差；

包含估計(jì)誤差的影響；

影響因素模型；

關(guān)于系數(shù)的信息；

（5）圖的最速混合馬氏鏈

Def 38 無向圖的定義
Def 39 無向圖馬氏鏈、轉(zhuǎn)移狀態(tài)矩陣、平衡分布的定義

定理38（混合速率）：馬氏鏈狀態(tài)X(t)的分布收斂到平穩(wěn)分布(1/n)1的情況由P的第二大特征值，即r=max{${\lambda }_2,?{\lambda }_n$}決定。稱r為馬氏鏈的混合速率。如果r=1，那么X(t)的分布不必收斂到(1/n)1，當(dāng)r<1，分布漸進(jìn)地以$r^t$逼近(1/n)1。小的r使得馬氏鏈更快的混合。

圖的最速混合馬氏鏈問題：尋找轉(zhuǎn)移狀態(tài)矩陣以極小化r，使得圖的馬氏鏈更快的收斂到平穩(wěn)分布。

定理39：圖的最速混合馬氏鏈問題可以轉(zhuǎn)化為SDP問題

4.7 向量?jī)?yōu)化（向量目標(biāo)函數(shù)）

（一）廣義和凸的向量?jī)?yōu)化問題

Def 40 廣義向量?jī)?yōu)化問題的定義
Def 41 凸向量?jī)?yōu)化問題
注：目標(biāo)函數(shù)值不一定能比較

（二）最優(yōu)解與值

4.7.2 最優(yōu)值與解

Def 42 可達(dá)目標(biāo)值集合、最優(yōu)解的定義：參照最小元

定理40：點(diǎn)x是最優(yōu)的，當(dāng)且僅當(dāng)它是可行的并且可達(dá)目標(biāo)值集合包含于$f_0(x)+K$

示例：最優(yōu)線性無偏估計(jì)

4.7.3 Pareto 最優(yōu)解和值

Def 43 Pareto最優(yōu)解的定義：參照極小元

定理41：點(diǎn)x是Pareto最優(yōu)的，當(dāng)且僅當(dāng)它是可行的并且可達(dá)目標(biāo)值集合與$f_0(x)?K$的交集為{$f_0(x)$}

注：Pareto最優(yōu)解并不唯一

4.7.4 標(biāo)量化（尋找Pareto 最優(yōu)解）

思路：對(duì)偶廣義不等式的最小元和極小元

定理42：對(duì)應(yīng)任意$\lambda {>}_K^{?}0$，標(biāo)量化問題的解是向量?jī)?yōu)化問題的Pareto解

注：要求$\lambda {>}_K^{?}0$

定理43：（1）可以通過改變權(quán)向量λ，得到不同的Pareto 最優(yōu)解；（2）某些Pareto 最優(yōu)解不能由任何權(quán)向量$\lambda {>}_{K^{?}}0$標(biāo)量化得到。

凸向量?jī)?yōu)化問題的標(biāo)量化

定理44：向量?jī)?yōu)化問題是凸的，那么標(biāo)量化問題也是凸的。

定理45（部分逆命題 對(duì)應(yīng)定理43(2)）：（1）對(duì)于凸優(yōu)化問題，每個(gè)Pareto最優(yōu)解$x^{po}$，有$\lambda {\ge }_{K^{?}}0，\lambda =0$使得$x^{po}$是標(biāo)量化問題的解；（2）當(dāng)權(quán)向量λ遍歷$K^{?}$非負(fù)的非零向量，標(biāo)量化非負(fù)可以得到所有Pareto最優(yōu)解。

示例：矩陣集合的極小上界
求解：1. 標(biāo)量化；2. 部分逆命題
幾何含義

（三）多準(zhǔn)則優(yōu)化

4.7.5 多準(zhǔn)則優(yōu)化

Def 44 多準(zhǔn)則優(yōu)化問題
Def 45 凸的多準(zhǔn)則優(yōu)化問題
Def 46 目標(biāo)值大小的比較：x至少與y一樣好；x比y更優(yōu)

（1）最優(yōu)解

定理46：多準(zhǔn)則優(yōu)化的最優(yōu)解相當(dāng)于所有標(biāo)量?jī)?yōu)化問題的最優(yōu)解

（2）Pareto最優(yōu)解

Def 47 Pareto最優(yōu)解的含義
Def 48 最優(yōu)權(quán)衡分析：強(qiáng)權(quán)衡、弱權(quán)衡

Def 49 最優(yōu)權(quán)衡曲面
示例：雙準(zhǔn)則問題 的結(jié)論及推廣

（3）標(biāo)量化多準(zhǔn)則問題

思路：通過加權(quán)和目標(biāo)來標(biāo)量化多準(zhǔn)則問題

權(quán)值的選擇：在最優(yōu)權(quán)衡曲面上搜索，如何設(shè)置或改變權(quán)

4.7.6 示例

正則化最小二乘

投資組合優(yōu)化中風(fēng)險(xiǎn)-回報(bào)的權(quán)衡

總結(jié)

以上是生活随笔為你收集整理的04 凸优化问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。