當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

【论文笔记】具有反馈控制的自主优化

發(fā)布時間：2024/3/26 编程问答 47 豆豆

生活随笔收集整理的這篇文章主要介紹了【论文笔记】具有反馈控制的自主优化小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

文章目錄

寫在前面
問題描述
最優(yōu)性分析
穩(wěn)定性分析
- LaSalle函數(shù)
- 不變性原理
- 嚴(yán)格極小值的漸進(jìn)穩(wěn)定性

寫在前面

原論文標(biāo)題：Timescale Separation in Autonomous Optimization.

本文為近期閱讀的論文(Hauswirth 2020)¹和其前作(Menta 2018)²的筆記。該論文研究如圖1所示互連反饋系統(tǒng)的穩(wěn)定性，但實(shí)際上通過timescale separation假設(shè)，直接將物理系統(tǒng)的穩(wěn)態(tài)代入了優(yōu)化部分，優(yōu)化部分相當(dāng)于并未用到狀態(tài) $x$ 的反饋。

圖1. 互連反饋系統(tǒng)

問題描述

這里以線性系統(tǒng)為例?？紤]線性時不變(LTI)系統(tǒng)
$x˙=Ax+Bu+Qw(1)\begin{aligned} \dot x&=Ax+Bu+Qw \end{aligned}\qquad (1)$
其中， $x∈Rnx\in\mathbb R^n$ ， $u∈Rpu\in\mathbb R^p$ ， $w∈Rqw\in\mathbb R^q$ 。

假設(shè)1： 存在正定矩陣 $P∈Rn×nP\in\mathbb R^{n\times n}$ ，使得 $ATP+PA≤?InA^TP+PA\leq-I_n$ 。

在假設(shè)1下，系統(tǒng)(1)指數(shù)穩(wěn)定， $A$ 可逆，則對固定的 $u$ 和 $w$ ，其穩(wěn)態(tài)為 $x = K u + R w$ ，其中 $K:=?A?1B∈Rn×pK:=-A^{-1}B\in\mathbb R^{n\times p}$ ， $R:=?A?1Q∈Rn×qR:=-A^{-1}Q\in\mathbb R^{n\times q}$ 。

考慮穩(wěn)態(tài)輸出和控制量的優(yōu)化問題
$min?x,uΦ(x,u)s.t.?x=Ku+Rw,(2)\begin{aligned} \min_{x,u}\quad&\Phi(x,u)\\ \operatorname{s.t.}\quad&x=Ku+Rw, \end{aligned}\qquad (2)$
消除約束，轉(zhuǎn)化為無約束優(yōu)化問題 $min?uΦ~(u)\min_u\,\tilde\Phi(u)$ ，其中 $Φ~(u):=Φ(Ku+Rw,u)\tilde \Phi(u):=\Phi(Ku+Rw,u)$ 。根據(jù)鏈?zhǔn)椒▌t(chain rule)，有
$?Φ~(u):=HT?Φ(Ku+Rw,u),\nabla \tilde \Phi(u):= H^T\nabla\Phi(Ku+Rw,u),$
其中， $H^T:=[K^T,I_n]$ 。

綜上所述，給出如下互連系統(tǒng)
$x˙=Ax+Bu+Qw，u˙=?αHT?Φ(x,u)。(3)\begin{aligned} \dot x&=Ax+Bu+Qw，\\ \dot u&=-\alpha H^T\nabla\Phi(x,u)。 \end{aligned}\qquad (3)$

對優(yōu)化問題 $min?{Φ(x)∣x∈Ω}\min\{\Phi(x)|x\in\Omega \}$ ，其中 $Φ:Rn→R\Phi:\mathbb R^n\to \mathbb R$ 連續(xù)可微，點(diǎn) $x^*$ 稱為critial，如果它滿足一階最優(yōu)條件(KKT條件)，即 $x?∈Ωx^*\in\Omega$ 且 $??Φ(x?)∈NΩ(x?)-\nabla\Phi(x^*)\in N_\Omega(x^*)$ ，其中 $NΩ(x):={v∈Rn∣vT(y?x)≤0,?y∈Ω}N_\Omega(x):=\{v\in\mathbb R^n|v^T(y-x)\leq 0,\,\forall y\in\Omega\}$ 。

若 $Ω={x∈Rn∣h(x)=0,g(x)≤0}\Omega=\{x\in\mathbb R^n|h(x)=0,g(x)\leq 0\}$ ，其中 $h:Rn→Rsh:\mathbb R^n\to \mathbb R^s$ ， $g:Rn→Rrg:\mathbb R^n\to \mathbb R^r$ ，后一個條件等價于存在 $λ∈Rs\lambda\in\mathbb R^s$ ， $μ∈R+r\mu\in\mathbb R_+^r$ 使得
$?Φ(x?)+?h(x?)Tλ+?g(x?)Tμ=0\nabla \Phi(x^*)+\nabla h(x^*)^T\lambda+\nabla g(x^*)^T\mu=0$
以及 $μigi(x?)=0\mu_i g_i(x^*)=0$ 對所有 $i=1,?,ri=1,\cdots,r$ 成立。

試問，互連系統(tǒng)(3)能否將系統(tǒng)(1)控制到優(yōu)化問題(2)的critical point？

最優(yōu)性分析

這里首先分析一下互連系統(tǒng)(3)的平衡點(diǎn)是否為優(yōu)化問題(2)的critical point。

命題1： 優(yōu)化問題(2)每一個極小值(minimizer)都是互連系統(tǒng)(3)的一個平衡點(diǎn)。反之，互連系統(tǒng)(3)的每一個平衡點(diǎn)都是優(yōu)化問題(2)的一個critical point。

原論文假設(shè)線性無關(guān)規(guī)范滿足，因此KKT條件是局部極小值(local minimizer)的必要條件，可以直接給定local minimizer推導(dǎo)到平衡點(diǎn)。但是無法通過平衡點(diǎn)推導(dǎo)到local minimizer，只能推導(dǎo)到critical point。

給定critical point $x^*,u^*)$ ，滿足 $x^*=Ku^*+Rw$ 和 $?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0$ 。

注意到 $I_n,-K]H=0$ ，因此 $HT?Φ(x?,u?)=0H^T\nabla \Phi(x^*,u^*)=0$ ， $x^*,u^*)$ 是互連系統(tǒng)(3)的一個平衡點(diǎn)。

反之，給定平衡點(diǎn) $x^*,u^*)$ ，有 $x^*=Ku^*+Rw$ ，且 $?Φ(x?,u?)∈ker?HT=im?H⊥\nabla \Phi(x^*,u^*)\in \operatorname{ker}H^T=\operatorname{im} H^\bot$ 。由于 $im?H⊥\operatorname{im} H^\bot$ 由 $I_n,-K]^T$ 展開，因此 $?Φ(x?,u?)+[In,?K]Tλ=0\nabla\Phi(x^*,u^*)+[I_n,-K]^T\lambda=0$ 。故 $x^*,u^*)$ 也是critical point。

穩(wěn)定性分析

假設(shè)2： $Φ~(u)\tilde \Phi(u)$ 有 $l ?$ Lipschitz的梯度(gradient)。即 $∥HT(?Φ(x,u)??Φ(x′,u))∥≤l∥x?x′∥\|H^T(\nabla \Phi(x,u)-\nabla\Phi(x',u))\|\leq l\|x-x'\|$ 。此外， $Φ~(u)\tilde \Phi(u)$ 的子水平集(sublevel set)是緊集。

如果只知道 $?Φ(x,u)\nabla\Phi(x,u)$ 的lipschitz常數(shù) $L$ ，則取 $l:=L∥K∥l:=L\|K\|$ 可滿足條件。

定理1： 在假設(shè)1、2下，每當(dāng)滿足
$α<α?:=12lβ(4)\alpha<\alpha^*:=\frac{1}{2l\beta}\qquad (4)$
時，互連系統(tǒng)(3)收斂到優(yōu)化問題(2)的critical point，其中 $β:=∥PK∥\beta:=\|PK\|$ 。此外，只有優(yōu)化問題(5)的嚴(yán)格local minimizer才是漸進(jìn)穩(wěn)定的。

由定理1可以得到，如果優(yōu)化問題(2)進(jìn)一步是凸的，那么互連系統(tǒng)(3)收斂到其全局最優(yōu)解的集合。

我們將定理1的證明分為三個部分。首先，我們提出了一個LaSalle函數(shù)，只要驗(yàn)證了(4)，該函數(shù)沿系統(tǒng)的軌跡就不會增加(non-increasing)。其次，我們應(yīng)用LaSalle的不變性原理并得出結(jié)論，所有軌跡都收斂到滿足(2)的一階最優(yōu)性條件的點(diǎn)集。第三，我們證明只有(3)的極小值可以漸近穩(wěn)定。

LaSalle函數(shù)

由singular perturbation analysis啟發(fā)³，定義如下函數(shù)

$Zδ(x,u)=(1?δ)V(u)+δW(x,u)，(5)Z_\delta(x,u)=(1-\delta)V(u)+\delta W(x,u)， \qquad (5)$

其中 $0<δ<10<\delta<1$ 是一個凸組合系數(shù)，且
$V(u):=Φ(Ku+Rw,u)，W(x,u):=(x?Ku?Rw)TP(x?Ku?Rw)。\begin{aligned} V(u)&:=\Phi(Ku+Rw,u)，\\ W(x,u)&:=(x-Ku-Rw)^TP(x-Ku-Rw)。 \end{aligned}$

引理1： $Zδ(x,u)Z_\delta(x,u)$ 沿著(3)的李導(dǎo)數(shù)滿足
$Z˙δ(x,u)≤[∥ψ∥∥?∥]Λ[∥ψ∥∥?∥]，\dot Z_\delta(x,u)\leq \begin{bmatrix}\|\psi\|&\|\phi\|\end{bmatrix}\Lambda\begin{bmatrix}\|\psi\|\\ \|\phi\|\end{bmatrix}，$
其中
$ψ(x,u):=HT?Φ(x,u)，?(x,u):=x?Hu?Rw，\begin{aligned} \psi(x,u)&:=H^T\nabla \Phi(x,u)，\\ \phi(x,u)&:=x-Hu-Rw， \end{aligned}$
以及
$Λ:=[?α(1?δ)α2(l(1?δ)+δβ)α2(l(1?δ)+δβ)?δ2]。(6)\Lambda:=\begin{bmatrix} -\alpha(1-\delta)&\frac{\alpha}{2}(l(1-\delta)+\delta\beta)\\ \frac{\alpha}{2}(l(1-\delta)+\delta\beta)&-\frac{\delta}{2} \end{bmatrix}。\qquad (6)$

引理2： 考慮(6)中的 $Λ\Lambda$ ，每當(dāng) $α\alpha$ 滿足(4)，那么對一些 $δ?∈(0,1)\delta^*\in(0,1)$ ， $Λ≤0\Lambda\leq 0$ 。

定理1、2證明了 $Zδ?(x,u)Z_{\delta^*}(x,u)$ 在條件(4)下不會增加。下面需要證明 $Z˙δ?(x,u)\dot Z_{\delta^*}(x,u)$ 的zero set中的點(diǎn)是否為平衡點(diǎn)，如果是，進(jìn)一步證明集合的不變性。

不變性原理

以下引理均在 $α\alpha$ 滿足(4)， $δ?\delta^*$ 按定理2中定義的條件下給出。

引理3： $Z˙δ?≤0\dot Z_{\delta^*}\leq 0$ 對所有 $(x, u)$ 成立， $Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0$ 當(dāng)且僅當(dāng) $(x,u)∈E(x,u)\in E$ ，其中
$E={(x,u)∣x=Ku+Rw,?Φ(x,u)∈ker?HT}。E=\{(x,u)|x=Ku+Rw,\nabla\Phi(x,u)\in\operatorname{ker} H^T\}。$
此外， $E$ 中的每一個點(diǎn)都是一個平衡點(diǎn)。

顯然，當(dāng) $Z˙δ?(x,u)=0\dot Z_{\delta^*}(x,u)=0$ 時， $∥ψ∥\|\psi\|$ 和 $∥?∥\|\phi\|$ 都是0，即 $(x,u)∈E(x,u)\in E$ 。而 $∥ψ∥\|\psi\|$ 和 $∥?∥\|\phi\|$ 為0定義上就是平衡點(diǎn)，所以 $E$ 本身就是平衡點(diǎn)的集合。

引理4： $Zδ?(x,u)Z_{\delta^*}(x,u)$ 的子水平集(sublevel set)對于互連系統(tǒng)(3)是緊集和正不變集。

注意：如果 $V(u)≤cV(u)\leq c$ 的子水平集是緊集，那么存在 $U$ 使得 $∥u∥≤U\|u\|\leq U$ 。

由于 $W(x,u)≥0W(x,u)\geq 0$ ，故 $Zδ?(x,u)≤cZ_{\delta^*}(x,u)\leq c$ 是緊的意味著 $V(u)≤cV(u)\leq c$ 是緊的。由假設(shè)2知，后者確實(shí)是緊的，所以 $∥u∥≤U\|u\|\leq U$ 滿足。又由于 $V (u)$ 有下界 $L$ ， $W(x,u)≤c?LW(x,u)\leq c-L$ 。因?yàn)?span id="ozvdkddzhkzd" class="katex--inline"> $P$ 正定，所以 $x$ 同樣有界。

正不變性由 $Zδ?(x,u)Z_{\delta^*}(x,u)$ 的非增性保證。

Theorem (LaSalle’s Invariance Principle). Let $Ω?D?Rn\Omega\subset D\subset \mathbb R^n$ be a compact set that is positively invariant with respect to an autonomous system $η˙=F(η)\dot \eta=F(\eta)$ , where $F$ is locally Lipschitz. Let $D\to R$ be a continuously differentiable function such that $Z˙(η)≤0\dot Z(\eta)\leq 0$ in $Ω\Omega$ . Let $E$ be the set of all the points in $Ω\Omega$ where $Z˙(η)=0\dot Z(η) = 0$ . Let $M$ be the largest invariant set in E. Then every solution starting in $Ω\Omega$ approaches $M$ as $t→∞t\to\infty$ .

因此，軌跡收斂到critical point的集合 $E$ 。

嚴(yán)格極小值的漸進(jìn)穩(wěn)定性

假設(shè) $z^*:=(x^*,u^*)$ 是系統(tǒng)(3)的一個漸進(jìn)穩(wěn)定平衡點(diǎn)。則 $z?∈Z:={(x,u)∣x=Ku+Rw}z^*\in\mathcal Z:=\{(x,u)|x=Ku+Rw\}$ 。

考慮reduced system
$u˙=?αHT?Φ(Ku+Rw,u)。(7)\dot u=-\alpha H^T\nabla\Phi(Ku+Rw,u)。\qquad (7)$
在 $z^*$ 的一個鄰域內(nèi)，起始于 $z_0$ ，系統(tǒng)(3)和(7)的軌跡均收斂于 $z^*$ ，記為 $z (t)$ 和 $z^{'} (t)$ 。區(qū)別在于， $z^{'} (t)$ 永遠(yuǎn)在 $Z\mathcal Z$ 內(nèi)部，而 $z (t)$ 可能先出去再回來。

同時，對于(7)， $Φ\Phi$ 在其軌跡 $z^{'} (t)$ 上非增，因此 $Φ(z?)≤Φ(z0)\Phi(z^*)\leq \Phi(z_0)$ 。因?yàn)槭?span id="ozvdkddzhkzd" class="katex--inline"> $z_0$ 任意的，所以 $z^*$ 是局部極小值。

假設(shè)存在 $zˉ\bar z$ 使得 $Φ(zˉ)≤Φ(z?)\Phi(\bar z)\leq \Phi(z^*)$ 。令 $z0=zˉz_0=\bar z$ ，系統(tǒng)(3)的軌跡 $z (t)$ 收斂于 $z^*$ ， $?Φ~(u(t))=0\nabla \tilde \Phi(u(t))=0$ 對幾乎所有 $t≥0t\geq 0$ 恒成立。這與 $z^*$ 漸進(jìn)穩(wěn)定矛盾。所以漸近穩(wěn)定點(diǎn)如果存在，必為嚴(yán)格極小值。

Hauswirth, A., Bolognani, S., Hug, G., & D?rfler, F. (2019). Timescale Separation in Autonomous Optimization. IEEE Transactions on Automatic Control, 1–1. https://doi.org/10.1109/TAC.2020.2989274 ??

Menta, S., Hauswirth, A., Bolognani, S., Hug, G., & Dorfler, F. (2019). Stability of Dynamic Feedback optimization with Applications to Power Systems. In 2018 56th Annual Allerton Conference on Communication, Control, and Computing, Allerton 2018 (pp. 136–143). Institute of Electrical and Electronics Engineers Inc. https://doi.org/10.1109/ALLERTON.2018.8635640 ??

Khalil, H. K. (2002). Nonlinear systems (3rd ed.). Prentice Hall, ISBN: 0130673897. ??

總結(jié)

以上是生活随笔為你收集整理的【论文笔记】具有反馈控制的自主优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【JavaScript学习记录】快速下载
下一篇： android 8 多媒体,1-4月中控