文章目錄

• 參考資料
• 1. 全狀態(tài)反饋控制系統(tǒng)
• 2. LQR控制器
• • 2.1 連續(xù)時(shí)間
  • • 2.1.1 Q、R矩陣的選取
    • 2.1.2推導(dǎo)過(guò)程
    • 2.1.3 連續(xù)時(shí)間下的LQR算法步驟
  • 2.2 離散時(shí)間
  • • 2.2.1 推導(dǎo)
    • 2.2.2 離散時(shí)間下的LQR算法步驟
• 3. MPC與LQR比較

參考資料

• https://www.bilibili.com/video/BV1RW411q7FD?spm_id_from=333.999.0.0
• LQR控制器_simulink
• https://jonathan-hui.medium.com/rl-lqr-ilqr-linear-quadratic-regulator-a5de5104c750
• LQR控制算法推導(dǎo)以及簡(jiǎn)單分析
• Riccati 黎卡提 system
• LQR-離散時(shí)間有限邊界

1. 全狀態(tài)反饋控制系統(tǒng)

假設(shè)有一個(gè)線性系統(tǒng)用狀態(tài)向量表示:
$$\{\begin{array}{l}\dot{x}=Ax+Bu\\ y=Cx+Du\end{array}\text{\hspace{1em}(1)}$$
其中， $x(t)\in R^n，u(t)\in R^m$ 。

設(shè)計(jì)狀態(tài)反饋控制器
$$u=?Kx\text{\hspace{1em}(2)}$$
將式(2)帶入系統(tǒng)狀態(tài)方程(1)中，有
$$\dot{x}=(A?BK)x=A_{c}x\text{\hspace{1em}(3)}$$
設(shè)定系統(tǒng)中的各個(gè)狀態(tài)量都可知，式(1)所示的開(kāi)環(huán)系統(tǒng)，傳遞函數(shù)的極點(diǎn)就是系統(tǒng)矩陣A的特征值。 式(2)所示的閉環(huán)形式，通過(guò)配置反饋矩陣 $K$ ，可以使得閉環(huán)系統(tǒng)達(dá)到所期望的系統(tǒng)狀態(tài)。

接下來(lái)講解如何使用LQR設(shè)計(jì)控制量$u$。

2. LQR控制器

最優(yōu)控制理論主要探討的是讓動(dòng)力系統(tǒng)以最小成本來(lái)運(yùn)作，若系統(tǒng)動(dòng)態(tài)可以用一組線性微分方程表示，而其成本為二次泛函，這類的問(wèn)題稱為線性二次（LQ）問(wèn)題。此類問(wèn)題的解即為線性二次調(diào)節(jié)器，簡(jiǎn)稱LQR。

LQR（Linear quadratic regulator，線性二次型調(diào)節(jié)器），它假設(shè)模型是locally linear 和 time-varied的。

2.1 連續(xù)時(shí)間

LQR的目標(biāo)就是找到一組控制量$u_0,u_1,...$，使得同時(shí)有$x_0,x_1,...$能夠快速、穩(wěn)定地趨近于零，并保持平衡(系統(tǒng)達(dá)到穩(wěn)定狀態(tài))，$u_0,u_1,...$盡可能小(控制量盡量小的變化)。

這是一個(gè)典型的多目標(biāo)優(yōu)化最優(yōu)控制問(wèn)題，選取代價(jià)函數(shù)（目標(biāo)函數(shù)）為
$$J=\frac{1}{2}{\int }_0^{\infty }{x}^{T}Qx+u^{T}Rudt\text{\hspace{1em}(4)}$$
其中，Q、R分別是需要設(shè)計(jì)的半正定矩陣和正定矩陣。

代價(jià)函數(shù) $J$需要達(dá)到最小值，那么在 $t$趨近于無(wú)窮時(shí)，狀態(tài)向量 $x(t)$肯定趨近于0，即是達(dá)到了系統(tǒng)穩(wěn)態(tài)；同理， $t$趨近于無(wú)窮時(shí)，控制向量 $u(t)$也會(huì)趨近于0，意味著，隨著時(shí)間的推移，需要對(duì)系統(tǒng)施加的控制量會(huì)越來(lái)越小，意味著使用最小的控制量使得系統(tǒng)達(dá)到了最終控制目標(biāo)，反映的是控制能量的損耗優(yōu)化。

2.1.1 Q、R矩陣的選取

$Q$為半正定的狀態(tài)加權(quán)矩陣, $R$為正定的控制加權(quán)矩陣，兩者通常取為對(duì)角陣。$Q$矩陣元素變大意味著希望狀態(tài)量能夠快速趨近于零； $R$ 矩陣元素變大意味著希望控制輸入能夠盡可能小，它意味著系統(tǒng)的狀態(tài)衰減將變慢。比如， $Q_{11}$?選取較大的值，會(huì)讓 $x_1$?很快的衰減到0；所以，$Q、R$的選取，要綜合看具體的實(shí)際應(yīng)用場(chǎng)景來(lái)調(diào)節(jié)。

2.1.2推導(dǎo)過(guò)程

將 $u=?Kx$ 代入代價(jià)函數(shù)后，有
$$J=\frac{1}{2}{\int }_0^{\infty }{x}^T\left(Q+K^{T}RK\right)xdt\text{\hspace{1em}(5)}$$

假設(shè)存在一個(gè)常量矩陣 $P$ 使得，
$$\frac{d}{dt}\left(x^{T}Px\right)=?x^T\left(Q+K^{T}RK\right)x\text{\hspace{1em}(6)}$$

把式(6)代入(5)后，有
$$J=?\frac{1}{2}{\int }_0^{\infty }\frac{d}{dt}{x}^T(P)xdt=?\frac{1}{2}{x}^{T}Px{|}_0^{\infty }=\frac{1}{2}{x}^T(0)Px(0)\text{\hspace{1em}(7)}$$
式(7)的意思就是，t趨近于無(wú)窮時(shí)，系統(tǒng)狀態(tài)向量 $x(t)$ 趨近于 0 ，這樣就直接計(jì)算出了積分方程。

把式(6)左邊微分展開(kāi)，并且將右邊移到左邊后有
$${\dot{x}}^{T}Px+x^{T}P\dot{x}+x^{T}Qx+x^T{K}^{T}RKx=0\text{\hspace{1em}(8)}$$
$\dot{x}$用式(3)表示，代入式(8)
$$x^T{A}_c^{T}Px+x^{T}P{A}_{c}x+x^{T}Qx+x^T{K}^{T}RKx=0\text{\hspace{1em}(9)}$$
整理后，有
$$x^T\left(A_c^{T}P+P{A}_c+Q+K^{T}RK\right)x=0\text{\hspace{1em}(10)}$$
如果式(10)要有解，那么括號(hào)里面的部分必須等于0.
$$A_c^{T}P+P{A}_c+Q+K^{T}RK=0\text{\hspace{1em}(11)}$$
把 $A_c=A?BK$ 代入式(11)
$$(A?BK{)}^{T}P+P(A?BK)+Q+K^{T}RK=0\text{\hspace{1em}(12)}$$
即
$$A^{T}P+PA+Q+K^{T}RK?K^T{B}^{T}P?PBK=0\text{\hspace{1em}(13)}$$

令 $K=R^{?1}{B}^{T}P$ ，式(13)化為
$$A^{T}P+PA+Q+K^{T}R\left(R^{?1}{B}^{T}P\right)?K^T{B}^{T}P?PB\left(R^{?1}{B}^{T}P\right)=0\text{\hspace{1em}(14)}$$
化簡(jiǎn)后得
$$A^{T}P+PA?PB{R}^{?1}{B}^{T}P+Q=0\text{\hspace{1em}(15)}$$
式(15)中， $A,B,Q,R$ 都是已知量，那么通過(guò)式(15)可以求解出 $P$（$n\times n$維） ，式(15)就是著名的連續(xù)時(shí)間代數(shù)Riccati方程(CARE)。

2.1.3 連續(xù)時(shí)間下的LQR算法步驟

LQR的算法步驟如下：

• 選擇參數(shù)矩陣Q,R（分別滿足半正定和正定）
• 根據(jù)公式(15)求解Riccati方程得到矩陣P
  $$A^{T}P+PA?PB{R}^{?1}{B}^{T}P+Q=0$$
• 根據(jù)P計(jì)算增益$K=R^{?1}{B}^{T}P$
• 計(jì)算控制量 $u^{?}=?Kx$

2.2 離散時(shí)間

2.2.1 推導(dǎo)

假設(shè)一個(gè)離散的系統(tǒng)表示為
$$\mathbf{X}(k+1)=A\mathbf{X}(k)+B\mathbf{u}(k)\text{\hspace{1em}(16)}$$

離散得LQR的目標(biāo)函數(shù)如下：
$$J=\sum _{k=1}^N\left({\mathbf{X}}^{T}Q\mathbf{X}+{\mathbf{u}}^{T}R\mathbf{u}\right)\text{\hspace{1em}(17)}$$

其中 $\mathbf{X}$ 是 $n\times 1$ 的狀態(tài)向量， $\mathbf{u}$ 是 $k\times 1$ 的控制變數(shù)向量， $A$ 是 $n\times n$ 的狀態(tài)遞移矩陣， $B$ 是 $n\times k$ 的控制系數(shù)矩陣， $Q$ 是$n\times n$的半正定狀態(tài)損失函數(shù)矩陣， $R$ 是$k\times k$的正定控制損失函數(shù)矩陣。

求解LQR的方法，有最小二乘法和動(dòng)態(tài)規(guī)劃算法。詳情請(qǐng)參考博客

這里直接給出結(jié)果：從后往前推導(dǎo)可以找到每一個(gè)時(shí)間的最優(yōu)控制律:
$$\begin{array}{rl}{K}_t& ={\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t+1}A\\ u_t^{?}& =?K_t{X}_t\end{array}\text{\hspace{1em}(18)}$$
其中矩陣 $P$ 會(huì)依據(jù)下式并且配合初始值 $P_N=Q$ 進(jìn)行迭代求解
$$P_{t?1}=Q+A^T{P}_{t}A?A^T{P}_{t}B{\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t}A\text{\hspace{1em}(19)}$$
這個(gè)就是離散時(shí)間的代數(shù) Riccati 方程（DARE）。 $P$ 的穩(wěn)態(tài)解和和 $N$ 趨近無(wú)限大時(shí)的無(wú)限時(shí)間問(wèn)題有關(guān)，可以將方程(19)反復(fù)迭代直到收斂，來(lái)求得 $P$ 的穩(wěn)態(tài)解。

2.2.2 離散時(shí)間下的LQR算法步驟

綜上，采用LQR算法進(jìn)行控制率求解的步驟概括為：

確定迭代范圍 $N$

設(shè)置迭代初始值 $P_N=Q_f$，其中$Q_f=Q$

循環(huán)迭代， 從后往前$t=N,\dots ,1$
$$P_{t?1}=Q+A^T{P}_{t}A?A^T{P}_{t}B{\left(R+B^T{P}_{t}B\right)}^{?1}{B}^T{P}_{t}A$$

從 $t=0,\dots ,N?1$，循環(huán)計(jì)算反饋系數(shù) $K_t={\left(R+B^T{P}_{t+1}B\right)}^{?1}{B}^T{P}_{t+1}A$

最終得優(yōu)化的控制量 $u_t^{?}=?K_t{X}_t$

3. MPC與LQR比較

MPC和LQR兩種控制方式有很多的相似之處，但是也有很多不相同的地方，

• 首先，LQR的研究對(duì)象是現(xiàn)代控制理論中的狀態(tài)空間方程給出的線性系統(tǒng)，而MPC的研究對(duì)象可以是線性系統(tǒng)，也可以是非線性系統(tǒng)。不過(guò)現(xiàn)在很多的做法都是將非線性系統(tǒng)線性化，然后進(jìn)行相關(guān)計(jì)算，具體要根據(jù)自己的工程情況來(lái)確定哪種方式比較好。
• 其次，既然是優(yōu)化問(wèn)題，那就離不開(kāi)目標(biāo)函數(shù)的設(shè)計(jì)，LQR的目標(biāo)函數(shù)在上面已經(jīng)有描述，MPC的目標(biāo)函數(shù)，多數(shù)都是多個(gè)優(yōu)化目標(biāo)乘以不同權(quán)重然后求和的方式。雖然方式不同，不過(guò)都是對(duì)達(dá)到控制目標(biāo)的代價(jià)累計(jì)。
• 最后，工作時(shí)域上的不同，LQR的計(jì)算針對(duì)同一工作時(shí)域，在一個(gè)控制周期內(nèi)，LQR只計(jì)算一次，并將此次計(jì)算出的最優(yōu)解下發(fā)給控制器即可；而MPC是滾動(dòng)優(yōu)化的，計(jì)算未來(lái)一段時(shí)間內(nèi)，每個(gè)采樣周期都會(huì)經(jīng)過(guò)計(jì)算，得出一組控制序列，但是只將第一個(gè)控制值下發(fā)給控制器。

總結(jié)

以上是生活随笔為你收集整理的【控制理论】离散及连续的LQR控制算法原理推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。