一切問題都可以轉化為數學問題。——笛卡爾

世界上任何一門學科，如果沒有發展到能與數學緊密聯系在一起的程度，就說明該學科還未發展成熟。 ——馬克思

是的，無論是哪種優化設計問題，其本質都可以歸結為多元非線性函數的極小值問題。所以仍然會涉及到數學中的一些概念，在這里僅做一些簡單的介紹。

向量和矩陣的范數

向量的范數

我們可以將范數理解為對向量的一種度量，即向量的“長度”。如我們常用的向量的模，

，就是向量的2范數。范數有三個性質：范數恒大于等于0；向量乘以一個實數a后的范數等于實數a的絕對值乘原向量的范數；兩個向量和的范數小于等于兩個向量范數的和。

我們常用的向量范數有：

1范數：

2范數：

無窮范數：

2.矩陣的范數

n階方陣A的范數為

常用的矩陣范數有：

1范數（最大列范數）：所有列向量的范數中最大的那一個

2范數：

其中 為矩陣 的最大特征值

無窮范數（最大行范數）：所有行向量的范數中最大的那一個

方向導數和梯度

1.方向導數

方向導數是函數在某一點沿某一方向的變化率，通俗的說就是函數在某一方向的導數，它表征了該函數在這一點處沿某一方向變化的快慢。某二元函數沿d方向的方向導數定義為：

計算公式為：

其中

是d方向與坐標軸 方向之間夾角的余弦。注意，方向導數是一個數。

2.梯度

梯度是一個向量，函數在某一點的梯度為：

設

，與方向導數相比較，有

方向導數的最大值發生在d的方向和梯度相同時，即二者夾角的余弦為1時。故梯度方向為方向導數最大值方向，所以梯度方向函數值變化最快，梯度的范數為函數變化率的最大值。

函數的泰勒級數展開

一元函數泰勒級數展開

近似展開（忽略二階以上的高階無窮小）

n元函數的泰勒級數展開

其中

H被稱為Hessian矩陣，它和梯度是計算函數極值以及判定極值點性質的重要依據。

無約束優化問題的極值條件

對于一元函數，一階導數等于零的前提下，若二階導數大于零則為極小值，若二階導數小于零，則為極大值。

對于多元函數，在某一點的梯度等于零的前提下，Hessian矩陣正定則為極小值，負定則為極大值。

凸集和凸函數

經典優化算法大多屬于沿某一搜索方向的局部優化算法，要求目標函數和約束函數均為凸函數，對應解為凸集。

凸集的幾何解釋如下圖，任意連接兩點的線段都包含在集合內。

左圖為凸集，右圖非凸集

凸函數即函數的凹凸性中的上凸和下凸函數。

有約束優化問題的極值條件

等式約束

對于等式約束，可以將由約束問題轉化為無約束問題（降維）。即：將M個約束條件代入目標函數（假設有n維）中，使得等式約束優化問題轉換為n-M維的無約束優化問題。

對于等式約束，可以采用拉格朗日乘子法（升維），構造拉格朗日函數，即

其中

是約束條件， 是拉格朗日乘子。這樣使得等式約束優化問題轉換為n+M維的無約束優化問題

根據無約束問題的極值條件，可以得到具有等式約束的多元函數極值條件:

設有任意實數

使得以下成立：

則

是極值點。

不等式約束

當有一個不等式約束

時，存在實數 使 成立，是 為極值的必要條件；

當有兩個不等式約束

時，存在實數 使 成立是 為極值的必要條件；

當有一個L個等式約束時，存在實數

使 成立是 為極值的必要條件；

對于不等式約束，使用松弛變量

將不等式轉換為等式約束，再用拉格朗日乘子法求解。即：

其中

是約束條件， 是拉格朗日乘子

根據無約束問題的極值條件，可以得到具有不等式約束的多元函數極值條件(庫恩塔克條件)：

---

以上就是優化設計相關的一些數學概念。

總結

以上是生活随笔為你收集整理的大于小于优化_工程优化设计与Matlab实现——优化设计的数学基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。