一、引言

????前邊的博文我們討論過一些迭代算法，包括梯度方法、牛頓法、共軛梯度法和擬牛頓法，能夠從初始點出發，產生一個迭代序列，但是往往這些迭代序列只能收斂到局部極小點，而且這些迭代方法需要計算目標函數的一階導數(牛頓法還需計算二階導數)。從本節開始，討論一些全局搜索算法，這些方法只需要計算目標函數值，而不需要對目標函數求導。

二、Nelder-Mead 單純形法(一)

????Nelder-Mead 單純形法引入了單純形的概念，不需要計算目標函數的梯度。所謂單純形，指的是由n維空間中的n+1個點p0,p1,…,pn構成的幾何形狀，且滿足：

det[p01p11……pn1]≠0
這一條件的含義為 R中的兩個點不重合， R2中的三個點不共線， R3中的四個點不共面， 以此類推。這說明，單純形包圍的 n維空間具有有限的體積。
    針對函數f(x), x∈Rn的最小化問題， 首先選擇 n+1個點， 使其構成一個初始的單純形。構造單純形的一種方式為：選定初始點 x(0)=p0 ,按照下式產生其他點：
pi=p0+λiei,i=1,2,…,n
其中， ei,i=1,2,…,n 表示一組單位向量， 是空間 Rn的標準基，系數 λi為正數， 可以按照優化問題的規模確定其大小。 按照這種方式產生的 n+1個點，正好能構成一個單純形。初始單純形確定之后，接下來就一步步對其進行修改，使得產生的單純形能夠朝著函數的極小點進行收斂。在每次迭代中，都針對單純形的每個點計算目標函數值。對于函數 f<script type="math/tex" id="MathJax-Element-1764">f</script>最小化的優化問題而言，目標函數最大的點將被另外的點代替，持續開展這一迭代過程，直到單純形收斂到目標函數極小點。
????下節將給出單純形的更新規則。

總結

以上是生活随笔為你收集整理的最优化学习笔记（二十）——全局搜索算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。