優化算法入門系列文章目錄（更新中）：

　　1.?模擬退火算法

　　2.?遺傳算法

?

一. 爬山算法 ( Hill Climbing )

???????? 介紹模擬退火前，先介紹爬山算法。爬山算法是一種簡單的貪心搜索算法，該算法每次從當前解的臨近解空間中選擇一個最優解作為當前解，直到達到一個局部最優解。

???????? 爬山算法實現很簡單，其主要缺點是會陷入局部最優解，而不一定能搜索到全局最優解。如圖1所示：假設C點為當前解，爬山算法搜索到A點這個局部最優解就會停止搜索，因為在A點無論向那個方向小幅度移動都不能得到更優的解。

圖1

?

?

二. 模擬退火(SA,Simulated Annealing)思想

???????? 爬山法是完完全全的貪心法，每次都鼠目寸光的選擇一個當前最優解，因此只能搜索到局部的最優值。模擬退火其實也是一種貪心算法，但是它的搜索過程引入了隨機因素。模擬退火算法以一定的概率來接受一個比當前解要差的解，因此有可能會跳出這個局部的最優解，達到全局的最優解。以圖1為例，模擬退火算法在搜索到局部最優解A后，會以一定的概率接受到E的移動。也許經過幾次這樣的不是局部最優的移動后會到達D點，于是就跳出了局部最大值A。

???????? 模擬退火算法描述：

???????? 若J( Y(i+1) )>= J( Y(i) ) ?(即移動后得到更優解)，則總是接受該移動

???????? 若J( Y(i+1) )< J( Y(i) ) ?(即移動后的解比當前解要差)，則以一定的概率接受移動，而且這個概率隨著時間推移逐漸降低（逐漸降低才能趨向穩定）

　　這里的“一定的概率”的計算參考了金屬冶煉的退火過程，這也是模擬退火算法名稱的由來。

　　根據熱力學的原理，在溫度為T時，出現能量差為dE的降溫的概率為P(dE)，表示為：

　　　　P(dE) = exp( dE/(kT) )

　　其中k是一個常數，exp表示自然指數，且dE<0。這條公式說白了就是：溫度越高，出現一次能量差為dE的降溫的概率就越大；溫度越低，則出現降溫的概率就越小。又由于dE總是小于0（否則就不叫退火了），因此dE/kT < 0 ，所以P(dE)的函數取值范圍是(0,1) 。

　　隨著溫度T的降低，P(dE)會逐漸降低。

　　我們將一次向較差解的移動看做一次溫度跳變過程，我們以概率P(dE)來接受這樣的移動。

　　關于爬山算法與模擬退火，有一個有趣的比喻：

　　爬山算法：兔子朝著比現在高的地方跳去。它找到了不遠處的最高山峰。但是這座山不一定是珠穆朗瑪峰。這就是爬山算法，它不能保證局部最優值就是全局最優值。

　　模擬退火：兔子喝醉了。它隨機地跳了很長時間。這期間，它可能走向高處，也可能踏入平地。但是，它漸漸清醒了并朝最高方向跳去。這就是模擬退火。

?

下面給出模擬退火的偽代碼表示。

?

三. 模擬退火算法偽代碼

代碼 /*
* J(y)：在狀態y時的評價函數值
* Y(i)：表示當前狀態
* Y(i+1)：表示新的狀態
* r： 用于控制降溫的快慢
* T： 系統的溫度，系統初始應該要處于一個高溫的狀態
* T_min ：溫度的下限，若溫度T達到T_min，則停止搜索
*/
while( T?>?T_min )
{
　　dE?=?J( Y(i+1) )?-?J( Y(i) ) ;?

　　if?( dE?>=0?)?//表達移動后得到更優解，則總是接受移動
Y(i+1)?=?Y(i) ;?//接受從Y(i)到Y(i+1)的移動
　　else
　　{
//?函數exp( dE/T )的取值范圍是(0,1) ，dE/T越大，則exp( dE/T )也
if?( exp( dE/T )?>?random(?0?,?1?) )
Y(i+1)?=?Y(i) ;?//接受從Y(i)到Y(i+1)的移動
　　}
　　T?=?r?*?T ;?//降溫退火 ，0<r<1 。r越大，降溫越慢；r越小，降溫越快
　　/*
　　* 若r過大，則搜索到全局最優解的可能會較高，但搜索的過程也就較長。若r過小，則搜索的過程會很快，但最終可能會達到一個局部最優值
　　*/
　　i?++?;
}

四. 使用模擬退火算法解決旅行商問題

　　旅行商問題 ( TSP , Traveling Salesman Problem ) ：有N個城市，要求從其中某個問題出發，唯一遍歷所有城市，再回到出發的城市，求最短的路線。

　　旅行商問題屬于所謂的NP完全問題，精確的解決TSP只能通過窮舉所有的路徑組合，其時間復雜度是O(N!) 。

　　使用模擬退火算法可以比較快的求出TSP的一條近似最優路徑。（使用遺傳算法也是可以的，我將在下一篇文章中介紹）模擬退火解決TSP的思路：

1. 產生一條新的遍歷路徑P(i+1)，計算路徑P(i+1)的長度L( P(i+1) )

2. 若L(P(i+1)) < L(P(i))，則接受P(i+1)為新的路徑，否則以模擬退火的那個概率接受P(i+1) ，然后降溫

3. 重復步驟1，2直到滿足退出條件

　　產生新的遍歷路徑的方法有很多，下面列舉其中3種：

1. 隨機選擇2個節點，交換路徑中的這2個節點的順序。

2. 隨機選擇2個節點，將路徑中這2個節點間的節點順序逆轉。

3. 隨機選擇3個節點m，n，k，然后將節點m與n間的節點移位到節點k后面。

?

五. 算法評價

?? ? ? ?模擬退火算法是一種隨機算法，并不一定能找到全局的最優解，可以比較快的找到問題的近似最優解。?如果參數設置得當，模擬退火算法搜索效率比窮舉法要高。

遺傳算法 ( GA , Genetic Algorithm ) ，也稱進化算法 。 遺傳算法是受達爾文的進化論的啟發，借鑒生物進化過程而提出的一種啟發式搜索算法。因此在介紹遺傳算法前有必要簡單的介紹生物進化知識。

?

?

一.進化論知識?

　　作為遺傳算法生物背景的介紹，下面內容了解即可：

　　種群(Population)：生物的進化以群體的形式進行，這樣的一個群體稱為種群。

　　個體：組成種群的單個生物。

　　基因?( Gene )?：一個遺傳因子。?

　　染色體?( Chromosome )?：包含一組的基因。

　　生存競爭，適者生存：對環境適應度高的、牛B的個體參與繁殖的機會比較多，后代就會越來越多。適應度低的個體參與繁殖的機會比較少，后代就會越來越少。

　　遺傳與變異：新個體會遺傳父母雙方各一部分的基因，同時有一定的概率發生基因變異。

?

　　簡單說來就是：繁殖過程，會發生基因交叉( Crossover ) ，基因突變 ( Mutation ) ，適應度( Fitness )低的個體會被逐步淘汰，而適應度高的個體會越來越多。那么經過N代的自然選擇后，保存下來的個體都是適應度很高的，其中很可能包含史上產生的適應度最高的那個個體。

?

?

二.遺傳算法思想?

　　借鑒生物進化論，遺傳算法將要解決的問題模擬成一個生物進化的過程，通過復制、交叉、突變等操作產生下一代的解，并逐步淘汰掉適應度函數值低的解，增加適應度函數值高的解。這樣進化N代后就很有可能會進化出適應度函數值很高的個體。

　　舉個例子，使用遺傳算法解決“0-1背包問題”的思路：0-1背包的解可以編碼為一串0-1字符串（0：不取，1：取） ；首先，隨機產生M個0-1字符串，然后評價這些0-1字符串作為0-1背包問題的解的優劣；然后，隨機選擇一些字符串通過交叉、突變等操作產生下一代的M個字符串，而且較優的解被選中的概率要比較高。這樣經過G代的進化后就可能會產生出0-1背包問題的一個“近似最優解”。

?

　　編碼：需要將問題的解編碼成字符串的形式才能使用遺傳算法。最簡單的一種編碼方式是二進制編碼，即將問題的解編碼成二進制位數組的形式。例如，問題的解是整數，那么可以將其編碼成二進制位數組的形式。將0-1字符串作為0-1背包問題的解就屬于二進制編碼。

?

　　遺傳算法有3個最基本的操作：選擇，交叉，變異。

?

　　選擇：選擇一些染色體來產生下一代。一種常用的選擇策略是?“比例選擇”，也就是個體被選中的概率與其適應度函數值成正比。假設群體的個體總數是M，那么那么一個體Xi被選中的概率為f(Xi)/( f(X1) + f(X2) + …….. + f(Xn) ) 。比例選擇實現算法就是所謂的“輪盤賭算法”( Roulette Wheel Selection ) ，輪盤賭算法的一個簡單的實現如下：

?

輪盤賭算法 /*
* 按設定的概率，隨機選中一個個體
* P[i]表示第i個個體被選中的概率
*/
int?RWS()
{
m?=0;
r?=Random(0,1);?//r為0至1的隨機數
for(i=1;i<=N; i++)
{
/*?產生的隨機數在m~m+P[i]間則認為選中了i
* 因此i被選中的概率是P[i]
*/
m?=?m?+?P[i];
if(r<=m)?return?i;
}
}

?

交叉(Crossover)：2條染色體交換部分基因，來構造下一代的2條新的染色體。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色體交叉是以一定的概率發生的，這個概率記為Pc 。

?

變異(Mutation)：在繁殖過程，新產生的染色體中的基因會以一定的概率出錯，稱為變異。變異發生的概率記為Pm 。例如：

變異前：

000001110000000010000

變異后：

000001110000100010000

?

適應度函數?( Fitness Function )：用于評價某個染色體的適應度，用f(x)表示。有時需要區分染色體的適應度函數與問題的目標函數。例如：0-1背包問題的目標函數是所取得物品價值，但將物品價值作為染色體的適應度函數可能并不一定適合。適應度函數與目標函數是正相關的，可對目標函數作一些變形來得到適應度函數。

?

?

三.基本遺傳算法的偽代碼?

?

?

基本遺傳算法偽代碼 /*
* Pc：交叉發生的概率
* Pm：變異發生的概率
* M：種群規模
* G：終止進化的代數
* Tf：進化產生的任何一個個體的適應度函數超過Tf，則可以終止進化過程
*/
初始化Pm，Pc，M，G，Tf等參數。隨機產生第一代種群Pop

do
{?
　　計算種群Pop中每一個體的適應度F(i)。
　　初始化空種群newPop
　　do
　　{
　　　　根據適應度以比例選擇算法從種群Pop中選出2個個體
　　　　if?( random (?0?,?1?)?<?Pc )
　　　　{
　　　　　　對2個個體按交叉概率Pc執行交叉操作
　　　　}
　　　　if?( random (?0?,?1?)?<?Pm )
　　　　{
　　　　　　對2個個體按變異概率Pm執行變異操作
　　　　}
將2個新個體加入種群newPop中
} until ( M個子代被創建 )
用newPop取代Pop
}until ( 任何染色體得分超過Tf， 或繁殖代數超過G ) ?

?

?

四.基本遺傳算法優化?

?　　下面的方法可優化遺傳算法的性能。

?　　精英主義(Elitist Strategy)選擇：是基本遺傳算法的一種優化。為了防止進化過程中產生的最優解被交叉和變異所破壞，可以將每一代中的最優解原封不動的復制到下一代中。

?　　插入操作：可在3個基本操作的基礎上增加一個插入操作。插入操作將染色體中的某個隨機的片段移位到另一個隨機的位置。

?

?

五. 使用AForge.Genetic解決TSP問題

　　AForge.NET是一個C#實現的面向人工智能、計算機視覺等領域的開源架構。AForge.NET中包含有一個遺傳算法的類庫。

?

　　AForge.NET主頁：http://www.aforgenet.com/

　　AForge.NET代碼下載：http://code.google.com/p/aforge/

?

　　介紹一下AForge的遺傳算法用法吧。AForge.Genetic的類結構如下：

圖1. AForge.Genetic的類圖

?

?

?? 下面用AForge.Genetic寫個解決TSP問題的最簡單實例。測試數據集采用網上流傳的中國31個省會城市的坐標:

?

13042312
36391315
41772244
37121399
34881535
33261556
32381229
41961004
4312790
4386570
30071970
25621756
27881491
23811676
1332695
37151678
39182179
40612370
37802212
36762578
40292838
42632931
34291908
35072367
33942643
34393201
29353240
31403550
25452357
27782826
23702975

?

?

?

操作過程：

?? (1) 下載AForge.NET類庫，網址：http://code.google.com/p/aforge/downloads/list

?? (2) 創建C#空項目GenticTSP。然后在AForge目錄下找到AForge.dll和AForge.Genetic.dll，將其拷貝到TestTSP項目的bin/Debug目錄下。再通過“Add Reference...”將這兩個DLL添加到工程。

?? (3) 將31個城市坐標數據保存為bin/Debug/Data.txt 。

?? (4) 添加TSPFitnessFunction.cs，加入如下代碼：

?

TSPFitnessFunction類 using?System;
using?AForge.Genetic;

namespace?GenticTSP
{
///<summary>
///?Fitness function for TSP task (Travaling Salasman Problem)
///</summary>
publicclass?TSPFitnessFunction : IFitnessFunction
{
//?map
privateint[,] map?=null;

//?Constructor
public?TSPFitnessFunction(int[,] map)
{
this.map?=?map;
}

///<summary>
///?Evaluate chromosome - calculates its fitness value
///</summary>
publicdouble?Evaluate(IChromosome chromosome)
{
return1/?(PathLength(chromosome)?+1);
}

///<summary>
///?Translate genotype to phenotype?
///</summary>
publicobject?Translate(IChromosome chromosome)
{
return?chromosome.ToString();
}

///<summary>
///?Calculate path length represented by the specified chromosome?
///</summary>
publicdouble?PathLength(IChromosome chromosome)
{
//?salesman path
ushort[] path?=?((PermutationChromosome)chromosome).Value;

//?check path size
if?(path.Length?!=?map.GetLength(0))
{
thrownew?ArgumentException("Invalid path specified - not all cities are visited");
}

//?path length
int?prev?=?path[0];
int?curr?=?path[path.Length?-1];

//?calculate distance between the last and the first city
double?dx?=?map[curr,?0]?-?map[prev,?0];
double?dy?=?map[curr,?1]?-?map[prev,?1];
double?pathLength?=?Math.Sqrt(dx?*?dx?+?dy?*?dy);

//?calculate the path length from the first city to the last
for?(int?i?=1, n?=?path.Length; i?<?n; i++)
{
//?get current city
curr?=?path[i];

//?calculate distance
dx?=?map[curr,?0]?-?map[prev,?0];
dy?=?map[curr,?1]?-?map[prev,?1];
pathLength?+=?Math.Sqrt(dx?*?dx?+?dy?*?dy);

//?put current city as previous
prev?=?curr;
}

return?pathLength;
}
}
}

?

?

?? (5) 添加GenticTSP.cs，加入如下代碼：

?

GenticTSP類 using?System;
using?System.Collections.Generic;
using?System.Linq;
using?System.Text;
using?System.IO;

using?AForge;
using?AForge.Genetic;


namespace?GenticTSP
{
class?GenticTSP
{

staticvoid?Main()
{
StreamReader reader?=new?StreamReader("Data.txt");

int?citiesCount?=31;?//城市數

int[,] map?=newint[citiesCount,?2];

for?(int?i?=0; i?<?citiesCount; i++)
{
string?value?=?reader.ReadLine();
string[] temp?=?value.Split('');
map[i,?0]?=int.Parse(temp[0]);?//讀取城市坐標
map[i,?1]?=int.Parse(temp[1]);
}

//?create fitness function
TSPFitnessFunction fitnessFunction?=new?TSPFitnessFunction(map);

int?populationSize?=?1000;?//種群最大規模

/*?
* 0：EliteSelection算法?
* 1：RankSelection算法?
* 其他：RouletteWheelSelection 算法
*?*/
int?selectionMethod?=0;

//?create population
Population population?=new?Population(populationSize,
new?PermutationChromosome(citiesCount),
fitnessFunction,
(selectionMethod?==0)???(ISelectionMethod)new?EliteSelection() :
(selectionMethod?==1)???(ISelectionMethod)new?RankSelection() :
(ISelectionMethod)new?RouletteWheelSelection()
);

//?iterations
int?iter?=1;
int?iterations?=5000;?//迭代最大周期

//?loop
while?(iter?<?iterations)
{
//?run one epoch of genetic algorithm
population.RunEpoch();

//?increase current iteration
iter++;
}

System.Console.WriteLine("遍歷路徑是： {0}", ((PermutationChromosome)population.BestChromosome).ToString());
System.Console.WriteLine("總路程是：{0}", fitnessFunction.PathLength(population.BestChromosome));
System.Console.Read();

}
}
}

?

?

?

網上據稱這組TSP數據的最好的結果是?15404 ，上面的程序我剛才試了幾次最好一次算出了15402.341，但是最差的時候也跑出了大于16000的結果。

我這還有一個版本，設置種群規模為1000，迭代5000次可以算出15408.508這個結果。源代碼在文章最后可以下載。

?

總結一下使用AForge.Genetic解決問題的一般步驟：

?? (1) 定義適應函數類，需要實現IFitnessFunction接口

?? (2) 選定種群規模、使用的選擇算法、染色體種類等參數，創建種群population

?? (3)設定迭代的最大次數，使用RunEpoch開始計算

?

本文源代碼下載

from:?http://www.cnblogs.com/heaad/archive/2010/12/20/1911614.html

http://www.cnblogs.com/heaad/archive/2010/12/23/1914725.html

總結

以上是生活随笔為你收集整理的大白话解析模拟退火算法、遗传算法入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。