目錄

1. 粒子群算法基本思想是什么？

2. 標準PSO 算法流程是什么？

3.?采用粒子群優(yōu)化權(quán)值和偏差值的方式訓(xùn)練模型有何優(yōu)勢？

4. 速度和位置更新公式中的參數(shù)含義

5. 參數(shù)分析與設(shè)置

6. PSO偽代碼是什么

7. PSO優(yōu)缺點是什么

8. PSO有什么應(yīng)用

9. PSO實例1--優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)重Python

10. PSO實例2--求解函數(shù)最值Python

---

1. 粒子群算法基本思想是什么？

粒子群優(yōu)化算法（Particle swarm optimization, PSO）的基本思想：是通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解。

2. 標準PSO 算法流程是什么？

1）初始化一群微粒(群體規(guī)模為N)，包括隨機位置和速度；
2）評價每個微粒的適應(yīng)度；
3）對每個微粒，將其適應(yīng)值與其經(jīng)過的最好位置pbest作比較，如果較好，則將其作為當(dāng)前的最好位置pbest；
4）對每個微粒，將其適應(yīng)值與其經(jīng)過的最好位置gbest作比較，如果較好，則將其作為當(dāng)前的最好位置gbest；
5）根據(jù)公式(2)、(3)調(diào)整微粒速度和位置；
6）未達到結(jié)束條件則轉(zhuǎn)第2）步。

迭代終止條件根據(jù)具體問題一般選為最大迭代次數(shù)Gk或(和)微粒群迄今為止搜索到的最優(yōu)位置滿足預(yù)定最小適應(yīng)閾值

PSO算法過程的形象展示：

??

3.?采用粒子群優(yōu)化權(quán)值和偏差值的方式訓(xùn)練模型有何優(yōu)勢？

1）. 采用粒子群優(yōu)化方法獲取最佳的權(quán)值和偏差值，可以提高模型的預(yù)測精度。

2）. 粒子群優(yōu)化算法簡單易行，可以提高模型的訓(xùn)練速度。

3.） 粒子群優(yōu)化方法不容易陷入局部極值，原來的權(quán)重和偏差值更新方法容易陷入局部極值。

4. 速度和位置更新公式中的參數(shù)含義

速度更新公式為：

位置更新公式為：

其中，

• i=1,2,···,m。-----表示粒子個數(shù)
• d=1,2, ···,D. ------表示維數(shù)
• k------表示當(dāng)前進化代數(shù)，或者說是當(dāng)前迭代次數(shù)
• ------粒子當(dāng)前的位置
• ------慣性因子, 為非負值。值較大時，全局尋優(yōu)能力強，局部尋優(yōu)能力弱；值較小時，全局尋優(yōu)能力弱，局部尋優(yōu)能力強。

計算公式為

------為慣性因子初始值，通常設(shè)置為0.4

------種群迭代到最大進化次數(shù)時的慣性因子值，通常設(shè)置為0.9

?------最大迭代次數(shù)

• ------粒子當(dāng)前最優(yōu)位置
• ------粒子i對應(yīng)的全局最優(yōu)位置
• r1和r2------隨機初始為0-1之間的數(shù)，對群體的多樣性有一定的作用
• c1和c2------學(xué)習(xí)因子（也稱加速因子），影響算法的收斂速度

5. 參數(shù)分析與設(shè)置

• 群體規(guī)模N------一般取20～40，對較難或特定類別的問題可以取到100～200。
• 最大速度Vmax------決定當(dāng)前位置與最好位置之間的區(qū)域的分辨率(或精度)。如果太快，則粒子有可能越過極小點；如果太慢，則粒子不能在局部極小點之外進行足夠的探索，會陷入到局部極值區(qū)域內(nèi)。這種限制可以達到防止計算溢出、決定問題空間搜索的粒度的目的。
• 慣性因子------如果＝0，則速度只取決于當(dāng)前位置和歷史最好位置，速度本身沒有記憶性。
• 學(xué)習(xí)因子c1和c2------c1和c2代表將每個粒子推向pbest和gbest位置的統(tǒng)計加速項的權(quán)值。如果令c1＝c2＝0，粒子將一直以當(dāng)前速度的飛行，直到邊界，很難找到最優(yōu)解。通常設(shè)c1＝c2＝2。Suganthan的實驗表明：c1和c2為常數(shù)時可以得到較好的解，但不一定必須等于2。

6. PSO偽代碼是什么

7. PSO優(yōu)缺點是什么

優(yōu)點：

• 不依賴于問題信息，算法通用性強。
• 需要調(diào)整的參數(shù)少，原理簡單，容易實現(xiàn)
• 協(xié)同搜索，同時利用個體局部信息和群體全局信息指導(dǎo)搜索。
• 收斂速度快， 算法對計算機內(nèi)存和CPU要求不高

缺點：

• 算法局部搜索能力較差，搜索精度不夠高。
• 算法不能絕對保證搜索到全局最優(yōu)解

8. PSO有什么應(yīng)用

• 優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)重

• 函數(shù)優(yōu)化

• 模式分類

• 模糊控制

9. PSO實例1--優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)重Python

#import tensorflow.compat.v1 as tf #tf.compat.v1.disable_v2_behavior() #import tensorflow as tf #第一次用上面的語句跑的時候還好好的，再跑就報錯了 import tensorflow as tf tf = tf.compat.v1 tf.disable_v2_behavior()import numpy as np import pandas as pd import matplotlib.pyplot as plt import random from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.neural_network import MLPRegressor from sklearn.preprocessing import StandardScalerdef function(x1,y1,x2,y2,W):# W是神經(jīng)網(wǎng)絡(luò)的W權(quán)重，根據(jù)這個權(quán)重設(shè)置神經(jīng)網(wǎng)絡(luò)#定義激活函數(shù)activation_function=tf.nn.relu#輸入輸出數(shù)據(jù)集xs=tf.placeholder(tf.float32,[None,None])ys=tf.placeholder(tf.float32,[None,None])#設(shè)計bp神經(jīng)網(wǎng)絡(luò)，三層，13,3,1weights_1=tf.Variable(W[0,:,:],tf.float32)biases_1=tf.Variable(tf.zeros([1,3])+0.1,tf.float32)wx_plus_b_1=tf.matmul( xs, tf.cast(weights_1,tf.float32))+biases_1outputs_1=activation_function(wx_plus_b_1)weights_2=tf.Variable(W[1,0:3,:],tf.float32)biases_2=tf.Variable(tf.zeros([1,3])+0.1,tf.float32)wx_plus_b_2=tf.matmul(outputs_1 , tf.cast(weights_2,tf.float32))+biases_2outputs_2=activation_function(wx_plus_b_2)w3=W[2,0:3,0].reshape(3,1)weights_3=tf.Variable(w3,tf.float32)biases_3=tf.Variable(0.1,tf.float32)wx_plus_b_3=tf.matmul(outputs_2,tf.cast(weights_3,tf.float32))+biases_3#預(yù)測輸出結(jié)果prediction=wx_plus_b_3 #看來這里的數(shù)據(jù)就用行向量來輸入輸出#定義損失函數(shù)loss=tf.reduce_mean(tf.reduce_sum(tf.square(y1-prediction),reduction_indices=[1]))#梯度下降法訓(xùn)練train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)#初始化變量init=tf.global_variables_initializer()#執(zhí)行會話，開始訓(xùn)練模型print("開始")with tf.Session() as sess:sess.run(init)for i in range (1000):sess.run(train_step,feed_dict={ xs:x1 , ys:y1 })end_loss=sess.run(loss,feed_dict={xs:x1,ys:y1})print(end_loss) # print(sess.run(prediction,feed_dict={xs:x2}))print("結(jié)束")return end_loss#導(dǎo)入數(shù)據(jù)集 data=load_boston() data_pd=pd.DataFrame(data.data,columns=data.feature_names) data_pd["price"]=data.target#dataframe導(dǎo)入numpy x=np.array(data_pd.loc[:,'CRIM':'LSTAT'])y=np.array(data_pd.loc[:,'price'])y.shape=(506,1) #訓(xùn)練集測試集 x_train,x_test,y_train,y_test=train_test_split(x,y , test_size=0.1 ) #數(shù)據(jù)標準化 SC=StandardScaler() x_train=SC.fit_transform(x_train) y_train=SC.fit_transform(y_train) x_test=SC.fit_transform(x_test) y_test=SC.fit_transform(y_test)#粒子數(shù)量num num = 3#粒子位置矩陣的形狀 num_x = 3 num_y = 13 num_z = 3#p為粒子位置矩陣，初始化為標準正態(tài)分布 p = np.random.randn(num,num_x,num_y,num_z)#初始化粒子速度,以標準正態(tài)分布隨機初始化 v = np.random.randn(num,num_x,num_y,num_z)#個體最佳位置 good_p = np.array(p, copy=True)#全局最佳位置 best_p = np.zeros((num_x, num_y, num_z))#每次粒子移動后所計算出新的目標函數(shù)值 new_y = np.zeros(num)#粒子個體歷史最優(yōu)值 good_y = np.zeros(num)#粒子群體歷史最優(yōu)值 best_y = 0#計算出初始粒子群的目標函數(shù)值 for i in range(num):good_y[i] = function(x_train, y_train, x_test, y_test, p[i, :, :, :])#目標函數(shù)返回值是誤差，那么最小的就是最優(yōu)的 best_y = min(good_y)#確定初始時最優(yōu)位置 best_p = p[np.argmin(good_y), :, :, :]#設(shè)置最大迭代次數(shù) max_iter = 10#開始迭代 for i in range(max_iter):#速度更新公式v = random.random() * v + 2.4 * random.random() * (best_p - p) + 1.7 * random.random() * ( good_p - p )#粒子位置更新p = p + v#計算每個粒子到達新位置后所得到的目標函數(shù)值for i in range(num):new_y[i] = function(x_train, y_train, x_test, y_test, p[i, :, :, :])#更新全局最優(yōu)if min(new_y) < best_y:best_y = min(new_y)best_p = p[np.argmin(new_y), :, :, :]#更新個體歷史最優(yōu)for i in range(num):if new_y[i] < good_y[i]:good_y[i] = new_y[i]good_p[i, :, :, :] = p[i, :, :, :] # 當(dāng)對切片修改時，原始numpy數(shù)據(jù)也修改print("結(jié)束") print('目標函數(shù)最優(yōu)值：',best_y) print('此時的粒子位置：',best_p)

10. PSO實例2--求解函數(shù)最值Python

public class AlgorithmPSO {int n=2; //粒子個數(shù)，這里為了方便演示，我們只取兩個，觀察其運動方向double[] y;double[] x;double[] v;double c1=2;double c2=2;double pbest[];double gbest;double vmax=0.1; //速度最大值//適應(yīng)度計算函數(shù)，每個粒子都有它的適應(yīng)度public void fitnessFunction(){for(int i=0;i<n;i++){y[i]=-1*x[i]*(x[i]-2);}}public void init(){ //初始化x=new double[n];v=new double[n];y=new double[n];pbest=new double[n];/**** 本來是應(yīng)該隨機產(chǎn)生的，為了方便演示，我這里手動隨機落兩個點，分別落在最大值兩邊*/x[0]=0.0;x[1]=2.0;v[0]=0.01;v[1]=0.02;fitnessFunction();//初始化當(dāng)前個體最優(yōu)位置，并找到群體最優(yōu)位置for(int i=0;i<n;i++){pbest[i]=y[i];if(y[i]>gbest) gbest=y[i];}System.out.println("算法開始，起始最優(yōu)解:"+gbest);System.out.print("\n");}public double getMAX(double a,double b){return a>b?a:b;}//粒子群算法public void PSO(int max){for(int i=0;i<max;i++){double w=0.4;for(int j=0;j<n;j++){//更新位置和速度，下面就是我們之前重點講解的兩條公式。v[j]=w*v[j]+c1*Math.random()*(pbest[j]-x[j])+c2*Math.random()*(gbest-x[j]);if(v[j]>vmax) v[j]=vmax;//控制速度不超過最大值x[j]+=v[j];//越界判斷，范圍限定在[0, 2]if(x[j]>2) x[j]=2;if(x[j]<0) x[j]=0;}fitnessFunction();//更新個體極值和群體極值for(int j=0;j<n;j++){pbest[j]=getMAX(y[j],pbest[j]);if(pbest[j]>gbest) gbest=pbest[j];System.out.println("粒子n"+j+": x = "+x[j]+" "+"v = "+v[j]);}System.out.println("第"+(i+1)+"次迭代，全局最優(yōu)解 gbest = "+gbest);System.out.print("\n");}}//運行我們的算法public static void main(String[] args){AlgorithmPSO ts=new AlgorithmPSO();ts.init();ts.PSO(10);//為了方便演示，我們暫時迭代10次。}}

輸出結(jié)果：

算法開始，起始最優(yōu)解:0.0粒子n0: x = 0.004 v = 0.004 粒子n1: x = 0.0 v = -4.065770842472382 第1次迭代，全局最優(yōu)解 gbest = 0.007984粒子n0: x = 0.01778510589090629 v = 0.013785105890906289 粒子n1: x = 0.0 v = -1.625639647649872 第2次迭代，全局最優(yōu)解 gbest = 0.03525390179026183粒子n0: x = 0.0610276658084214 v = 0.04324255991751511 粒子n1: x = 0.0 v = -0.6035255880722042 第3次迭代，全局最優(yōu)解 gbest = 0.11833095562281844粒子n0: x = 0.1610276658084214 v = 0.1 粒子n1: x = 0.0 v = -0.012719944703824898 第4次迭代，全局最優(yōu)解 gbest = 0.29612542246113416粒子n0: x = 0.2610276658084214 v = 0.1 粒子n1: x = 0.06231495466940402 v = 0.06231495466940402 第5次迭代，全局最優(yōu)解 gbest = 0.4539198892994499粒子n0: x = 0.3610276658084214 v = 0.1 粒子n1: x = 0.16231495466940402 v = 0.1 第6次迭代，全局最優(yōu)解 gbest = 0.5917143561377656粒子n0: x = 0.46102766580842136 v = 0.1 粒子n1: x = 0.262314954669404 v = 0.1 第7次迭代，全局最優(yōu)解 gbest = 0.7095088229760813粒子n0: x = 0.5610276658084213 v = 0.1 粒子n1: x = 0.362314954669404 v = 0.1 第8次迭代，全局最優(yōu)解 gbest = 0.8073032898143969粒子n0: x = 0.6610276658084213 v = 0.1 粒子n1: x = 0.462314954669404 v = 0.1 第9次迭代，全局最優(yōu)解 gbest = 0.8850977566527127粒子n0: x = 0.7610276658084213 v = 0.1 粒子n1: x = 0.562314954669404 v = 0.1 第10次迭代，全局最優(yōu)解 gbest = 0.9428922234910285

現(xiàn)在我們來觀察兩個粒子的位移x在每一次迭代中的變化（離食物的距離）。

1) 初始狀態(tài)

粒子n0: x = 0.0 v = 0.01

粒子n1: x = 2.0 v = 0.02

兩個粒子位于區(qū)間兩端。

2) 第一次迭代

粒子n0: x = 0.004 v = 0.004

粒子n1: x = 0.0 v = -4.065770842472382

兩個粒子都跑到原點了。

3) 第二、三……十次迭代

可以看到，兩個粒子在不斷靠近最優(yōu)點。上面多個圈是他們聚集的過程，可以看出來，聚集過程是個越來越密集的過程。這才是10次迭代而已。如果我們加大迭代次數(shù)，很容易就找出最優(yōu)解了。最后放上一個迭代100次的結(jié)果：

---

參考資料：

【算法】粒子群算法Particle Swarm Optimization超詳細解析+代碼實例講解 - 云+社區(qū) - 騰訊云 (tencent.com)?粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值（python實現(xiàn)）_哈哈傻的博客-CSDN博客_粒子群優(yōu)化bp神經(jīng)網(wǎng)絡(luò)

經(jīng)典優(yōu)化算法 | 粒子群算法解析 - 知乎 (zhihu.com)

總結(jié)

以上是生活随笔為你收集整理的【十问十答】粒子群算法（PSO）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。