【超參數尋優】量子粒子群算法（QPSO） 超參數尋優的python實現

??? 一、粒子群算法的缺點
??? 二、量子粒子群算法
??? 三、QPSO算法的python實現
??? 參考資料

一、粒子群算法的缺點

本人之前的博文（參考資料【1】）已經詳細介紹了PSO算法，學習本博文前需要先學習PSO算法。

PSO算法的缺點：
1、需要設定的參數（慣性因子w
w，局部學習因子c1c1?和全局學習因子c2

c2?）太多，不利于找到待優化模型的最優參數。
2、粒子位置變化缺少隨機性，容易陷入局部最優的陷阱。
二、量子粒子群算法

量子粒子群優化（Quantum Particle Swarm Optimization，QPSO）算法取消了粒子的移動方向屬性，粒子位置的更新跟該粒子之前的運動沒有任何關系，這樣就增加了粒子位置的隨機性（參考資料【2】）。
量子粒子群算法中引入的新名詞：
mbest：表示pbest的平均值，即平均的粒子歷史最好位置。
量子粒子群算法的粒子更新步驟：
步驟一：計算mbest

Mbest=1M∑Mi=1pbest_i

Mbest?=M1?i=1∑M?pbest_i?

其中M
M表示粒子群的大小，pbest_ipbest_i?表示當前迭代中的第ii個pbest

pbest。

步驟二：粒子位置更新

Pi=??pbest_i+(1??)gbest

Pi?=??pbest_i?+(1??)gbest

其中gbest
gbest表示當前全局最優粒子，PiPi?用于第i

i個粒子位置的更新。
粒子位置更新公式為：

xi=Pi±α∣Mbest?xi∣ln(1u)

xi?=Pi?±α∣Mbest??xi?∣ln(u1?)

其中xi
xi?表示第ii個粒子的位置，αα為創新參數，??和uu為（0,1）（0,1）上的均勻分布數值。取++和?

?的概率為0.5。

由上所示，QPSO算法中只有一個創新參數α
α設置，一般α

α不大于1。
三、QPSO算法的python實現

完整python代碼和樣本地址：https://github.com/shiluqiang/QPSO_python
本博文以非線性SVM為待優化模型，待優化參數為正則化參數C
C和核參數 σ

σ，適應度函數值為3-fold交叉驗證平均值。

## 2. QPSO算法
class QPSO(object):
??? def __init__(self,particle_num,particle_dim,alpha,iter_num,max_value,min_value):
??????? '''定義類參數
??????? particle_num(int):粒子群大小
??????? particle_dim(int):粒子維度，對應待尋優參數的個數
??????? alpha(float):控制系數
??????? iter_num(int):最大迭代次數
??????? max_value(float):參數的最大值
??????? min_value(float):參數的最小值
??????? '''
??????? self.particle_num = particle_num
??????? self.particle_dim = particle_dim
??????? self.iter_num = iter_num
??????? self.alpha = alpha
??????? self.max_value = max_value
??????? self.min_value = min_value

### 2.1 粒子群初始化
??? def swarm_origin(self):
??????? '''初始化粒子群中的粒子位置
??????? input:self(object):QPSO類
??????? output:particle_loc(list):粒子群位置列表
??????? '''
??????? particle_loc = []
??????? for i in range(self.particle_num):
??????????? tmp1 = []
??????????? for j in range(self.particle_dim):
??????????????? a = random.random()
??????????????? tmp1.append(a * (self.max_value - self.min_value) + self.min_value)
??????????? particle_loc.append(tmp1)
?????? ?
??????? return particle_loc

### 2.2 計算適應度函數數值列表
??? def fitness(self,particle_loc):
??????? '''計算適應度函數值
??????? input:self(object):PSO類
????????????? particle_loc(list):粒子群位置列表
??????? output:fitness_value(list):適應度函數值列表
??????? '''
??????? fitness_value = []
??????? ### 1.適應度函數為RBF_SVM的3_fold交叉校驗平均值
??????? for i in range(self.particle_num):
??????????? rbf_svm = svm.SVC(kernel = 'rbf', C = particle_loc[i][0], gamma = particle_loc[i][1])
??????????? cv_scores = cross_validation.cross_val_score(rbf_svm,trainX,trainY,cv =3,scoring = 'accuracy')
??????????? fitness_value.append(cv_scores.mean())
??????? ### 2. 當前粒子群最優適應度函數值和對應的參數
??????? current_fitness = 0.0
??????? current_parameter = []
??????? for i in range(self.particle_num):
??????????? if current_fitness < fitness_value[i]:
??????????????? current_fitness = fitness_value[i]
??????????????? current_parameter = particle_loc[i]

??????? return fitness_value,current_fitness,current_parameter

### 2.3 粒子位置更新?? ?
??? def updata(self,particle_loc,gbest_parameter,pbest_parameters):
??????? '''粒子位置更新
??????? input:self(object):QPSO類
????????????? particle_loc(list):粒子群位置列表
????????????? gbest_parameter(list):全局最優參數
????????????? pbest_parameters(list):每個粒子的歷史最優值
??????? output:particle_loc(list):新的粒子群位置列表
??????? '''
??????? Pbest_list = pbest_parameters
??????? #### 2.3.1 計算mbest
??????? mbest = []
??????? total = []
??????? for l in range(self.particle_dim):
??????????? total.append(0.0)
??????? total = np.array(total)
?????? ?
??????? for i in range(self.particle_num):
??????????? total += np.array(Pbest_list[i])
??????? for j in range(self.particle_dim):
??????????? mbest.append(list(total)[j] / self.particle_num)
?????? ?
??????? #### 2.3.2 位置更新
??????? ##### Pbest_list更新
??????? for i in range(self.particle_num):
??????????? a = random.uniform(0,1)
??????????? Pbest_list[i] = list(np.array([x * a for x in Pbest_list[i]]) + np.array([y * (1 - a) for y in gbest_parameter]))
??????? ##### particle_loc更新
??????? for j in range(self.particle_num):
??????????? mbest_x = []? ## 存儲mbest與粒子位置差的絕對值
??????????? for m in range(self.particle_dim):
??????????????? mbest_x.append(abs(mbest[m] - particle_loc[j][m]))
??????????? u = random.uniform(0,1)
??????????? if random.random() > 0.5:
??????????????? particle_loc[j] = list(np.array(Pbest_list[j]) + np.array([self.alpha * math.log(1 / u) * x for x in mbest_x]))
??????????? else:
??????????????? particle_loc[j] = list(np.array(Pbest_list[j]) - np.array([self.alpha * math.log(1 / u) * x for x in mbest_x]))
?????????????? ?
??????? #### 2.3.3 將更新后的量子位置參數固定在[min_value,max_value]內
??????? ### 每個參數的取值列表
??????? parameter_list = []
??????? for i in range(self.particle_dim):
??????????? tmp1 = []
??????????? for j in range(self.particle_num):
??????????????? tmp1.append(particle_loc[j][i])
??????????? parameter_list.append(tmp1)
??????? ### 每個參數取值的最大值、最小值、平均值? ?
??????? value = []
??????? for i in range(self.particle_dim):
??????????? tmp2 = []
??????????? tmp2.append(max(parameter_list[i]))
??????????? tmp2.append(min(parameter_list[i]))
??????????? value.append(tmp2)
?????? ?
??????? for i in range(self.particle_num):
??????????? for j in range(self.particle_dim):
??????????????? particle_loc[i][j] = (particle_loc[i][j] - value[j][1])/(value[j][0] - value[j][1]) * (self.max_value - self.min_value) + self.min_value
?????????????? ?
??????? return particle_loc

## 2.4 畫出適應度函數值變化圖
??? def plot(self,results):
??????? '''畫圖
??????? '''
??????? X = []
??????? Y = []
??????? for i in range(self.iter_num):
??????????? X.append(i + 1)
??????????? Y.append(results[i])
??????? plt.plot(X,Y)
??????? plt.xlabel('Number of iteration',size = 15)
??????? plt.ylabel('Value of CV',size = 15)
??????? plt.title('QPSO_RBF_SVM parameter optimization')
??????? plt.show()??????? ?

## 2.5 主函數
??? def main(self):
??????? results = []
??????? best_fitness = 0.0
??????? ## 1、粒子群初始化
??????? particle_loc = self.swarm_origin()
??????? ## 2、初始化gbest_parameter、pbest_parameters、fitness_value列表
??????? ### 2.1 gbest_parameter
??????? gbest_parameter = []
??????? for i in range(self.particle_dim):
??????????? gbest_parameter.append(0.0)
??????? ### 2.2 pbest_parameters
??????? pbest_parameters = []
??????? for i in range(self.particle_num):
??????????? tmp1 = []
??????????? for j in range(self.particle_dim):
??????????????? tmp1.append(0.0)
??????????? pbest_parameters.append(tmp1)
??????? ### 2.3 fitness_value
??????? fitness_value = []
??????? for i in range(self.particle_num):
??????????? fitness_value.append(0.0)
?????? ?
??????? ## 3、迭代
??????? for i in range(self.iter_num):
??????????? ### 3.1 計算當前適應度函數值列表
??????????? current_fitness_value,current_best_fitness,current_best_parameter = self.fitness(particle_loc)
??????????? ### 3.2 求當前的gbest_parameter、pbest_parameters和best_fitness
??????????? for j in range(self.particle_num):
??????????????? if current_fitness_value[j] > fitness_value[j]:
??????????????????? pbest_parameters[j] = particle_loc[j]
??????????? if current_best_fitness > best_fitness:
??????????????? best_fitness = current_best_fitness
??????????????? gbest_parameter = current_best_parameter
?????????? ?
??????????? print('iteration is :',i+1,';Best parameters:',gbest_parameter,';Best fitness',best_fitness)
??????????? results.append(best_fitness)
??????????? ### 3.3 更新fitness_value
??????????? fitness_value = current_fitness_value
??????????? ### 3.4 更新粒子群
??????????? particle_loc = self.updata(particle_loc,gbest_parameter,pbest_parameters)
??????? ## 4.結果展示
??????? results.sort()
??????? self.plot(results)
??????? print('Final parameters are :',gbest_parameter)

最優適應度函數值隨迭代次數的變化如下圖：

參考資料

1、https://blog.csdn.net/Luqiang_Shi/article/details/84720738
2、鄭偉博. 粒子群優化算法的改進及其應用研究[D]. 2016.
?

總結

以上是生活随笔為你收集整理的【超参数寻优】量子粒子群算法（QPSO） 超参数寻优的python实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。