1.19. 2D函數(shù)優(yōu)化實例

為了演示優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)得到loss極小值的過程，和不同初始值可能產(chǎn)生不同的極值點，在此引入了如下圖所示函數(shù)：

從圖中可以看出該函數(shù)2D圖像呈碗狀，有四個極小值點，它的極值點有：

接下來我們通過求解該函數(shù)極小值，來測試我們設(shè)計的優(yōu)化器效果如何。

畫圖代碼：

# -*- coding: UTF-8 -*-import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3Ddef himmelblau(x):return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2 #圖示函數(shù)定義x = np.arange(-6, 6, 0.1) #生成范圍-6到6的點 每個點間隔0.1 共120個點 y = np.arange(-6, 6, 0.1) #生成范圍-6到6的點 每個點間隔0.1 共120個點 print('x,y range:', x.shape, y.shape) X, Y = np.meshgrid(x, y) #把x,y拼接在一起 生成網(wǎng)格坐標(biāo) [120,120] 相當(dāng)于120行 120列矩陣 print('X,Y maps:', X.shape, Y.shape) Z = himmelblau([X, Y]) #傳入[120,120]的坐標(biāo)得到對應(yīng)的函數(shù)值fig = plt.figure('himmelblau') ax = fig.gca(projection='3d') #生成的是3d圖像 ax.plot_surface(X, Y, Z) #傳入 x y z 坐標(biāo) ax.view_init(60, -30) ax.set_xlabel('x') ax.set_ylabel('y') plt.show()""" 中間出現(xiàn)錯誤： ValueError: Unknown projection '3d'解決辦法是加入： from mpl_toolkits.mplot3d import Axes3D """

在上面代碼的基礎(chǔ)上添加如下代碼：

import torch # 不同初始化 會找到不同的解 x = torch.tensor([0., 0.], requires_grad=True) # x,y初始化 需要梯度信息 optimizer = torch.optim.Adam([x], lr=1e-3) # 初始化優(yōu)化器 對x,y進行優(yōu)化 學(xué)習(xí)率為0.001 for step in range(20000): #梯度下降 進行20000次pred = himmelblau(x)optimizer.zero_grad() # 梯度信息清零pred.backward() # 反向傳播 得到梯度optimizer.step() # 自動完成參數(shù)的更新if step % 2000 == 0: # 每2000次打印一次信息print ('step {}: x = {}, f(x) = {}'.format(step, x.tolist(), pred.item()))

輸出結(jié)果：

step 0: x = [0.0009999999310821295, 0.0009999999310821295], f(x) = 170.0 step 2000: x = [2.3331806659698486, 1.9540694952011108], f(x) = 13.730916023254395 step 4000: x = [2.9820079803466797, 2.0270984172821045], f(x) = 0.014858869835734367 step 6000: x = [2.999983549118042, 2.0000221729278564], f(x) = 1.1074007488787174e-08 step 8000: x = [2.9999938011169434, 2.0000083446502686], f(x) = 1.5572823031106964e-09 step 10000: x = [2.999997854232788, 2.000002861022949], f(x) = 1.8189894035458565e-10 step 12000: x = [2.9999992847442627, 2.0000009536743164], f(x) = 1.6370904631912708e-11 step 14000: x = [2.999999761581421, 2.000000238418579], f(x) = 1.8189894035458565e-12 step 16000: x = [3.0, 2.0], f(x) = 0.0 step 18000: x = [3.0, 2.0], f(x) = 0.0

總結(jié)

以上是生活随笔為你收集整理的22_2D函数优化实例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。