一、正則化之weight_decay

1、Regularization：減少方差的策略

誤差可分解為：偏差、方差與噪聲之和。

誤差=偏差+方差+噪聲

偏差：度量了學習算法的期望預測與真實結果的偏離程度，即刻畫了學習算法本身的擬合能力；

方差：度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數據擾動所造成的影響；

噪聲：表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界；

損失函數：衡量模型輸出與真實標簽的差異；

損失函數（loss function）：

代價函數（cost function）：

目標函數（objective function）：

obj = Cost + Regularization Term

針對Regularization Term常用的有兩種：

L1?Regularization Term

L2?Regularization Term

（1）?L1?Regularization Term

（2）L2?Regularization Term

左邊的圖對應L1正則化，右邊對應L2正則化；

regularization解決overfitting(L2正則化解決過擬合問題)

regularization可以使得訓練曲線變得更加平緩，在訓練集上的誤差變大，但是在測試集上的誤差變小。

最初的loss function只是考慮了prediction的error，而regularization是在原來loss function的基礎上加了一個正則化項，就是上面對應的L1和L2；

針對增加的正則化項，其中主要有兩個參數，?和??， 因此就期望參數??的值越小甚至接近0；因為參數值接近0的function是比較平滑的，這里為什么沒有考慮偏置??呢？因為這個參數值大小與function的平滑程度是沒有關系的，偏置的大小只是把function上下移動而已；針對較平滑的function，由于輸出對輸入是不敏感的，測試的時候，一些噪聲對這個平滑的function的影響就會較小。

還有就是?? 這個值是需要手動去調整以取得最好的值；具體可以參考李宏毅老師的講解：

我們喜歡比較平滑的function，因為它對noise不那么sensitive；但是我們又不喜歡太平滑的function，因為它就失去了對data擬合的能力；而function的平滑程度，就需要通過調整 ?來決定；

?L2 Regularization = weight decay（權值衰減）

代碼部分：

import torch import torch.nn as nn import matplotlib.pyplot as plt from tools.common_tools import set_seed from torch.utils.tensorboard import SummaryWriter set_seed(1) n_hidden = 200 max_iter = 2000 disp_interval = 200 lr_init = 0.01def gen_data(num_data=10, x_range=(-1, 1)):w = 1.5train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)train_y = w*train_x + torch.normal(0, 0.5, size=train_x.size())test_x = torch.linspace(*x_range, num_data).unsqueeze_(1)test_y = w*test_x + torch.normal(0, 0.3, size=test_x.size())return train_x, train_y, test_x, test_ytrain_x, train_y, test_x, test_y = gen_data(x_range=(-1, 1))class MLP(nn.Module):def __init__(self, neural_num):super(MLP, self).__init__()self.linears = nn.Sequential(nn.Linear(1, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, 1),)def forward(self, x):return self.linears(x)net_normal = MLP(neural_num=n_hidden) net_weight_decay = MLP(neural_num=n_hidden)# 優化器 optim_normal = torch.optim.SGD(net_normal.parameters(), lr=lr_init, momentum=0.9) optim_wdecay = torch.optim.SGD(net_weight_decay.parameters(), lr=lr_init, momentum=0.9, weight_decay=1e-2)# 損失函數 loss_func = torch.nn.MSELoss()writer = SummaryWriter(comment='_test_tensorboard', filename_suffix="12345678") for epoch in range(max_iter):# forwardpred_normal, pred_wdecay = net_normal(train_x), net_weight_decay(train_x)loss_normal, loss_wdecay = loss_func(pred_normal, train_y), loss_func(pred_wdecay, train_y)optim_normal.zero_grad()optim_wdecay.zero_grad()loss_normal.backward()loss_wdecay.backward()optim_normal.step()optim_wdecay.step()if (epoch+1) % disp_interval == 0:# 可視化for name, layer in net_normal.named_parameters():writer.add_histogram(name + '_grad_normal', layer.grad, epoch)writer.add_histogram(name + '_data_normal', layer, epoch)for name, layer in net_weight_decay.named_parameters():writer.add_histogram(name + '_grad_weight_decay', layer.grad, epoch)writer.add_histogram(name + '_data_weight_decay', layer, epoch)test_pred_normal, test_pred_wdecay = net_normal(test_x), net_weight_decay(test_x)# 繪圖plt.scatter(train_x.data.numpy(), train_y.data.numpy(), c='blue', s=50, alpha=0.3, label='train')plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='red', s=50, alpha=0.3, label='test')plt.plot(test_x.data.numpy(), test_pred_normal.data.numpy(), 'r-', lw=3, label='no weight decay')plt.plot(test_x.data.numpy(), test_pred_wdecay.data.numpy(), 'b--', lw=3, label='weight decay')plt.text(-0.25, -1.5, 'no weight decay loss={:.6f}'.format(loss_normal.item()), fontdict={'size': 15, 'color': 'red'})plt.text(-0.25, -2, 'weight decay loss={:.6f}'.format(loss_wdecay.item()), fontdict={'size': 15, 'color': 'red'})plt.ylim((-2.5, 2.5))plt.legend(loc='upper left')plt.title("Epoch: {}".format(epoch+1))plt.show()plt.close()

雖然no weight decay擬合了所有的點，但是過擬合了，我們需要的是平滑的；

?

?

?

?

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的正则化之weight-decay的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。