目錄

• 一、正則化與偏差-方差分解
• • 1. 偏差和方差
  • 2. L1正則和L2正則
• 二、PyTorch中的 L2 正則項(xiàng) weight decay
• • 1. L2 Regularization = weight decay(權(quán)值衰減)

---

任務(wù)簡(jiǎn)介：

了解正則化中L1和L2（weight decay）；了解dropout

詳細(xì)說(shuō)明：

本節(jié)第一部分學(xué)習(xí)正則化的概念，正則化方法是機(jī)器學(xué)習(xí)（深度學(xué)習(xí)）中重要的方法，它目的在于減小方差。常用的正則化方法有L1和L2正則化，其中L2正則化又稱為weight decay。在pytorch的優(yōu)化器中就提供了weight decay的實(shí)現(xiàn)，本節(jié)課將學(xué)習(xí)weight decay的pytorch實(shí)現(xiàn)。

本節(jié)第二部分學(xué)習(xí)深度學(xué)習(xí)中常見(jiàn)的正則化方法——Dropout，Dropout是簡(jiǎn)潔高效的正則化方法，但需要注意其在實(shí)現(xiàn)過(guò)程中的權(quán)值數(shù)據(jù)尺度問(wèn)題。本節(jié)將詳細(xì)學(xué)習(xí)pytorch中Dropout的實(shí)現(xiàn)細(xì)節(jié)。

一、正則化與偏差-方差分解

正則化：提高模型的泛化能力，降低過(guò)擬合的可能${}^{[1]}$。

1. 偏差和方差

例：

很好的擬合了所有的訓(xùn)練數(shù)據(jù)，但在驗(yàn)證集的表現(xiàn)很差，嚴(yán)重過(guò)擬合。

2. L1正則和L2正則

從L1正則的示例圖中可以看出：當(dāng)$w^1=0$ 時(shí)，目標(biāo)函數(shù)的值最小，此時(shí)$w^1$ 這個(gè)權(quán)重在模型中不起作用，可以刪除，達(dá)到了權(quán)值稀疏的效果。

二、PyTorch中的 L2 正則項(xiàng) weight decay

1. L2 Regularization = weight decay(權(quán)值衰減)

權(quán)值衰減 是一直以來(lái)經(jīng)常被使用的一種抑制過(guò)擬合的方法。該方法通過(guò)在學(xué)習(xí)的過(guò)程中對(duì)大的權(quán)重進(jìn)行懲罰，來(lái)抑制過(guò)擬合。很多過(guò)擬合原本就是因?yàn)闄?quán)重參數(shù)取值過(guò)大才發(fā)生的。為損失函數(shù)加上權(quán)重的平方范數(shù)（L2 范數(shù)）。這樣一來(lái)，就可以抑制權(quán)重變大。$\lambda$ 是控制正則化強(qiáng)度的超參數(shù)。$\lambda$ 設(shè)置得越大，對(duì)大的權(quán)重施加的懲罰就越重${}^{[2]}$。

測(cè)試代碼：

hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..") sys.path.append(hello_pytorch_DIR)from tools.common_tools import set_seed from torch.utils.tensorboard import SummaryWriterset_seed(1) # 設(shè)置隨機(jī)種子 n_hidden = 200 max_iter = 2000 disp_interval = 200 lr_init = 0.01# ============================ step 1/5 數(shù)據(jù) ============================ def gen_data(num_data=10, x_range=(-1, 1)):w = 1.5train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)train_y = w*train_x + torch.normal(0, 0.5, size=train_x.size())test_x = torch.linspace(*x_range, num_data).unsqueeze_(1)test_y = w*test_x + torch.normal(0, 0.3, size=test_x.size())return train_x, train_y, test_x, test_ytrain_x, train_y, test_x, test_y = gen_data(x_range=(-1, 1))# ============================ step 2/5 模型 ============================ class MLP(nn.Module):def __init__(self, neural_num):super(MLP, self).__init__()self.linears = nn.Sequential(nn.Linear(1, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, neural_num),nn.ReLU(inplace=True),nn.Linear(neural_num, 1),)def forward(self, x):return self.linears(x)net_normal = MLP(neural_num=n_hidden) net_weight_decay = MLP(neural_num=n_hidden)# ============================ step 3/5 優(yōu)化器 ============================ optim_normal = torch.optim.SGD(net_normal.parameters(), lr=lr_init, momentum=0.9) optim_wdecay = torch.optim.SGD(net_weight_decay.parameters(), lr=lr_init, momentum=0.9, weight_decay=1e-2)# ============================ step 4/5 損失函數(shù) ============================ loss_func = torch.nn.MSELoss()# ============================ step 5/5 迭代訓(xùn)練 ============================writer = SummaryWriter(comment='_test_tensorboard', filename_suffix="12345678") for epoch in range(max_iter):# forwardpred_normal, pred_wdecay = net_normal(train_x), net_weight_decay(train_x)loss_normal, loss_wdecay = loss_func(pred_normal, train_y), loss_func(pred_wdecay, train_y)optim_normal.zero_grad()optim_wdecay.zero_grad()loss_normal.backward()loss_wdecay.backward()optim_normal.step()optim_wdecay.step()if (epoch+1) % disp_interval == 0:# 可視化for name, layer in net_normal.named_parameters():writer.add_histogram(name + '_grad_normal', layer.grad, epoch)writer.add_histogram(name + '_data_normal', layer, epoch)for name, layer in net_weight_decay.named_parameters():writer.add_histogram(name + '_grad_weight_decay', layer.grad, epoch)writer.add_histogram(name + '_data_weight_decay', layer, epoch)test_pred_normal, test_pred_wdecay = net_normal(test_x), net_weight_decay(test_x)# 繪圖plt.scatter(train_x.data.numpy(), train_y.data.numpy(), c='blue', s=50, alpha=0.3, label='train')plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='red', s=50, alpha=0.3, label='test')plt.plot(test_x.data.numpy(), test_pred_normal.data.numpy(), 'r-', lw=3, label='no weight decay')plt.plot(test_x.data.numpy(), test_pred_wdecay.data.numpy(), 'b--', lw=3, label='weight decay')plt.text(-0.25, -1.5, 'no weight decay loss={:.6f}'.format(loss_normal.item()), fontdict={'size': 15, 'color': 'red'})plt.text(-0.25, -2, 'weight decay loss={:.6f}'.format(loss_wdecay.item()), fontdict={'size': 15, 'color': 'red'})plt.ylim((-2.5, 2.5))plt.legend(loc='upper left')plt.title("Epoch: {}".format(epoch+1))plt.show()plt.close()

輸出：

可以看出沒(méi)有weight decay的曲線出現(xiàn)了過(guò)擬合的現(xiàn)象


進(jìn)入tensorboard：

沒(méi)有L2正則化時(shí)，整個(gè)權(quán)值尺度變化不大

L2正則化后，整個(gè)權(quán)值的尺度不斷減小

在代碼optim_wdecay.step()設(shè)置斷點(diǎn)，step into：

def step(self, closure=None):"""Performs a single optimization step.Arguments:closure (callable, optional): A closure that reevaluates the modeland returns the loss."""loss = Noneif closure is not None:loss = closure()for group in self.param_groups:weight_decay = group['weight_decay']momentum = group['momentum']dampening = group['dampening']nesterov = group['nesterov']for p in group['params']:if p.grad is None:continued_p = p.grad.dataif weight_decay != 0:d_p.add_(weight_decay, p.data)if momentum != 0:param_state = self.state[p]if 'momentum_buffer' not in param_state:buf = param_state['momentum_buffer'] = torch.clone(d_p).detach()else:buf = param_state['momentum_buffer']buf.mul_(momentum).add_(1 - dampening, d_p)if nesterov:d_p = d_p.add(momentum, buf)else:d_p = bufp.data.add_(-group['lr'], d_p)return loss

在代碼的d_p.add_(weight_decay, p.data)進(jìn)行權(quán)值衰減，其公式：d_p = d_p + p.data * weight_decay

在代碼p.data.add_(-group['lr'], d_p)進(jìn)行梯度更新

---

參考資料：

[1] 百面機(jī)器學(xué)習(xí) 葫蘆娃 著 164頁(yè) L1正則化與稀疏性

[2] 深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn) 齋藤康毅 著 191頁(yè) 6.4正則化

總結(jié)

以上是生活随笔為你收集整理的【PyTorch】6.1 正则化之weight_decay的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。