學(xué)習(xí)筆記，僅供參考，有錯(cuò)必糾

---

文章目錄

• • 原理
  • 代碼
  • • 初始設(shè)置
    • 導(dǎo)包
    • 載入數(shù)據(jù)
    • 模型

---

原理

• 交叉熵（Cross-Entropy）

$$Loss=?(t?\ln y+(1?t)\ln (1?y))$$

代碼

初始設(shè)置

# 支持多行輸出 from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默認(rèn)為'last'

導(dǎo)包

# 導(dǎo)入常用的包 import numpy as np from torch import nn,optim from torch.autograd import Variable from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch

載入數(shù)據(jù)

# 載入數(shù)據(jù) train_dataset = datasets.MNIST(root = './data/', # 載入的數(shù)據(jù)存放的位置train = True, # 載入訓(xùn)練集數(shù)據(jù)transform = transforms.ToTensor(), # 將載入進(jìn)來的數(shù)據(jù)變成Tensordownload = True) # 是否下載數(shù)據(jù) test_dataset = datasets.MNIST(root = './data/', # 載入的數(shù)據(jù)存放的位置train = False, # 載入測試集數(shù)據(jù)transform = transforms.ToTensor(), # 將載入進(jìn)來的數(shù)據(jù)變成Tensordownload = True) # 是否下載數(shù)據(jù)

?

# 批次大小 batch_size = 64# 裝載訓(xùn)練集 train_loader = DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True)# 裝載訓(xùn)練集 test_loader = DataLoader(dataset=test_dataset,batch_size=batch_size,shuffle=True)

模型

# 定義網(wǎng)絡(luò)結(jié)構(gòu) class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 = nn.Linear(784,10)self.softmax = nn.Softmax(dim=1)def forward(self,x):# ([64, 1, 28, 28])->(64,784)x = x.view(x.size()[0], -1)x = self.fc1(x)x = self.softmax(x)return x LR = 0.5 # 定義模型 model = Net() # 定義代價(jià)函數(shù)為交叉熵代價(jià)函數(shù) mse_loss = nn.CrossEntropyLoss() # 定義優(yōu)化器 optimizer = optim.SGD(model.parameters(), LR)

相比于PyTorch基礎(chǔ)(part4)中的MSELoss()，這里我們改用CrossEntropyLoss().

同時(shí)，在下面的訓(xùn)練過程中，我們也不需要把標(biāo)簽該為獨(dú)熱編碼的形式.

def train():for i,data in enumerate(train_loader):# 獲得一個(gè)批次的數(shù)據(jù)和標(biāo)簽inputs, labels = data# 獲得模型預(yù)測結(jié)果（64,10）out = model(inputs)# 計(jì)算loss,交叉熵代價(jià)函數(shù)out(batch,C), labels(batch)loss = mse_loss(out, labels)# 梯度清0optimizer.zero_grad()# 計(jì)算梯度loss.backward()# 修改權(quán)值optimizer.step()def test():correct = 0for i,data in enumerate(test_loader):# 獲得一個(gè)批次的數(shù)據(jù)和標(biāo)簽inputs, labels = data# 獲得模型預(yù)測結(jié)果（64,10）out = model(inputs)# 獲得最大值，以及最大值所在的位置_, predicted = torch.max(out, 1)# 預(yù)測正確的數(shù)量correct += (predicted == labels).sum()print("Test acc:{0}".format(correct.item()/len(test_dataset))) for epoch in range(10):print('epoch:',epoch)train()test() epoch: 0 Test acc:0.9064 epoch: 1 Test acc:0.9138 epoch: 2 Test acc:0.9172 epoch: 3 Test acc:0.9206 epoch: 4 Test acc:0.92 epoch: 5 Test acc:0.9215 epoch: 6 Test acc:0.9208 epoch: 7 Test acc:0.9243 epoch: 8 Test acc:0.9237 epoch: 9 Test acc:0.9237

對比上一篇blog中的訓(xùn)練準(zhǔn)確率，在訓(xùn)練相同次數(shù)的情況下，使用交叉熵代價(jià)函數(shù)的效果會(huì)更好一些.

總結(jié)

以上是生活随笔為你收集整理的PyTorch基础(part5)--交叉熵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。