【CV实战】年轻人的第一个GAN项目应该是什么样的（Pytorch框架）？
歡迎大家來到咱們的深度學習CV項目實戰專欄，GAN是當下非常熱門的技術，本次我們給大家介紹如何來訓練自己的第1個生成對抗網絡項目。
作者&編輯 | 言有三
本項目結果展示
本文篇幅：4000字
背景要求：會使用Python和Pytorch深度學習開源框架
附帶資料：開源代碼一份，支持Pytorch
數據一份：文末有獲取方法
1 項目背景
GAN無疑是這幾年深度學習領域里最酷的技術，不管是理論的研究，還是GAN在圖像生成，圖像翻譯，語音圖像等基礎領域的應用，都非常的豐富。我們公眾號從很早以前開始就輸出過非常多的GAN相關資源，包括免費與付費的視頻課，知識星球中的GAN模型原理解讀專題，公眾號的GAN付費專欄，大家可以閱讀下面的文章了解詳情。
【總結】從視頻到圖文，代碼實戰，有三AI-GAN學習資料匯總！
2 項目解讀
為了讓大家能夠快速上手，本次我們給大家介紹一個非常適合新手入門的項目，使用DCGAN來進行圖片生成，項目效果如文章開頭的圖片。
2.1?數據獲取
本次我們完成一個人臉表情圖像生成的任務，使用的數據集也是多次在咱們的項目中出現過的數據集，我們選擇了其中一類表情的數據，如下：
數據的讀取非常簡單，直接使用torchvision的ImageFolder接口即可，與我們以前介紹過的圖像分類任務相同，核心代碼如下，不再贅述。
## 讀取數據
dataroot = "mouth/"
dataset = datasets.ImageFolder(root=dataroot,
? ? ? ? ? ? ? ? ? ? ? ? ? ?transform=transforms.Compose([
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?transforms.Resize(image_size),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?transforms.CenterCrop(image_size),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?transforms.ToTensor(),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)),
? ? ? ? ? ? ? ? ? ? ? ? ? ?]))
dataloader = torch.utils.data.DataLoader(dataset, batch_size=batch_size,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?shuffle=True, num_workers=workers)
不熟悉的朋友可以閱讀：【CV實戰】年輕人的第一個深度學習CV項目應該是什么樣的？（支持13大深度學習開源框架）
2.2?判別器定義
接下來我們再看判別器的定義，它就是一個圖像分類模型，與原始DCGAN論文中的參數配置略有差異。
class Discriminator(nn.Module):
? ? def __init__(self, ndf=64, nc=3):
? ? ? ? super(Discriminator, self).__init__()
? ? ? ? self.ndf = ndf
? ? ? ? self.nc = nc
? ? ? ? self.main = nn.Sequential(
? ? ? ? ? ? # 輸入圖片大小 (nc) x 64 x 64，輸出 (ndf) x 32 x 32
? ? ? ? ? ? nn.Conv2d(nc, ndf, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.LeakyReLU(0.2, inplace=True),
? ? ? ? ? ? # 輸入(ndf) x 32 x 32，輸出(ndf*2) x 16 x 16
? ? ? ? ? ? nn.Conv2d(ndf, ndf * 2, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ndf * 2),
? ? ? ? ? ? nn.LeakyReLU(0.2, inplace=True),
? ? ? ? ? ? # 輸入(ndf*2) x 16 x 16，輸出 (ndf*4) x 8 x 8
? ? ? ? ? ? nn.Conv2d(ndf * 2, ndf * 4, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ndf * 4),
? ? ? ? ? ? nn.LeakyReLU(0.2, inplace=True),
? ? ? ? ? ? # 輸入(ndf*4) x 8 x 8，輸出(ndf*8) x 4 x 4
? ? ? ? ? ? nn.Conv2d(ndf * 4, ndf * 8, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ndf * 8),
? ? ? ? ? ? nn.LeakyReLU(0.2, inplace=True),
? ? ? ? ? ? # 輸入(ndf*8) x 4 x 4，輸出1 x 1 x 1
? ? ? ? ? ? nn.Conv2d(ndf * 8, 1, 4, 1, 0, bias=False),
? ? ? ? ? ? nn.Sigmoid()
? ? ? ? )
? ? def forward(self, input):
? ? ? ? return self.main(input)
以上代碼定義了一個包含5層卷積，其中前面4個卷積層的卷積核大小為4×4，寬和高的步長等于2，使用了padding技術，padding大小為1，每經過一次卷積，圖像長寬都降低為原來的1/2。每一個卷積層后都跟隨一個batch normalization層和lrelu層。
????
輸出層也是一個卷積層，其特征圖大小空間尺寸為4×4，卷積核大小也是4×4，所以輸出空間層維度為1，使用sigmoid激活函數，輸出就是一個0到1之間的概率值。
2.3?生成器定義
接下來我們再看生成器的定義，它輸入一維的噪聲向量，輸出二維的圖像。
## 定義生成器與判別器
class Generator(nn.Module):
? ? def __init__(self, nz=100, ngf=64, nc=3):
? ? ? ? super(Generator, self).__init__()
? ? ? ? self.ngf = ngf
? ? ? ? self.nz = nz
? ? ? ? self.nc = nc
? ? ? ? self.main = nn.Sequential(
? ? ? ? ? ? # 輸入噪聲向量Z，(ngf*8) x 4 x 4特征圖
? ? ? ? ? ? nn.ConvTranspose2d( nz, ngf * 8, 4, 1, 0, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ngf * 8),
? ? ? ? ? ? nn.ReLU(True),
? ? ? ? ? ? # 輸入(ngf*8) x 4 x 4特征圖，輸出(ngf*8) x 4 x 4
? ? ? ? ? ? nn.ConvTranspose2d(ngf * 8, ngf * 4, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ngf * 4),
? ? ? ? ? ? nn.ReLU(True),
? ? ? ? ? ? # 輸入(ngf*4) x 8 x 8，輸出(ngf*2) x 16 x 16
? ? ? ? ? ? nn.ConvTranspose2d( ngf * 4, ngf * 2, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ngf * 2),
? ? ? ? ? ? nn.ReLU(True),
? ? ? ? ? ? # 輸入(ngf*2) x 16 x 16，輸出(ngf) x 32 x 32
? ? ? ? ? ? nn.ConvTranspose2d( ngf * 2, ngf, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.BatchNorm2d(ngf),
? ? ? ? ? ? nn.ReLU(True),
? ? ? ? ? ? # 輸入(ngf) x 32 x 32，輸出(nc) x 64 x 64
? ? ? ? ? ? nn.ConvTranspose2d( ngf, nc, 4, 2, 1, bias=False),
? ? ? ? ? ? nn.Tanh()
? ? ? ? )
? ? def forward(self, input):
? ? ? ? return self.main(input)
可以看出，總共包含5個上采樣層。其中前4個上采樣層后接有BN層，和ReLU層。第一個上采樣層將輸入的一維噪聲向量經過一個上采樣層生成4×4大小的圖，然后經過后面的4個上采樣層得到輸出。前面4層的激活函數為ReLU，最后一層的激活函數為Tanh。
2.4 優化目標與方法定義
損失函數使用了BCE交叉熵損失，真樣本和假樣本標簽分別為1和0。
# 損失函數
criterion = nn.BCELoss()
# 真假標簽
real_label = 1.0
fake_label = 0.0
判別器和生成器都采用了Adam方法作為優化器，且使用了同樣的配置，定義如下：
lr = 0.0003
beta1 = 0.5
optimizerD = optim.Adam(netD.parameters(), lr=lr, betas=(beta1, 0.999))
optimizerG = optim.Adam(netG.parameters(), lr=lr, betas=(beta1, 0.999))
?
3?模型訓練
接下來進行模型訓練，添加可視化部分，緩存中間結果，核心的迭代代碼如下：
for epoch in range(num_epochs):
? ? lossG = 0.0
? ? lossD = 0.0
? ? for i, data in enumerate(dataloader, 0):
? ? ? ? ############################
? ? ? ? # (1) Update D network: maximize log(D(x)) + log(1 - D(G(z)))
? ? ? ? ###########################
? ? ? ? ## 訓練真實圖片
? ? ? ? netD.zero_grad()
? ? ? ? real_data = data[0].to(device)
? ? ? ? b_size = real_data.size(0)
? ? ? ? label = torch.full((b_size,), real_label, device=device)
? ? ? ? output = netD(real_data).view(-1)
? ? ? ? # 計算真實圖片損失，梯度反向傳播
? ? ? ? errD_real = criterion(output, label)
? ? ? ? errD_real.backward()
? ? ? ? D_x = output.mean().item()
? ? ? ? ## 訓練生成圖片
? ? ? ? # 產生latent vectors
? ? ? ? noise = torch.randn(b_size, nz, 1, 1, device=device)
? ? ? ? # 使用G生成圖片
? ? ? ? fake = netG(noise)
? ? ? ? label.fill_(fake_label)
? ? ? ? output = netD(fake.detach()).view(-1)
? ? ? ? # 計算生成圖片損失，梯度反向傳播
? ? ? ? errD_fake = criterion(output, label)
? ? ? ? errD_fake.backward()
? ? ? ? D_G_z1 = output.mean().item()
? ? ? ? # 累加誤差，參數更新
? ? ? ? errD = errD_real + errD_fake
? ? ? ? optimizerD.step()
? ? ? ? ############################
? ? ? ? # (2) Update G network: maximize log(D(G(z)))
? ? ? ? ###########################
? ? ? ? netG.zero_grad()
? ? ? ? label.fill_(real_label)? # 給生成圖賦標簽
? ? ? ? # 對生成圖再進行一次判別
? ? ? ? output = netD(fake).view(-1)
? ? ? ? # 計算生成圖片損失，梯度反向傳播
? ? ? ? errG = criterion(output, label)
? ? ? ? errG.backward()
? ? ? ? D_G_z2 = output.mean().item()
? ? ? ? optimizerG.step()
? ? ? ? # Output training stats
? ? ? ? if i % 50 == 0:
? ? ? ? ? ? print('[%d/%d][%d/%d]\tLoss_D: %.4f\tLoss_G: %.4f\tD(x): %.4f\tD(G(z)): %.4f / %.4f'
? ? ? ? ? ? ? ? ? % (epoch, num_epochs, i, len(dataloader),
? ? ? ? ? ? ? ? ? ? ?errD.item(), errG.item(), D_x, D_G_z1, D_G_z2))
? ? ? ? # 存儲損失
? ? ? ? nbatch = nbatch + 1
? ? ? ? lossG = lossG + errG.item()
? ? ? ? lossD = lossD + errD.item()
? ? ? ? # 對固定的噪聲向量，存儲生成的結果
? ? ? ? if (iters % 20 == 0) or ((epoch == num_epochs-1) and (i == len(dataloader)-1)):
? ? ? ? ? ? with torch.no_grad():
? ? ? ? ? ? ? ? fake = netG(fixed_noise).detach().cpu()
? ? ? ? ? ? img_list.append(vutils.make_grid(fake, padding=2, normalize=True))
? ? ? ? ? ? i = vutils.make_grid(fake, padding=2, normalize=True)
? ? ? ? ? ? fig = plt.figure(figsize=(8, 8))
? ? ? ? ? ? plt.imshow(np.transpose(i, (1, 2, 0)))
? ? ? ? ? ? plt.axis('off')? # 關閉坐標軸
? ? ? ? ? ? plt.savefig("out/%d_%d.png" % (epoch, iters))
? ? ? ? ? ? plt.close(fig)
? ? ? ? iters += 1
? ? writer.add_scalar('data/lossG', lossG, epoch)
? ? writer.add_scalar('data/lossD', lossD, epoch)
torch.save(netG.state_dict(),'models/netG.pt')
訓練結果曲線如下：
由于標準GAN的損失與模型的生成結果之間的關系不像以前介紹的任務那么直觀，我們應該以實際生成的圖片結果為準，下面從左到右分別是第0，10，100個epoch的生成結果。
從圖結果來看，隨著訓練的進行，逐漸生成了許多有意義且非常逼真的樣本，在10個epoch的時候生成圖片都有明顯的瑕疵，到100個epoch時已經開始生成一些逼真的樣本。不過最終生成的圖像仍然有一部分效果很差，這是因為DCGAN本身模型性能所限，后續可以使用更好的模型進行改進。
4 模型測試
上面已經訓練好了模型，我們接下來的目標，就是要用它來做推理，真正把模型用起來。
import torch
import torch.nn as nn
import torchvision.utils as vutils
import matplotlib.pyplot as plt
from net import Generator
device = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu")
netG = Generator().to(device)
## 載入模型權重
modelpath = sys.argv[1]?
savepath = sys.argv[2]?
netG.load_state_dict(torch.load(modelpath,map_location=lambda storage,loc: storage))
netG.eval() ## 設置推理模式，使得dropout和batchnorm等網絡層在train和val模式間切換
torch.no_grad() ## 停止autograd模塊的工作，以起到加速和節省顯存
nz = 100
for i in range(0,100):
? ? noise = torch.randn(64, nz, 1, 1, device=device)
? ? fake = netG(noise).detach().cpu()
? ? rows = vutils.make_grid(fake, padding=2, normalize=True)
? ? fig = plt.figure(figsize=(8, 8))
? ? plt.imshow(np.transpose(rows, (1, 2, 0)))
? ? plt.axis('off')? # 關閉坐標軸
? ? plt.savefig(os.path.join(savepath,"%d.png" % (i)))
? ? plt.close(fig)
推理的核心代碼就是使用torch.load函數載入生成器模型，然后輸入隨機的噪聲向量，得到生成的結果。
下面展示了一些結果。
從圖中我們可以看到，總體的生成結果還是不錯的，不過本次的任務還有許多可以提升的空間，包括但不限于：(1) 做更多的數據增強。(2) 改進模型。這些就留給讀者去進行實驗。
?5?資源獲取和拓展學習
本文的完整代碼，可以在我們的開源項目中獲取，項目地址如下。
https://github.com/longpeng2008/yousan.ai
由于數據集較大，如果想要獲得數據集，請到有三AI知識星球中下載，當然你也完全可以將其替換成自己的數據集：
有三AI知識星球鏈接與介紹如下：
【雜談】有三AI知識星球指導手冊出爐！和公眾號相比又有哪些內容？
如果想要學習更多GAN的內容，請閱讀下面的文章了解生態的相關資料。
【總結】從視頻到圖文，代碼實戰，有三AI-GAN學習資料匯總！
總結
本次我們完成了一個GAN圖像生成項目的全部流程，本次任務和前面的CV分類實戰與分割實戰是一脈相承的，使用了相同的數據集，大家可以一起閱讀學習。
轉載文章請后臺聯系
侵權必究
往期文章
【CV夏季劃】2021年有三AI-CV夏季劃出爐，沖刺秋招，從CV基礎到模型優化徹底掌握
【CV秋季劃】模型優化很重要，如何循序漸進地學習好？
【CV秋季劃】人臉算法那么多，如何循序漸進地學習好？
【CV秋季劃】圖像質量提升與編輯有哪些研究和應用，如何循序漸進地學習好？
【CV秋季劃】生成對抗網絡GAN有哪些研究和應用，如何循序漸進地學習好？
總結
以上是生活随笔為你收集整理的【CV实战】年轻人的第一个GAN项目应该是什么样的（Pytorch框架）？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【视频课】图像分割最新内容来了（言有三新
- 下一篇： 【赠书】阿里巴巴官方出品，工业级知识图谱