文章目錄

• 0 簡介
• 1 項目說明
• 2 數(shù)據(jù)集介紹：
• 3 思路分析及代碼實現(xiàn)
• • 3.1 數(shù)據(jù)可視化
  • 3.2 數(shù)據(jù)分離
  • 3.3 數(shù)據(jù)可視化
  • 3.4 在pytorch下創(chuàng)建數(shù)據(jù)集
  • • 3.4.1 創(chuàng)建data-label對照表
    • 3.4.2 重寫Dataset類
    • 3.4.3 數(shù)據(jù)集的使用
• 4 網(wǎng)絡(luò)模型搭建
• • 4.1 訓(xùn)練模型
  • 4.2 模型的保存與加載
• 5 相關(guān)源碼
• 6 最后

0 簡介

今天學(xué)長向大家介紹一個機(jī)器視覺項目

基于深度學(xué)習(xí)的人臉表情識別

1 項目說明

給定數(shù)據(jù)集train.csv，要求使用卷積神經(jīng)網(wǎng)絡(luò)CNN，根據(jù)每個樣本的面部圖片判斷出其表情。在本項目中，表情共分7類，分別為：（0）生氣，（1）厭惡，（2）恐懼，（3）高興，（4）難過，（5）驚訝和（6）中立（即面無表情，無法歸為前六類）。所以，本項目實質(zhì)上是一個7分類問題。

2 數(shù)據(jù)集介紹：

• （1）、CSV文件，大小為28710行X2305列；

• （2）、在28710行中，其中第一行為描述信息，即“l(fā)abel”和“feature”兩個單詞，其余每行內(nèi)含有一個樣本信息，即共有28709個樣本；

• （3）、在2305列中，其中第一列為該樣本對應(yīng)的label，取值范圍為0到6。其余2304列為包含著每個樣本大小為48X48人臉圖片的像素值（2304=48X48），每個像素值取值范圍在0到255之間；

3 思路分析及代碼實現(xiàn)

給定的數(shù)據(jù)集是csv格式的，考慮到圖片分類問題的常規(guī)做法，決定先將其全部可視化，還原為圖片文件再送進(jìn)模型進(jìn)行處理。

借助深度學(xué)習(xí)框架Pytorch1.0 CPU（窮逼）版本，搭建模型，由于需用到自己的數(shù)據(jù)集，因此我們需要重寫其中的數(shù)據(jù)加載部分，其余用現(xiàn)成的API即可。

學(xué)長這里使用CNN實現(xiàn)功能，因此基本只能在調(diào)參階段自由發(fā)揮（不要鄙視調(diào)參，參數(shù)也不是人人都能調(diào)得好的，比如我）。

3.1 數(shù)據(jù)可視化

我們需要將csv中的像素數(shù)據(jù)還原為圖片并保存下來，在python環(huán)境下，很多庫都能實現(xiàn)類似的功能，如pillow，opencv等。由于筆者對opencv較為熟悉，且opencv又是專業(yè)的圖像處理庫，因此決定采用opencv實現(xiàn)這一功能

3.2 數(shù)據(jù)分離

原文件中，label和人臉像素數(shù)據(jù)是集中在一起的。為了方便操作，決定利用pandas庫進(jìn)行數(shù)據(jù)分離，即將所有l(wèi)abel 讀出后，寫入新創(chuàng)建的文件label.csv；將所有的像素數(shù)據(jù)讀出后，寫入新創(chuàng)建的文件data.csv。

# 將label和像素數(shù)據(jù)分離 import pandas as pd# 修改為train.csv在本地的相對或絕對地址 path = './/ml2019spring-hw3//train.csv' # 讀取數(shù)據(jù) df = pd.read_csv(path) # 提取label數(shù)據(jù) df_y = df[['label']] # 提取feature（即像素）數(shù)據(jù) df_x = df[['feature']] # 將label寫入label.csv df_y.to_csv('label.csv', index=False, header=False) # 將feature數(shù)據(jù)寫入data.csv df_x.to_csv('data.csv', index=False, header=False)

以上代碼執(zhí)行完畢后，在該代碼腳本所在的文件夾下，就會生成兩個新文件label.csv以及data.csv。在執(zhí)行代碼前，注意修改train.csv在本地的路徑。

3.3 數(shù)據(jù)可視化

將數(shù)據(jù)分離后，人臉像素數(shù)據(jù)全部存儲在data.csv文件中，其中每行數(shù)據(jù)就是一張人臉。按行讀取數(shù)據(jù)，利用opencv將每行的2304個數(shù)據(jù)恢復(fù)為一張48X48的人臉圖片，并保存為jpg格式。在保存這些圖片時，將第一行數(shù)據(jù)恢復(fù)出的人臉命名為0.jpg，第二行的人臉命名為1.jpg…，以方便與label[0]、label[1]…一一對應(yīng)。

import cv2 import numpy as np# 指定存放圖片的路徑 path = './/face' # 讀取像素數(shù)據(jù) data = np.loadtxt('data.csv')# 按行取數(shù)據(jù) for i in range(data.shape[0]):face_array = data[i, :].reshape((48, 48)) # reshapecv2.imwrite(path + '//' + '{}.jpg'.format(i), face_array) # 寫圖片

以上代碼雖短，但涉及到大量數(shù)據(jù)的讀取和大批圖片的寫入，因此占用的內(nèi)存資源較多，且執(zhí)行時間較長（視機(jī)器性能而定，一般要幾分鐘到十幾分鐘不等）。代碼執(zhí)行完畢，我們來到指定的圖片存儲路徑，就能發(fā)現(xiàn)里面全部是寫好的人臉圖片。

粗略瀏覽一下這些人臉圖片，就能發(fā)現(xiàn)這些圖片數(shù)據(jù)來源較廣，且并不純凈。就前60張圖片而言，其中就包含了正面人臉，如1.jpg；側(cè)面人臉，如18.jpg；傾斜人臉，如16.jpg；正面人頭，如7.jpg；正面人上半身，如55.jpg；動漫人臉，如38.jpg；以及毫不相關(guān)的噪聲，如59.jpg。放大圖片后仔細(xì)觀察，還會發(fā)現(xiàn)不少圖片上還有水印。種種因素均給識別提出了嚴(yán)峻的挑戰(zhàn)。

3.4 在pytorch下創(chuàng)建數(shù)據(jù)集

現(xiàn)在我們有了圖片，但怎么才能把圖片讀取出來送給模型呢？

最簡單粗暴的方法就是直接用opencv將所有圖片讀取出來，以numpy中array的數(shù)據(jù)格式直接送給模型。如果這樣做的話，會一次性把所有圖片全部讀入內(nèi)存，占用大量的內(nèi)存空間，且只能使用單線程，效率不高，也不方便后續(xù)操作。

其實在pytorch中，有一個類（torch.utils.data.Dataset）是專門用來加載數(shù)據(jù)的，我們可以通過繼承這個類來定制自己的數(shù)據(jù)集和加載方法。以下為基本流程。

3.4.1 創(chuàng)建data-label對照表

首先，我們需要劃分一下訓(xùn)練集和驗證集。在本次作業(yè)中，共有28709張圖片，取前24000張圖片作為訓(xùn)練集，其他圖片作為驗證集。新建文件夾train和val，將0.jpg到23999.jpg放進(jìn)文件夾train，將其他圖片放進(jìn)文件夾val。

在繼承torch.utils.data.Dataset類定制自己的數(shù)據(jù)集時，由于在數(shù)據(jù)加載過程中需要同時加載出一個樣本的數(shù)據(jù)及其對應(yīng)的label，因此最好能建立一個data-label對照表，其中記錄著data和label的對應(yīng)關(guān)系（“data-lable對照表”并非官方名詞，這個技術(shù)流程是筆者參考了他人的博客后自己摸索的，這個名字也是筆者給命的名）。

有童鞋看到這里就會提出疑問了：在人臉可視化過程中，每張圖片的命名不都和label的存放順序是一一對應(yīng)關(guān)系嗎，為什么還要多此一舉，再重新建立data-label對照表呢？筆者在剛開始的時候也是這么想的，按順序（0.jpg, 1.jpg, 2.jpg…）加載圖片和label（label[0], label[1], label[2]…），豈不是方便、快捷又高效？結(jié)果在實際操作的過程中才發(fā)現(xiàn)，程序加載文件的機(jī)制是按照文件名首字母（或數(shù)字）來的，即加載次序是0，1，10，100…，而不是預(yù)想中的0，1，2，3…，因此加載出來的圖片不能夠和label[0]，label[1]，lable[2]，label[3]…一一對應(yīng)，所以建立data-label對照表還是相當(dāng)有必要的。

建立data-label對照表的基本思路就是：指定文件夾（train或val），遍歷該文件夾下的所有文件，如果該文件是.jpg格式的圖片，就將其圖片名寫入一個列表，同時通過圖片名索引出其label，將其label寫入另一個列表。最后利用pandas庫將這兩個列表寫入同一個csv文件。

執(zhí)行這段代碼前，注意修改相關(guān)文件路徑。代碼執(zhí)行完畢后，會在train和val文件夾下各生成一個名為dataset.csv的data-label對照表。

import os import pandas as pddef data_label(path):# 讀取label文件df_label = pd.read_csv('label.csv', header = None)# 查看該文件夾下所有文件files_dir = os.listdir(path)# 用于存放圖片名path_list = []# 用于存放圖片對應(yīng)的labellabel_list = []# 遍歷該文件夾下的所有文件for file_dir in files_dir:# 如果某文件是圖片，則將其文件名以及對應(yīng)的label取出，分別放入path_list和label_list這兩個列表中if os.path.splitext(file_dir)[1] == ".jpg":path_list.append(file_dir)index = int(os.path.splitext(file_dir)[0])label_list.append(df_label.iat[index, 0])# 將兩個列表寫進(jìn)dataset.csv文件path_s = pd.Series(path_list)label_s = pd.Series(label_list)df = pd.DataFrame()df['path'] = path_sdf['label'] = label_sdf.to_csv(path+'\\dataset.csv', index=False, header=False)def main():# 指定文件夾路徑train_path = 'F:\\0gold\\ML\\LHY_class\\FaceData\\train'val_path = 'F:\\0gold\\ML\\LHY_class\\FaceData\\val'data_label(train_path)data_label(val_path)if __name__ == "__main__":main()

OK，代碼執(zhí)行完畢，讓我們來看一看data-label對照表里面具體是什么樣子吧！

3.4.2 重寫Dataset類

首先介紹一下Pytorch中Dataset類：Dataset類是Pytorch中圖像數(shù)據(jù)集中最為重要的一個類，也是Pytorch中所有數(shù)據(jù)集加載類中應(yīng)該繼承的父類。其中父類中的兩個私有成員函數(shù)getitem()和len()必須被重載，否則將會觸發(fā)錯誤提示。其中g(shù)etitem()可以通過索引獲取數(shù)據(jù)，len()可以獲取數(shù)據(jù)集的大小。在Pytorch源碼中，Dataset類的聲明如下：

class Dataset(object):"""An abstract class representing a Dataset.All other datasets should subclass it. All subclasses should override``__len__``, that provides the size of the dataset, and ``__getitem__``,supporting integer indexing in range from 0 to len(self) exclusive."""def __getitem__(self, index):raise NotImplementedErrordef __len__(self):raise NotImplementedErrordef __add__(self, other):return ConcatDataset([self, other])

我們通過繼承Dataset類來創(chuàng)建我們自己的數(shù)據(jù)加載類，命名為FaceDataset。

import torch from torch.utils import data import numpy as np import pandas as pd import cv2class FaceDataset(data.Dataset):

首先要做的是類的初始化。之前的data-label對照表已經(jīng)創(chuàng)建完畢，在加載數(shù)據(jù)時需用到其中的信息。因此在初始化過程中，我們需要完成對data-label對照表中數(shù)據(jù)的讀取工作。

通過pandas庫讀取數(shù)據(jù)，隨后將讀取到的數(shù)據(jù)放入list或numpy中，方便后期索引。

# 初始化 def __init__(self, root):super(FaceDataset, self).__init__()# root為train或val文件夾的地址self.root = root# 讀取data-label對照表中的內(nèi)容df_path = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[0]) # 讀取第一列文件名df_label = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[1]) # 讀取第二列l(wèi)abel# 將其中內(nèi)容放入numpy，方便后期索引self.path = np.array(df_path)[:, 0]self.label = np.array(df_label)[:, 0]

接著就要重寫getitem()函數(shù)了，該函數(shù)的功能是加載數(shù)據(jù)。在前面的初始化部分，我們已經(jīng)獲取了所有圖片的地址，在這個函數(shù)中，我們就要通過地址來讀取數(shù)據(jù)。

由于是讀取圖片數(shù)據(jù)，因此仍然借助opencv庫。需要注意的是，之前可視化數(shù)據(jù)部分將像素值恢復(fù)為人臉圖片并保存，得到的是3通道的灰色圖（每個通道都完全一樣），而在這里我們只需要用到單通道，因此在圖片讀取過程中，即使原圖本來就是灰色的，但我們還是要加入?yún)?shù)從cv2.COLOR_BGR2GARY，保證讀出來的數(shù)據(jù)是單通道的。讀取出來之后，可以考慮進(jìn)行一些基本的圖像處理操作，如通過高斯模糊降噪、通過直方圖均衡化來增強(qiáng)圖像等（經(jīng)試驗證明，在本次作業(yè)中，直方圖均衡化并沒有什么卵用，而高斯降噪甚至?xí)档驼_率，可能是因為圖片分辨率本來就較低，模糊后基本上什么都看不清了吧）。讀出的數(shù)據(jù)是48X48的，而后續(xù)卷積神經(jīng)網(wǎng)絡(luò)中nn.Conv2d() API所接受的數(shù)據(jù)格式是(batch_size, channel, width, higth)，本次圖片通道為1，因此我們要將48X48 reshape為1X48X48。

# 讀取某幅圖片，item為索引號 def __getitem__(self, item):face = cv2.imread(self.root + '\\' + self.path[item])# 讀取單通道灰度圖face_gray = cv2.cvtColor(face, cv2.COLOR_BGR2GRAY)# 高斯模糊# face_Gus = cv2.GaussianBlur(face_gray, (3,3), 0)# 直方圖均衡化face_hist = cv2.equalizeHist(face_gray)# 像素值標(biāo)準(zhǔn)化face_normalized = face_hist.reshape(1, 48, 48) / 255.0 # 為與pytorch中卷積神經(jīng)網(wǎng)絡(luò)API的設(shè)計相適配，需reshape原圖# 用于訓(xùn)練的數(shù)據(jù)需為tensor類型face_tensor = torch.from_numpy(face_normalized) # 將python中的numpy數(shù)據(jù)類型轉(zhuǎn)化為pytorch中的tensor數(shù)據(jù)類型face_tensor = face_tensor.type('torch.FloatTensor') # 指定為'torch.FloatTensor'型，否則送進(jìn)模型后會因數(shù)據(jù)類型不匹配而報錯label = self.label[item]return face_tensor, label

最后就是重寫len()函數(shù)獲取數(shù)據(jù)集大小了。self.path中存儲著所有的圖片名，獲取self.path第一維的大小，即為數(shù)據(jù)集的大小。

1 # 獲取數(shù)據(jù)集樣本個數(shù) 2 def __len__(self): 3 return self.path.shape[0] class FaceDataset(data.Dataset):# 初始化def __init__(self, root):super(FaceDataset, self).__init__()self.root = rootdf_path = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[0])df_label = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[1])self.path = np.array(df_path)[:, 0]self.label = np.array(df_label)[:, 0]# 讀取某幅圖片，item為索引號def __getitem__(self, item):face = cv2.imread(self.root + '\\' + self.path[item])# 讀取單通道灰度圖face_gray = cv2.cvtColor(face, cv2.COLOR_BGR2GRAY)# 高斯模糊# face_Gus = cv2.GaussianBlur(face_gray, (3,3), 0)# 直方圖均衡化face_hist = cv2.equalizeHist(face_gray)# 像素值標(biāo)準(zhǔn)化face_normalized = face_hist.reshape(1, 48, 48) / 255.0 # 為與pytorch中卷積神經(jīng)網(wǎng)絡(luò)API的設(shè)計相適配，需reshape原圖# 用于訓(xùn)練的數(shù)據(jù)需為tensor類型face_tensor = torch.from_numpy(face_normalized) # 將python中的numpy數(shù)據(jù)類型轉(zhuǎn)化為pytorch中的tensor數(shù)據(jù)類型face_tensor = face_tensor.type('torch.FloatTensor') # 指定為'torch.FloatTensor'型，否則送進(jìn)模型后會因數(shù)據(jù)類型不匹配而報錯label = self.label[item]return face_tensor, label# 獲取數(shù)據(jù)集樣本個數(shù)def __len__(self):return self.path.shape[0]

3.4.3 數(shù)據(jù)集的使用

到此為止，我們已經(jīng)成功地寫好了自己的數(shù)據(jù)集加載類。那么這個類該如何使用呢？下面筆者將以訓(xùn)練集（train文件夾下的數(shù)據(jù)）加載為例，講一下整個數(shù)據(jù)集加載類在模型訓(xùn)練過程中的使用方法。

首先，我們需要將這個類實例化。

1 # 數(shù)據(jù)集實例化(創(chuàng)建數(shù)據(jù)集) 2 train_dataset = FaceDataset(root='E:\\WSD\\HW3\\FaceData\\train')

train_dataset即為我們實例化的訓(xùn)練集，要想加載其中的數(shù)據(jù)，還需要DataLoader類的輔助。DataLoader類總是配合Dataset類一起使用，DataLoader類可以幫助我們分批次讀取數(shù)據(jù)，也可以通過這個類選擇讀取數(shù)據(jù)的方式（順序 or 隨機(jī)亂序），還可以選擇并行加載數(shù)據(jù)等，這個類并不要我們重寫。

1 # 載入數(shù)據(jù)并分割batch 2 train_loader = data.DataLoader(train_dataset, batch_size)

最后，我們就能直接從train_loader中直接加載出數(shù)據(jù)和label了，而且每次都會加載出一個批次（batch）的數(shù)據(jù)和label。

1 for images, labels in train_loader: 2 ''' 3 通過images和labels訓(xùn)練模型 4 '''

4 網(wǎng)絡(luò)模型搭建

通過Pytorch搭建基于卷積神經(jīng)網(wǎng)絡(luò)的分類器。剛開始是自己設(shè)計的網(wǎng)絡(luò)模型，在訓(xùn)練時發(fā)現(xiàn)準(zhǔn)確度一直上不去，折騰一周后走投無路，后來在github上找到了一個做表情識別的開源項目，用的是這個項目的模型結(jié)構(gòu)，但還是沒能達(dá)到項目中的精度（acc在74%）。下圖為該開源項目中公布的兩個模型結(jié)構(gòu)，筆者用的是Model B ，且只采用了其中的卷積-全連接部分，如果大家希望進(jìn)一步提高模型的表現(xiàn)能力，可以考慮向模型中添加Face landmarks + HOG features 部分。

可以看出，在Model B 的卷積部分，輸入圖片shape為48X48X1，經(jīng)過一個3X3X64卷積核的卷積操作，再進(jìn)行一次2X2的池化，得到一個24X24X64的feature map 1（以上卷積和池化操作的步長均為1，每次卷積前的padding為1，下同）。將feature map 1經(jīng)過一個3X3X128卷積核的卷積操作，再進(jìn)行一次2X2的池化，得到一個12X12X128的feature map 2。將feature map 2經(jīng)過一個3X3X256卷積核的卷積操作，再進(jìn)行一次2X2的池化，得到一個6X6X256的feature map 3。卷積完畢，數(shù)據(jù)即將進(jìn)入全連接層。進(jìn)入全連接層之前，要進(jìn)行數(shù)據(jù)扁平化，將feature map 3拉一個成長度為6X6X256=9216的一維tensor。隨后數(shù)據(jù)經(jīng)過dropout后被送進(jìn)一層含有4096個神經(jīng)元的隱層，再次經(jīng)過dropout后被送進(jìn)一層含有1024個神經(jīng)元的隱層，之后經(jīng)過一層含256個神經(jīng)元的隱層，最終經(jīng)過含有7個神經(jīng)元的輸出層。一般再輸出層后都會加上softmax層，取概率最高的類別為分類結(jié)果。

我們可以通過繼承nn.Module來定義自己的模型類。以下代碼實現(xiàn)了上述的模型結(jié)構(gòu)。需要注意的是，在代碼中，數(shù)據(jù)經(jīng)過最后含7個神經(jīng)元的線性層后就直接輸出了，并沒有經(jīng)過softmax層。這是為什么呢？其實這和Pytorch在這一塊的設(shè)計機(jī)制有關(guān)。因為在實際應(yīng)用中，softmax層常常和交叉熵這種損失函數(shù)聯(lián)合使用，因此Pytorch在設(shè)計時，就將softmax運(yùn)算集成到了交叉熵?fù)p失函數(shù)CrossEntropyLoss()內(nèi)部，如果使用交叉熵作為損失函數(shù)，就默認(rèn)在計算損失函數(shù)前自動進(jìn)行softmax操作，不需要我們額外加softmax層。Tensorflow也有類似的機(jī)制。

class FaceCNN(nn.Module):# 初始化網(wǎng)絡(luò)結(jié)構(gòu)def __init__(self):super(FaceCNN, self).__init__()# 第一次卷積、池化self.conv1 = nn.Sequential(# 輸入通道數(shù)in_channels，輸出通道數(shù)(即卷積核的通道數(shù))out_channels，卷積核大小kernel_size，步長stride，對稱填0行列數(shù)padding# input:(bitch_size, 1, 48, 48), output:(bitch_size, 64, 48, 48), (48-3+2*1)/1+1 = 48nn.Conv2d(in_channels=1, out_channels=64, kernel_size=3, stride=1, padding=1), # 卷積層nn.BatchNorm2d(num_features=64), # 歸一化nn.RReLU(inplace=True), # 激活函數(shù)# output(bitch_size, 64, 24, 24)nn.MaxPool2d(kernel_size=2, stride=2), # 最大值池化)# 第二次卷積、池化self.conv2 = nn.Sequential(# input:(bitch_size, 64, 24, 24), output:(bitch_size, 128, 24, 24), (24-3+2*1)/1+1 = 24nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(num_features=128),nn.RReLU(inplace=True),# output:(bitch_size, 128, 12 ,12)nn.MaxPool2d(kernel_size=2, stride=2),)# 第三次卷積、池化self.conv3 = nn.Sequential(# input:(bitch_size, 128, 12, 12), output:(bitch_size, 256, 12, 12), (12-3+2*1)/1+1 = 12nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(num_features=256),nn.RReLU(inplace=True),# output:(bitch_size, 256, 6 ,6)nn.MaxPool2d(kernel_size=2, stride=2),)# 參數(shù)初始化self.conv1.apply(gaussian_weights_init)self.conv2.apply(gaussian_weights_init)self.conv3.apply(gaussian_weights_init)# 全連接層self.fc = nn.Sequential(nn.Dropout(p=0.2),nn.Linear(in_features=256*6*6, out_features=4096),nn.RReLU(inplace=True),nn.Dropout(p=0.5),nn.Linear(in_features=4096, out_features=1024),nn.RReLU(inplace=True),nn.Linear(in_features=1024, out_features=256),nn.RReLU(inplace=True),nn.Linear(in_features=256, out_features=7),)# 前向傳播def forward(self, x):x = self.conv1(x)x = self.conv2(x)x = self.conv3(x)# 數(shù)據(jù)扁平化x = x.view(x.shape[0], -1)y = self.fc(x)return y

4.1 訓(xùn)練模型

有了模型，就可以通過數(shù)據(jù)的前向傳播和誤差的反向傳播來訓(xùn)練模型了。在此之前，還需要指定優(yōu)化器（即學(xué)習(xí)率更新的方式）、損失函數(shù)以及訓(xùn)練輪數(shù)、學(xué)習(xí)率等超參數(shù)。

在本次作業(yè)中，我們采用的優(yōu)化器是SGD，即隨機(jī)梯度下降，其中參數(shù)weight_decay為正則項系數(shù)；損失函數(shù)采用的是交叉熵；可以考慮使用學(xué)習(xí)率衰減。

def train(train_dataset, batch_size, epochs, learning_rate, wt_decay):# 載入數(shù)據(jù)并分割batchtrain_loader = data.DataLoader(train_dataset, batch_size)# 構(gòu)建模型model = FaceCNN()# 損失函數(shù)loss_function = nn.CrossEntropyLoss()# 優(yōu)化器optimizer = optim.SGD(model.parameters(), lr=learning_rate, weight_decay=wt_decay)# 學(xué)習(xí)率衰減# scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.8)# 逐輪訓(xùn)練for epoch in range(epochs):# 記錄損失值loss_rate = 0# scheduler.step() # 學(xué)習(xí)率衰減model.train() # 模型訓(xùn)練for images, labels in train_loader:# 梯度清零optimizer.zero_grad()# 前向傳播output = model.forward(images)# 誤差計算loss_rate = loss_function(output, labels)# 誤差的反向傳播loss_rate.backward()# 更新參數(shù)optimizer.step()

4.2 模型的保存與加載

我們訓(xùn)練的這個模型相對較小，因此可以直接保存整個模型（包括結(jié)構(gòu)和參數(shù)）。

# 模型保存 torch.save(model, 'model_net1.pkl') # 模型加載 model_parm = 'model_net1.pkl' model = torch.load(net_parm)

5 相關(guān)源碼

代碼在CPU上跑起來較慢，視超參數(shù)和機(jī)器性能不同，一般跑完需耗時幾小時到幾十小時不等。代碼執(zhí)行時，每輪輸出一次損失值，每5輪輸出一次在訓(xùn)練集和驗證集上的正確率。有條件的可以在GPU上嘗試。

import torch import torch.utils.data as data import torch.nn as nn import torch.optim as optim import numpy as np import pandas as pd import cv2# 參數(shù)初始化 def gaussian_weights_init(m):classname = m.__class__.__name__# 字符串查找find，找不到返回-1，不等-1即字符串中含有該字符if classname.find('Conv') != -1:m.weight.data.normal_(0.0, 0.04)# 人臉旋轉(zhuǎn)，嘗試過但效果并不好，本次并未用到 def imgProcess(img):# 通道分離(b, g, r) = cv2.split(img)# 直方圖均衡化bH = cv2.equalizeHist(b)gH = cv2.equalizeHist(g)rH = cv2.equalizeHist(r)# 順時針旋轉(zhuǎn)15度矩陣M0 = cv2.getRotationMatrix2D((24,24),15,1)# 逆時針旋轉(zhuǎn)15度矩陣M1 = cv2.getRotationMatrix2D((24,24),15,1)# 旋轉(zhuǎn)gH = cv2.warpAffine(gH, M0, (48, 48))rH = cv2.warpAffine(rH, M1, (48, 48))# 通道合并img_processed = cv2.merge((bH, gH, rH))return img_processed# 驗證模型在驗證集上的正確率 def validate(model, dataset, batch_size):val_loader = data.DataLoader(dataset, batch_size)result, num = 0.0, 0for images, labels in val_loader:pred = model.forward(images)pred = np.argmax(pred.data.numpy(), axis=1)labels = labels.data.numpy()result += np.sum((pred == labels))num += len(images)acc = result / numreturn accclass FaceDataset(data.Dataset):# 初始化def __init__(self, root):super(FaceDataset, self).__init__()self.root = rootdf_path = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[0])df_label = pd.read_csv(root + '\\dataset.csv', header=None, usecols=[1])self.path = np.array(df_path)[:, 0]self.label = np.array(df_label)[:, 0]# 讀取某幅圖片，item為索引號def __getitem__(self, item):# 圖像數(shù)據(jù)用于訓(xùn)練，需為tensor類型，label用numpy或list均可face = cv2.imread(self.root + '\\' + self.path[item])# 讀取單通道灰度圖face_gray = cv2.cvtColor(face, cv2.COLOR_BGR2GRAY)# 高斯模糊# face_Gus = cv2.GaussianBlur(face_gray, (3,3), 0)# 直方圖均衡化face_hist = cv2.equalizeHist(face_gray)# 像素值標(biāo)準(zhǔn)化face_normalized = face_hist.reshape(1, 48, 48) / 255.0face_tensor = torch.from_numpy(face_normalized)face_tensor = face_tensor.type('torch.FloatTensor')label = self.label[item]return face_tensor, label# 獲取數(shù)據(jù)集樣本個數(shù)def __len__(self):return self.path.shape[0]class FaceCNN(nn.Module):# 初始化網(wǎng)絡(luò)結(jié)構(gòu)def __init__(self):super(FaceCNN, self).__init__()# 第一次卷積、池化self.conv1 = nn.Sequential(# 輸入通道數(shù)in_channels，輸出通道數(shù)(即卷積核的通道數(shù))out_channels，卷積核大小kernel_size，步長stride，對稱填0行列數(shù)padding# input:(bitch_size, 1, 48, 48), output:(bitch_size, 64, 48, 48), (48-3+2*1)/1+1 = 48nn.Conv2d(in_channels=1, out_channels=64, kernel_size=3, stride=1, padding=1), # 卷積層nn.BatchNorm2d(num_features=64), # 歸一化nn.RReLU(inplace=True), # 激活函數(shù)# output(bitch_size, 64, 24, 24)nn.MaxPool2d(kernel_size=2, stride=2), # 最大值池化)# 第二次卷積、池化self.conv2 = nn.Sequential(# input:(bitch_size, 64, 24, 24), output:(bitch_size, 128, 24, 24), (24-3+2*1)/1+1 = 24nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(num_features=128),nn.RReLU(inplace=True),# output:(bitch_size, 128, 12 ,12)nn.MaxPool2d(kernel_size=2, stride=2),)# 第三次卷積、池化self.conv3 = nn.Sequential(# input:(bitch_size, 128, 12, 12), output:(bitch_size, 256, 12, 12), (12-3+2*1)/1+1 = 12nn.Conv2d(in_channels=128, out_channels=256, kernel_size=3, stride=1, padding=1),nn.BatchNorm2d(num_features=256),nn.RReLU(inplace=True),# output:(bitch_size, 256, 6 ,6)nn.MaxPool2d(kernel_size=2, stride=2),)# 參數(shù)初始化self.conv1.apply(gaussian_weights_init)self.conv2.apply(gaussian_weights_init)self.conv3.apply(gaussian_weights_init)# 全連接層self.fc = nn.Sequential(nn.Dropout(p=0.2),nn.Linear(in_features=256*6*6, out_features=4096),nn.RReLU(inplace=True),nn.Dropout(p=0.5),nn.Linear(in_features=4096, out_features=1024),nn.RReLU(inplace=True),nn.Linear(in_features=1024, out_features=256),nn.RReLU(inplace=True),nn.Linear(in_features=256, out_features=7),)# 前向傳播def forward(self, x):x = self.conv1(x)x = self.conv2(x)x = self.conv3(x)# 數(shù)據(jù)扁平化x = x.view(x.shape[0], -1)y = self.fc(x)return ydef train(train_dataset, val_dataset, batch_size, epochs, learning_rate, wt_decay):# 載入數(shù)據(jù)并分割batchtrain_loader = data.DataLoader(train_dataset, batch_size)# 構(gòu)建模型model = FaceCNN()# 損失函數(shù)loss_function = nn.CrossEntropyLoss()# 優(yōu)化器optimizer = optim.SGD(model.parameters(), lr=learning_rate, weight_decay=wt_decay)# 學(xué)習(xí)率衰減# scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.8)# 逐輪訓(xùn)練for epoch in range(epochs):# 記錄損失值loss_rate = 0# scheduler.step() # 學(xué)習(xí)率衰減model.train() # 模型訓(xùn)練for images, labels in train_loader:# 梯度清零optimizer.zero_grad()# 前向傳播output = model.forward(images)# 誤差計算loss_rate = loss_function(output, labels)# 誤差的反向傳播loss_rate.backward()# 更新參數(shù)optimizer.step()# 打印每輪的損失print('After {} epochs , the loss_rate is : '.format(epoch+1), loss_rate.item())if epoch % 5 == 0:model.eval() # 模型評估acc_train = validate(model, train_dataset, batch_size)acc_val = validate(model, val_dataset, batch_size)print('After {} epochs , the acc_train is : '.format(epoch+1), acc_train)print('After {} epochs , the acc_val is : '.format(epoch+1), acc_val)return modeldef main():# 數(shù)據(jù)集實例化(創(chuàng)建數(shù)據(jù)集)train_dataset = FaceDataset(root='E:\\WSD\\HW3\\FaceData\\train')val_dataset = FaceDataset(root='E:\\WSD\\HW3\\FaceData\\val')# 超參數(shù)可自行指定model = train(train_dataset, val_dataset, batch_size=128, epochs=100, learning_rate=0.1, wt_decay=0)# 保存模型torch.save(model, 'model_net1.pkl')if __name__ == '__main__':main()

6 最后

總結(jié)

以上是生活随笔為你收集整理的毕业设计 - 题目：基于深度学习的人脸表情识别 - 卷积神经网络 毕设 代码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。