卷積神經(jīng)網(wǎng)絡(luò)Lenet-5實(shí)現(xiàn)
原文地址 ：http://blog.csdn.net/hjimce/article/details/47323463
作者 ：hjimce
卷積神經(jīng)網(wǎng)絡(luò)算法是n年前就有的算法，只是近年來因?yàn)樯疃葘W(xué)習(xí)相關(guān)算法為多層網(wǎng)絡(luò)的訓(xùn)練提供了新方法，然后現(xiàn)在電腦的計(jì)算能力已非當(dāng)年的那種計(jì)算水平，同時(shí)現(xiàn)在的訓(xùn)練數(shù)據(jù) 很多，于是神經(jīng)網(wǎng)絡(luò)的相關(guān)算法又重新火了起來 ， 因此卷積神經(jīng)網(wǎng)絡(luò)就又活了起來，再開始前，我們需要明確的是網(wǎng)上講的卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)教程一般指的是神經(jīng)網(wǎng)絡(luò)的前向傳導(dǎo)過程，反向傳播都是用梯度下降法進(jìn)行訓(xùn)練。
一、理論階段
講解這個(gè)算法，沒有打算啰嗦太多的東西，因?yàn)槭裁礄?quán)值共享、局部感受野什么的，講那么多，都是那些生物學(xué)的相關(guān)理論。卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)博文也是一大堆，但是講的，基本上都是抄過來抄過去，就像我之前不理解從S2層到C3層是怎么實(shí)現(xiàn)的，網(wǎng)上看了一大堆教程，沒有一個(gè)解答這個(gè)問題的。我的個(gè)人感覺整個(gè)過程，就只有S2到C3是最難理解的。接著我將結(jié)合我的理解進(jìn)行講解。
1、卷積
卷積的概念這個(gè)我想只要學(xué)過圖像處理的人都懂的概念了，這個(gè)不解釋。我們知道對(duì)于給定的一幅圖像來說，給定一個(gè)卷積核，卷積就是根據(jù)卷積窗口，進(jìn)行像素的加權(quán)求和。
卷積神經(jīng)網(wǎng)絡(luò)與我們之前所學(xué)到的圖像的卷積的區(qū)別，我的理解是：我們之前學(xué)圖像處理遇到卷積，一般來說，這個(gè)卷積核是已知的，比如各種邊緣檢測(cè)算子、高斯模糊等這些，都是已經(jīng)知道卷積核，然后再與圖像進(jìn)行卷積運(yùn)算。然而深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)卷積核是未知的，我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，就是要訓(xùn)練得出這些卷積核，而這些卷積核就相當(dāng)于我們學(xué)單層感知器的時(shí)候的那些參數(shù)W，因此你可以把這些待學(xué)習(xí)的卷積核看成是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)W。
2、池化
剛開始學(xué)習(xí)CNN的時(shí)候，看到這個(gè)詞，好像高大上的樣子，于是查了很多資料，理論一大堆，但是實(shí)踐、算法實(shí)現(xiàn)卻都沒講到，也不懂池化要怎么實(shí)現(xiàn)？其實(shí)所謂的池化，就是圖片下采樣。這個(gè)時(shí)候，你會(huì)發(fā)現(xiàn)CNN每一層的構(gòu)建跟圖像高斯金字塔的構(gòu)建有點(diǎn)類似，因此你如果已經(jīng)懂得了圖像金字塔融合的相關(guān)算法，那么就變的容易理解了。在高斯金子塔構(gòu)建中，每一層通過卷積，然后卷積后進(jìn)行下采樣，而CNN也是同樣的過程。廢話不多說，這里就講一下，CNN的池化：
CNN的池化(圖像下采樣)方法很多：Mean pooling(均值采樣)、Max pooling(最大值采樣)、Overlapping (重疊采樣)、L2 pooling(均方采樣)、Local Contrast Normalization(歸一化采樣)、Stochasticpooling(隨即采樣)、Def-pooling(形變約束采樣)。其中最經(jīng)典的是最大池化，因此我就解釋一下最大池化的實(shí)現(xiàn)：
原圖片
為了簡(jiǎn)單起見，我用上面的圖片作為例子，假設(shè)上面的圖片大小是4*4的，如上圖所示，然后圖片中每個(gè)像素點(diǎn)的值是上面各個(gè)格子中的數(shù)值。然后我要對(duì)這張4*4的圖片進(jìn)行池化，池化的大小為(2,2)，跨步為2，那么采用最大池化也就是對(duì)上面4*4的圖片進(jìn)行分塊，每個(gè)塊的大小為2*2，然后統(tǒng)計(jì)每個(gè)塊的最大值，作為下采樣后圖片的像素值，具體計(jì)算如下圖所示：
也就是說我們最后得到下采樣后的圖片為：
這就是所謂的最大池化。當(dāng)然以后你還會(huì)遇到各種池化方法，比如均值池化，也就是對(duì)每個(gè)塊求取平均值作為下采樣的新像素值。還有重疊采樣的池化，我上面這個(gè)例子是沒有重疊的采樣的，也就是每個(gè)塊之間沒有相互重疊的部分，上面我說的跨步為2，就是為了使得分塊都非重疊，等等，這些以后再跟大家解釋池化常用方法。這里就先記住最大池化就好了，因?yàn)檫@個(gè)目前是最常用的。
3、feature maps?
這個(gè)單詞國(guó)人把它翻譯成特征圖，挺起來很專業(yè)的名詞。那么什么叫特征圖呢？其實(shí)一張圖片經(jīng)過一個(gè)卷積核進(jìn)行卷積運(yùn)算，我們可以得到一張卷積后的結(jié)果圖片，而這張圖片就是特征圖。在CNN中，我們要訓(xùn)練的卷積核并不是僅僅只有一個(gè)，這些卷積核用于提取特征，卷積核個(gè)數(shù)越多，提取的特征越多，理論上來說精度也會(huì)更高，然而卷積核一堆，意味著我們要訓(xùn)練的參數(shù)的個(gè)數(shù)越多。在LeNet-5經(jīng)典結(jié)構(gòu)中，第一層卷積核選擇了6個(gè)，而在AlexNet中，第一層卷積核就選擇了96個(gè)，具體多少個(gè)合適，還有待學(xué)習(xí)。
回到特征圖概念，CNN的每一個(gè)卷積層我們都要人為的選取合適的卷積核個(gè)數(shù)，及卷積核大小。每個(gè)卷積核與圖片進(jìn)行卷積，就可以得到一張?zhí)卣鲌D了，比如LeNet-5經(jīng)典結(jié)構(gòu)中，第一層卷積核選擇了6個(gè)，我們可以得到6個(gè)特征圖，這些特征圖也就是下一層網(wǎng)絡(luò)的輸入了。我們也可以把輸入圖片看成一張?zhí)卣鲌D，作為第一層網(wǎng)絡(luò)的輸入。
4、CNN的經(jīng)典結(jié)構(gòu)
對(duì)于剛?cè)腴TCNN的人來說，我們首先需要現(xiàn)在的一些經(jīng)典結(jié)構(gòu)：
(1)LeNet-5 。這個(gè)是n多年前就有的一個(gè)CNN的經(jīng)典結(jié)構(gòu)，主要是用于手寫字體的識(shí)別，也是剛?cè)腴T需要學(xué)習(xí)熟悉的一個(gè)網(wǎng)絡(luò)，我的這篇博文主要就是要講這個(gè)網(wǎng)絡(luò)
(2)AlexNet。
在imagenet上的圖像分類challenge上大神Alex提出的alexnet網(wǎng)絡(luò)結(jié)構(gòu)模型贏得了2012屆的冠軍，振奮人心，利用CNN實(shí)現(xiàn)了圖片分類，別人用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)調(diào)參跳到半死也就那樣，Alex利用CNN精度遠(yuǎn)超傳統(tǒng)的網(wǎng)絡(luò)。
其它的還有什么《Network In Network》，GoogLeNet、Deconvolution Network，在以后的學(xué)習(xí)中我們會(huì)遇到。比如利用Deconvolution Network反卷積網(wǎng)絡(luò)實(shí)現(xiàn)圖片的去模糊，牛逼哄哄。
? ? OK，理論階段就啰嗦到這里就好了，接著就講解?LeNet-5，?LeNet-5是用于手寫字體的識(shí)別的一個(gè)經(jīng)典CNN：
LeNet-5結(jié)構(gòu)
輸入： 32*32的手寫字體圖片，這些手寫字體包含0~9數(shù)字，也就是相當(dāng)于10個(gè)類別的圖片
輸出： 分類結(jié)果，0~9之間的一個(gè)數(shù)
因此我們可以知道，這是一個(gè)多分類問題，總共有十個(gè)類，因此神經(jīng)網(wǎng)絡(luò)的最后輸出層必然是SoftMax問題，然后神經(jīng)元的個(gè)數(shù)是10個(gè)。LeNet-5結(jié)構(gòu)：
輸入層：32*32的圖片，也就是相當(dāng)于1024個(gè)神經(jīng)元
C1層： paper作者，選擇6個(gè)特征卷積核，然后卷積核大小選擇5*5，這樣我們可以得到6個(gè)特征圖，然后每個(gè)特征圖的大小為32-5+1=28，也就是神經(jīng)元的個(gè)數(shù)由1024減小到了28*28=784。
S2層： 這就是下采樣層，也就是使用最大池化進(jìn)行下采樣，池化的size，選擇(2,2)，也就是相當(dāng)于對(duì)C1層28*28的圖片，進(jìn)行分塊，每個(gè)塊的大小為2*2，這樣我們可以得到14*14個(gè)塊，然后我們統(tǒng)計(jì)每個(gè)塊中，最大的值作為下采樣的新像素，因此我們可以得到S1結(jié)果為：14*14大小的圖片，共有6個(gè)這樣的圖片。
C3層 ：卷積層，這一層我們選擇卷積核的大小依舊為5*5，據(jù)此我們可以得到新的圖片大小為14-5+1=10，然后我們希望可以得到16張?zhí)卣鲌D。那么問題來了？這一層是最難理解的，我們知道S2包含：6張14*14大小的圖片，我們希望這一層得到的結(jié)果是：16張10*10的圖片。這16張圖片的每一張，是通過S2的6張圖片進(jìn)行加權(quán)組合得到的，具體是怎么組合的呢？問題如下圖所示：
為了解釋這個(gè)問題，我們先從簡(jiǎn)單的開始，我現(xiàn)在假設(shè)輸入6特征圖的大小是5*5的，分別用6個(gè)5*5的卷積核進(jìn)行卷積，得到6個(gè)卷積結(jié)果圖片大小為1*1，如下圖所示：
? ? 為了簡(jiǎn)便起見，我這里先做一些標(biāo)號(hào)的定義：我們假設(shè)輸入第i個(gè)特征圖的各個(gè)像素值為x1i，x2i……x25i，因?yàn)槊總€(gè)特征圖有25個(gè)像素。因此第I個(gè)特征圖經(jīng)過5*5的圖片卷積后，得到的卷積結(jié)果圖片的像素值Pi可以表示成：
這個(gè)是卷積公式，不解釋。因此對(duì)于上面的P1~P6的計(jì)算方法，這個(gè)就是直接根據(jù)公式。然后我們把P1~P6相加起來，也就是：
P=P1+P2+……P6
把上面的Pi的計(jì)算公式，代入上式，那么我們可以得到：
P=WX
其中X就是輸入的那6張5*5特征圖片的各個(gè)像素點(diǎn)值，而W就是我們需要學(xué)習(xí)的參數(shù)，也就相當(dāng)于6個(gè)5*5的卷積核，當(dāng)然它包含著6*（5*5）個(gè)參數(shù)。因此我們的輸出特征圖就是：
Out=f(P+b)
這個(gè)就是從S2到C3的計(jì)算方法，其中b表示偏置項(xiàng)，f為激活函數(shù)。
我們回歸到原來的問題：有6張輸入14*14的特征圖片，我們希望用5*5的卷積核，然后最后我們希望得到一張10*10的輸出特征圖片？
根據(jù)上面的過程，也就是其實(shí)我們用5*5的卷積核去卷積每一張輸入的特征圖，當(dāng)然每張?zhí)卣鲌D的卷積核參數(shù)是不一樣的，也就是不共享，因此我們就相當(dāng)于需要6*(5*5)個(gè)參數(shù)。對(duì)每一張輸入特征圖進(jìn)行卷積后，我們得到6張10*10，新圖片，這個(gè)時(shí)候，我們把這6張圖片相加在一起，然后加一個(gè)偏置項(xiàng)b，然后用激活函數(shù)進(jìn)行映射，就可以得到一張10*10的輸出特征圖了。
? ? 而我們希望得到16張10*10的輸出特征圖，因此我們就需要卷積參數(shù)個(gè)數(shù)為16*(6*(5*5))=16*6*(5*5)個(gè)參數(shù)。 總之，C3層每個(gè)圖片是通過S2圖片進(jìn)行卷積后，然后相加，并且加上偏置b,最后在進(jìn)行激活函數(shù)映射得到的結(jié)果。
S4層： 下采樣層，比較簡(jiǎn)單，也是知己對(duì)C3的16張10*10的圖片進(jìn)行最大池化，池化塊的大小為2*2。因此最后S4層為16張大小為5*5的圖片。至此我們的神經(jīng)元個(gè)數(shù)已經(jīng)減少為：16*5*5=400。
C5層： 我們繼續(xù)用5*5的卷積核進(jìn)行卷積，然后我們希望得到120個(gè)特征圖。這樣C5層圖片的大小為5-5+1=1，也就是相當(dāng)于1個(gè)神經(jīng)元，120個(gè)特征圖，因此最后只剩下120個(gè)神經(jīng)元了。這個(gè)時(shí)候，神經(jīng)元的個(gè)數(shù)已經(jīng)夠少的了，后面我們就可以直接利用全連接神經(jīng)網(wǎng)絡(luò)，進(jìn)行這120個(gè)神經(jīng)元的后續(xù)處理，后面具體要怎么搞，只要懂多層感知器的都懂了，不解釋。
上面的結(jié)構(gòu)，只是一種參考，在現(xiàn)實(shí)使用中，每一層特征圖需要多少個(gè)，卷積核大小選擇，還有池化的時(shí)候采樣率要多少，等這些都是變化的，這就是所謂的CNN調(diào)參，我們需要學(xué)會(huì)靈活多變。
比如我們可以把上面的結(jié)構(gòu)改為:C1層卷積核大小為7*7，然后把C3層卷積核大小改為3*3等，然后特征圖的個(gè)數(shù)也是自己選，說不定得到手寫字體識(shí)別的精度比上面那個(gè)還高，這也是有可能的，總之一句話：需要學(xué)會(huì)靈活多變，需要學(xué)會(huì)CNN的調(diào)參。
二、實(shí)戰(zhàn)階段
1、訓(xùn)練數(shù)據(jù)獲取
在theano學(xué)習(xí)庫(kù)中有手寫字體的庫(kù)，可以從網(wǎng)上下載到，名為：mnist.pkl.gz的手寫字體庫(kù)，里面包含了三個(gè)部分的數(shù)據(jù)，訓(xùn)練數(shù)據(jù)集train_set：50000個(gè)訓(xùn)練樣本，驗(yàn)證集valid_set，我們可以用如下的代碼讀取這些數(shù)據(jù)，然后用plot顯示其中的一張圖片:
[python] ?view plaincopy
<span?style= "font-size:18px;" > import ?cPickle?? import ?gzip?? import ?numpy?as?np?? import ?matplotlib.pyplot?as?plt?? f?=?gzip.open('mnist.pkl.gz' ,? 'rb' )?? train_set,?valid_set,?test_set?=?cPickle.load(f)?? f.close()?? tx,ty=train_set;?? ?? ?? print ?np.shape(tx) ?? print ?np.shape(ty) ?? ?? A=tx[8 ].reshape( 28 , 28 ) ?? Y=ty[8 ]?? print ?Y?? plt.imshow(A,cmap='gray' ) ??
在上面的代碼中我顯示的是第8張圖片，可以看到如下結(jié)果：
第八個(gè)樣本是數(shù)字1。
2、LeNet-5實(shí)現(xiàn)
首先你要知道 mnist.pkl.gz這個(gè)庫(kù)給我們的圖片的大小是28*28的，因此我們可以第一步選擇5*5的卷積核進(jìn)行卷積得到24*24，同時(shí)我們希望C1層得到20張?zhí)卣鲌D，等等，具體的代碼實(shí)現(xiàn)如下;
[python] ?view plaincopy
import ?os?? import ?sys?? import ?timeit?? ?? import ?numpy?? ?? import ?theano?? import ?theano.tensor?as?T?? from ?theano.tensor.signal? import ?downsample?? from ?theano.tensor.nnet? import ?conv?? ?? from ?logistic_sgd? import ?LogisticRegression,?load_data?? from ?mlp? import ?HiddenLayer?? ?? ?? ?? class ?LeNetConvPoolLayer(object):?? ?? ?????? ????def ?__init__( self ,?rng,?input,?filter_shape,?image_shape,?poolsize=( 2 ,? 2 )):?? ????????? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ?? ????????assert ?image_shape[ 1 ]?==?filter_shape[ 1 ] ?? ????????self .input?=?input?? ?? ?????????? ?????????? ?????????? ????????fan_in?=?numpy.prod(filter_shape[1 :])?? ?????????? ????????fan_out?=?(filter_shape[0 ]?*?numpy.prod(filter_shape[ 2 :])?/?? ???????????????????numpy.prod(poolsize))?? ?????????? ?????????? ????????W_bound?=?numpy.sqrt(6. ?/?(fan_in?+?fan_out))?? ????????self .W?=?theano.shared(?? ????????????numpy.asarray(?? ????????????????rng.uniform(low=-W_bound,?high=W_bound,?size=filter_shape),?? ????????????????dtype=theano.config.floatX?? ????????????),?? ????????????borrow=True ?? ????????)?? ?? ?????????? ?????????? ????????b_values?=?numpy.zeros((filter_shape[0 ],),?dtype=theano.config.floatX)?? ????????self .b?=?theano.shared(value=b_values,?borrow= True )?? ?? ?????????? ?????????? ????????conv_out?=?conv.conv2d(?? ????????????input=input,?? ????????????filters=self .W,?? ????????????filter_shape=filter_shape,?? ????????????image_shape=image_shape?? ????????)?? ?? ?????????? ????????pooled_out?=?downsample.max_pool_2d(?? ????????????input=conv_out,?? ????????????ds=poolsize,?? ????????????ignore_border=True ?? ????????)?? ?????????? ?????????? ?????????? ?????????? ?????????? ????????self .output?=?T.tanh(pooled_out?+? self .b.dimshuffle( 'x' ,? 0 ,? 'x' ,? 'x' ))?? ?? ?????????? ????????self .params?=?[ self .W,? self .b]?? ????????self .input?=?input?? ?? ?? def ?evaluate_lenet5(learning_rate= 0.1 ,?n_epochs= 200 ,?? ????????????????????dataset='mnist.pkl.gz' ,?? ????????????????????nkerns=[20 ,? 50 ],?batch_size= 500 ):?? ????? ? ? ? ? ? ? ? ? ? ? ? ?? ?? ????rng?=?numpy.random.RandomState(23455 )?? ?? ????datasets?=?load_data(dataset)?? ?? ????train_set_x,?train_set_y?=?datasets[0 ] ?? ????valid_set_x,?valid_set_y?=?datasets[1 ] ?? ????test_set_x,?test_set_y?=?datasets[2 ] ?? ?? ?????? ????n_train_batches?=?train_set_x.get_value(borrow=True ).shape[ 0 ] ?? ????n_valid_batches?=?valid_set_x.get_value(borrow=True ).shape[ 0 ]?? ????n_test_batches?=?test_set_x.get_value(borrow=True ).shape[ 0 ]?? ????n_train_batches?/=?batch_size?? ????n_valid_batches?/=?batch_size?? ????n_test_batches?/=?batch_size?? ?? ?????? ????index?=?T.lscalar()???? ?? ?????? ????x?=?T.matrix('x' )??? ?? ????y?=?T.ivector('y' )?? ?? ?????????????????????????? ?? ?? ?????? ?????? ?????? ????layer0_input?=?x.reshape((batch_size,?1 ,? 28 ,? 28 ))?? ?? ????'' ? ? ? ? ? ?? ????layer0?=?LeNetConvPoolLayer(?? ????????rng,?? ????????input=layer0_input,?? ????????image_shape=(batch_size,?1 ,? 28 ,? 28 ),?? ????????filter_shape=(nkerns[0 ],? 1 ,? 5 ,? 5 ),?? ????????poolsize=(2 ,? 2 )?? ????)?? ?? ????'' ? ? ? ? ?? ????layer1?=?LeNetConvPoolLayer(?? ????????rng,?? ????????input=layer0.output,?? ????????image_shape=(batch_size,?nkerns[0 ],? 12 ,? 12 ),?? ????????filter_shape=(nkerns[1 ],?nkerns[ 0 ],? 5 ,? 5 ),?? ????????poolsize=(2 ,? 2 )?? ????)?? ?? ?????? ?????? ?????? ?????? ????layer2_input?=?layer1.output.flatten(2 )?? ?? ????'' ? ? ?? ????layer2?=?HiddenLayer(?? ????????rng,?? ????????input=layer2_input,?? ????????n_in=nkerns[1 ]?*? 4 ?*? 4 ,?? ????????n_out=500 ,?? ????????activation=T.tanh?? ????)?? ?? ?????? ????layer3?=?LogisticRegression(input=layer2.output,?n_in=500 ,?n_out= 10 )?? ?? ?????? ????cost?=?layer3.negative_log_likelihood(y)?? ?? ?????? ????test_model?=?theano.function(?? ????????[index],?? ????????layer3.errors(y),?? ????????givens={?? ????????????x:?test_set_x[index?*?batch_size:?(index?+?1 )?*?batch_size],?? ????????????y:?test_set_y[index?*?batch_size:?(index?+?1 )?*?batch_size]?? ????????}?? ????)?? ?? ????validate_model?=?theano.function(?? ????????[index],?? ????????layer3.errors(y),?? ????????givens={?? ????????????x:?valid_set_x[index?*?batch_size:?(index?+?1 )?*?batch_size],?? ????????????y:?valid_set_y[index?*?batch_size:?(index?+?1 )?*?batch_size]?? ????????}?? ????)?? ?? ?????? ????params?=?layer3.params?+?layer2.params?+?layer1.params?+?layer0.params?? ?? ?????? ????grads?=?T.grad(cost,?params)?? ?? ?????? ?????? ?????? ?????? ?????? ????updates?=?[?? ????????(param_i,?param_i?-?learning_rate?*?grad_i)?? ????????for ?param_i,?grad_i? in ?zip(params,?grads)?? ????]?? ?? ????train_model?=?theano.function(?? ????????[index],?? ????????cost,?? ????????updates=updates,?? ????????givens={?? ????????????x:?train_set_x[index?*?batch_size:?(index?+?1 )?*?batch_size],?? ????????????y:?train_set_y[index?*?batch_size:?(index?+?1 )?*?batch_size]?? ????????}?? ????)?? ?????? ?? ?????? ?????? ?????? ????print ? '...?training' ?? ?????? ????patience?=?10000 ?? ?? ????patience_increase?=?2 ?? ?? ????????????????????????????? ????improvement_threshold?=?0.995 ?? ?? ????????????????????????????????????? ????validation_frequency?=?min(n_train_batches,?patience?/?2 )?? ???????????????????????????????????? ???????????????????????????????????? ???????????????????????????????????? ???????????????????????????????????? ?? ????best_validation_loss?=?numpy.inf?? ????best_iter?=?0 ?? ????test_score?=?0. ?? ????start_time?=?timeit.default_timer()?? ?? ????epoch?=?0 ?? ????done_looping?=?False ?? ?? ????while ?(epoch?<?n_epochs)? and ?( not ?done_looping):?? ????????epoch?=?epoch?+?1 ?? ????????for ?minibatch_index? in ?xrange(n_train_batches): ?? ?? ????????????cost_ij?=?train_model(minibatch_index)?? ????????????iter?=?(epoch?-?1 )?*?n_train_batches?+?minibatch_index?? ????????????if ?(iter?+? 1 )?%?validation_frequency?==? 0 :?? ?? ?????????????????? ????????????????validation_losses?=?[validate_model(i)?for ?i?? ?????????????????????????????????????in ?xrange(n_valid_batches)]?? ????????????????this_validation_loss?=?numpy.mean(validation_losses)?? ????????????????print ( 'epoch?%i,?minibatch?%i/%i,?validation?error?%f?%%' ?%?? ??????????????????????(epoch,?minibatch_index?+?1 ,?n_train_batches,?? ???????????????????????this_validation_loss?*?100. ))?? ?? ?????????????????? ????????????????if ?this_validation_loss?<?best_validation_loss:?? ?? ?????????????????????? ????????????????????if ?this_validation_loss?<?best_validation_loss?*??\?? ???????????????????????improvement_threshold:?? ????????????????????????patience?=?max(patience,?iter?*?patience_increase)?? ?? ?????????????????????? ????????????????????best_validation_loss?=?this_validation_loss?? ????????????????????best_iter?=?iter?? ?? ?????????????????????? ????????????????????test_losses?=?[?? ????????????????????????test_model(i)?? ????????????????????????for ?i? in ?xrange(n_test_batches)?? ????????????????????]?? ????????????????????test_score?=?numpy.mean(test_losses)?? ????????????????????print (( '?????epoch?%i,?minibatch?%i/%i,?test?error?of?' ?? ???????????????????????????'best?model?%f?%%' )?%?? ??????????????????????????(epoch,?minibatch_index?+?1 ,?n_train_batches,?? ???????????????????????????test_score?*?100. ))?? ?? ????????????if ?patience?<=?iter:?? ????????????????done_looping?=?True ?? ????????????????break ?? ?? ????end_time?=?timeit.default_timer()?? ????print ( 'Optimization?complete.' )?? ????print ( 'Best?validation?score?of?%f?%%?obtained?at?iteration?%i,?' ?? ??????????'with?test?performance?%f?%%' ?%?? ??????????(best_validation_loss?*?100. ,?best_iter?+? 1 ,?test_score?*? 100. ))?? ????print ?>>?sys.stderr,?( 'The?code?for?file?' ?+?? ??????????????????????????os.path.split(__file__)[1 ]?+?? ??????????????????????????'?ran?for?%.2fm' ?%?((end_time?-?start_time)?/? 60. ))?? ?? if ?__name__?==? '__main__' :?? ????evaluate_lenet5()?? ?? ?? def ?experiment(state,?channel):?? ????evaluate_lenet5(state.learning_rate,?dataset=state.dataset)??
訓(xùn)練結(jié)果：
參考文獻(xiàn)：
1、http://blog.csdn.net/zouxy09/article/details/8775360/
2、http://www.deeplearning.net/tutorial/lenet.html#lenet
**********************作者：hjimce ? 時(shí)間：2015.8.6 ?聯(lián)系QQ：1393852684 ? 地址： http://blog.csdn.net/hjimce?轉(zhuǎn)載請(qǐng)保留本行信息********************
總結(jié)
以上是生活随笔 為你收集整理的深度学习（四）卷积神经网络Lenet-5实现 的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔 網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔 推薦給好友。
