??神經網絡既有記憶能力又有泛化能力，這對應了我們現實世界的情況，既有多樣性又有規律性，所以神經網絡能夠學習現實世界很多領域的問題。（多說一句，我認為現實世界的規律性是由宇宙的同源性（宇宙大爆炸，基本粒子不可再分）引起的，多樣性是由隨機性效應（量子力學、混沌效應等）引起的。）
??下面通過shuffle label試驗來感受LeNet的記憶能力。

---

1、shuffle label試驗

??shuffle label的方法在Bengio大神的文章《A Closer Look at Memorization in Deep Networks》https://arxiv.org/abs/1706.05394中提到。就是在訓練時把標簽完全打亂，樣本和標簽之間失去聯系，然而此時仍然是可以訓練的，網絡完全是死記住了所有樣本和標簽之間的關聯。當然這種記憶沒有任何的泛化能力，在驗證集上表現為完全隨機預測。
??我們在LeNet上進行shuffle label試驗，注意torch中沒有shuffle功能，所以我們需要在numpy中shuffle，試驗在我之前的代碼https://blog.csdn.net/Brikie/article/details/112253975上修改，僅對get_data部分修改如下。

def get_data():train_img, train_label = _read('train-images-idx3-ubyte.gz','train-labels-idx1-ubyte.gz')train_img = train_img[:10000]train_label = train_label[:10000]np.random.shuffle(train_label)...

??LeNet在Mnist數據集上shuffle label的訓練結果如上圖，acc表示在訓練集上的精度。可見，模型有很強的記憶能力，即使是標簽完全打亂，模型也能學到東西。如果訓練樣本較多，模型記憶的過程會較慢，如果樣本數量較少，比如只有5000個時，不到100epoch就能夠全部都記住，精度幾乎達到100%。

2、去掉卷積層之后的對比

??去掉LeNet的兩個卷積層之后，把全連接層的輸入尺寸改為28*28，參數量還變大了，從61706變為105214。但從下圖可以看出，沒有卷積層時記憶能力顯著下降。這說明即使是“死記”，卷積層也仍可以對特征進行提取，相當于圖片壓縮了，仍可以減少需要記憶的信息量。

總結

以上是生活随笔為你收集整理的LeNet试验（四）使用shuffle label观察网络的记忆能力的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。