??“彩票假說”是ICLR2019最佳論文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》提出的。意思是神經網絡通常只有少量的關鍵參數發揮作用，找到這些少數關鍵參數就好像買到中獎的彩票一樣，幸運但很稀有。本文使用一種提取關鍵參數的算法，使神經網絡的參數稀疏化，以驗證彩票假說。我們發現在MNIST集上可以把LeNet參數稀疏至1/50而保持幾乎不變的精度，在CIFAR10上也可以把ResNet18參數稀疏至1/10而保持精度。

文章目錄

• 前言
• 一、在LeNet中觀察“彩票假說”現象
• 二、進一步用ResNet試驗
• 總結

---

前言

圖1. 人腦神經元隨年齡增長的稀疏化

??人腦神經元間的連接在6歲左右達到最致密，隨后又開始稀疏化。這種稀疏化可能會使記憶力有所下降，但是由于保留了關鍵連接，反而有更高的歸納綜合能力。
??彩票假說指出人工神經網絡也有類似的性質，當前使用的深度神經網絡多是過參數化的，可以把大部分參數抑制為0，只保留少量關鍵參數而不影響網絡性能。我們來觀察這個現象，仍舊先在MNIST集上用LeNet做試驗，因為它速度非常快，使用的LeNet代碼見第一節https://blog.csdn.net/Brikie/article/details/112253975。使用的提取關鍵參數的算法見我另一篇博客https://blog.csdn.net/Brikie/article/details/113656685中的改進版代碼。

一、在LeNet中觀察“彩票假說”現象

??系數$\tau$（tau）表示抑制的非關鍵參數的程度，$\tau$越大抑制的參數越多，保留的關鍵參數越少。我們在MNIST集中運行LeNet網絡，batch size=128，lr=0.01, momentum=0.9, weight_decay=0.001。不同$\tau$對應的測試集精度如圖1，有效參數（定義為絕對值大于0.001的參數）的數量隨訓練輪數變化情況如圖2。

圖1. MNIST數據集中使用LeNet觀察不同系數tau對應的測試集精度

圖2.有效參數數量隨訓練步數逐漸縮小到關鍵參數的過程

??我們可以看出，該算法可以把網絡參數大幅稀疏化，而測試集精度卻幾乎沒有降低。例如當$\tau =0.99$時，最終剩余的關鍵參數只有全部參數的1/50，但精度比原網絡還高一些。當$\tau =0.999$時，關鍵參數可以壓縮到1/100，精度仍能保持90%以上。把訓練結束后的部分權重參數可視化，如圖3，可以看到此時仍保有數值的關鍵參數已經非常稀疏。

圖3.tau = 0.999時conv2和fc1的權重絕對值可視化圖（下圖放大仔細看有一些白點）

二、進一步用ResNet試驗

??我們再用ResNet18在CIFAR10上進行試驗，得到曲線如下圖：

圖4.不同參數tau的ResNet18在CIFAR10上運行試驗

??可以看出，參數也能夠顯著壓縮，但精度保持的不如MNIST上面那么好，當tau=0.5時，參數稀疏為總量的約1/10，精度只比原網絡低一點。
??為了更好的對比，我們在MNIST上運行ResNet18。由于MNIST是28x28的單通道圖片，我們把它補零擴充為32x32，然后復制到三個通道，做成和CIFAR10一樣的3x32x32的圖片，以適用于剛才的ResNet18。

圖5.不同參數tau的ResNet18在MNIST3c上運行試驗

??可以看出，MNIST集上確實可以壓縮更多的參數，tau=0.999時，參數壓縮到了原來的1/70，精度仍差不多。這說明最大壓縮比不僅與模型有關，也與數據集有關，復雜的數據集當然需要的參數量也要多一些。

總結

??彩票假說指名了一個事實，即神經網絡的參數存在大量冗余，但這只是提出了一個新問題，距離解決這個問題還很遠。我覺得在這個領域獲得最終突破要解決幾個主要問題：
1，對于給定數據集的復雜度和給定的適用該數據集的神經網絡模型，在維持相當精度的要求下，這個模型的最稀疏的參數量的極限界是多少，怎么計算？
2，使用什么算法可以較好的得到接近這個極限界的稀疏化權重參數？
3，獲得的這個稀疏化網絡能否轉化為一個緊致的小網絡，以縮小模型內存需求，完成這個問題的本質目的——模型壓縮。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的LeNet试验（五）观察“彩票假说”现象的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。