如果把神經網絡的收斂過程理解成是提取純度99%的權重，可以用化學上的分級萃取精餾的辦法重新改造神經網絡的收斂過程。

比如首先從原料提取純度30%的餾分，也就是準確率達到30%的權重組合，這時把這組餾分保存下來，結束程序，然后用這組純度30%的餾分初始化權重，重新萃取純度40%餾分。比如迭代100次，如果達到就把純度40%的餾分保存下來再次初始化權重，重新從40%的餾分開始。如果迭代100次達不到40%將產生最大值的權重組合保存下來，用這組權重再次循環。

這樣由30%-40%-50%逐級提升，直到90%這時可以減小梯度進入精餾流程，比如可以一次提升1%，直到達到要求。

用這種方法制作了一個784*15*5的網絡用來區分mnist的0,1,2,3,4，用從0開始的方法做了5次，最大的一次在迭代到200批樣品的時候達到0.82，而用逐級萃取的方法同樣的迭代次數已經可以得到準確率超過的90%的樣本。粗略的統計從0開始的方法成功率低于20%，而逐級萃取的方法至少可以節省80%的收斂時間。

?

逐級萃取精餾方法的實驗數據

學習率=0.1，

batch=300，放回取樣

激活函數是sigmoid，沒有偏置，每批樣品都測試準確率

總結

以上是生活随笔為你收集整理的加速神经网络收敛的萃取精馏权重法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。