1.什么是微調？

這個東西其實和模型遷移是相互連接在一起的，就是你將本身類似的一個東西拿到這里拿過來，在這里再稍微訓練一下接著使用了，這里稍微再訓練一下就是微調了。

2.為什么微調是有效的？

2.1淺層的網絡更適合共用

這里我們注意這樣的一個問題，在一個模型當中，我們實際上大約可以從淺到深籠統的將其分成大約三個部分：1.特征提取（1.1淺層提取細節上的信息1.2深層上提取總體的信息）2.結果輸出。
這里我們可以看出來淺層網絡其實在類似的學習模型中，是比較類似的，所以淺層網絡是比較可以共用的。

2.2訓練時，不同層之間的訓練率差異

我們可以因為梯度會越乘算越小，所以我們在計算的過程中會有梯度消失的現象，雖然我們可以使用ResNet來進行優化，但是實際上淺層網絡（在forward的過程中他是淺層，但是在backward的過程中就會變成深層）訓練起來會比較慢。

2.3綜合起來

本身我們就是想改變深層網絡的參數情況，保留淺層網絡的參數，訓練的特性正好幫我們完成了這件事，所以，非常好。

3.怎么實現

總結

以上是生活随笔為你收集整理的什么是微调？什么是模型迁移？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。