1、有了已經訓練好的模型參數，對這個模型的某些層做了改變，如何利用這些訓練好的模型參數繼續訓練：

pretrained_params = torch.load('Pretrained_Model'） model = The_New_Model(xxx) model.load_state_dict(pretrained_params.state_dict(), strict=False)

strict=False 使得預訓練模型參數中和新模型對應上的參數會被載入，對應不上或沒有的參數被拋棄。

2、如果載入的這些參數中，有些參數不要求被更新，即固定不變，不參與訓練，需要手動設置這些參數的梯度屬性為Fasle，并且在optimizer傳參時篩選掉這些參數：

# 載入預訓練模型參數后... for name, value in model.named_parameters():if name 滿足某些條件:value.requires_grad = False

# setup optimizer
params = filter(lambda?p: p.requires_grad, model.parameters())
optimizer = torch.optim.Adam(params, lr=1e-4)

?

將滿足條件的參數的 requires_grad 屬性設置為False， 同時 filter 函數將模型中屬性 requires_grad = True 的參數帥選出來，傳到優化器（以Adam為例）中，只有這些參數會被求導數和更新。

3、如果載入的這些參數中，所有參數都更新，但要求一些參數和另一些參數的更新速度（學習率learning rate）不一樣，最好知道這些參數的名稱都有什么：

# 載入預訓練模型參數后... for name, value in model.named_parameters():print(name) # 或 print(model.state_dict().keys())

假設該模型中有encoder，viewer和decoder兩部分，參數名稱分別是：

'encoder.visual_emb.0.weight', 'encoder.visual_emb.0.bias', 'viewer.bd.Wsi', 'viewer.bd.bias', 'decoder.core.layer_0.weight_ih', 'decoder.core.layer_0.weight_hh',

假設要求encode、viewer的學習率為1e-6， decoder的學習率為1e-4，那么在將參數傳入優化器時：

ignored_params = list(map(id, model.decoder.parameters())) base_params = filter(lambda p: id(p) not in ignored_params, model.parameters()) optimizer = torch.optim.Adam([{'params':base_params,'lr':1e-6},{'params':model.decoder.parameters()}],lr=1e-4, momentum=0.9)

代碼的結果是除decoder參數的learning_rate=1e-4 外，其他參數的額learning_rate=1e-6。?
在傳入optimizer時，和一般的傳參方法torch.optim.Adam(model.parameters(), lr=xxx)?不同，參數部分用了一個list， list的每個元素有params和lr兩個鍵值。如果沒有?lr則應用Adam的lr屬性。Adam的屬性除了lr， 其他都是參數所共有的(比如momentum)。

參考：

pytorch官方文檔

https://blog.csdn.net/u012759136/article/details/65634477

總結

以上是生活随笔為你收集整理的pytorch载入预训练模型后，训练指定层的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。