最近在研究Mask R-CNN，該網(wǎng)絡(luò)一部分是跟Faster R-CNN（https://arxiv.org/pdf/1506.01497v3.pdf）相似的，同樣的，在模型訓(xùn)練實(shí)現(xiàn)時(shí)，其中一種方法叫做交替訓(xùn)練（Alternating training），想利用該方法就涉及到如何對(duì)網(wǎng)絡(luò)進(jìn)行指定層的訓(xùn)練，今天就總結(jié)一下pytorch中的實(shí)現(xiàn)方法，既然寫了指定層訓(xùn)練，那就把參數(shù)的單獨(dú)設(shè)置也介紹一下，pytorch提供的這些方法提高了網(wǎng)絡(luò)訓(xùn)練的靈活度，是很好用的方法。

---

指定層訓(xùn)練

每個(gè)變量都有一個(gè)標(biāo)記：requires_grad允許從梯度計(jì)算中細(xì)分排除子圖，并可以提高效率。當(dāng)我們把參數(shù)屬性設(shè)置為requires_grad=False時(shí)，該參數(shù)固定不變，不參與訓(xùn)練，不更新，具體操作如下：

# 載入預(yù)訓(xùn)練模型參數(shù)后... for name, value in model.named_parameters():if name 滿足某些條件:value.requires_grad = False# setup optimizer params = filter(lambda p: p.requires_grad, model.parameters()) optimizer = torch.optim.Adam(params, lr=1e-4)

檢查是否固定：被固定的輸出False,未被固定的輸出True

for name, value in model.named_parameters():print(name,value.requires_grad) #打印所有參數(shù)requires_grad屬性，True或False

將滿足條件的參數(shù)的 requires_grad 屬性設(shè)置為False， 同時(shí) filter 函數(shù)將模型中屬性 requires_grad = True 的參數(shù)篩選出來，傳到優(yōu)化器（以Adam為例）中，只有這些參數(shù)會(huì)被求導(dǎo)數(shù)和更新。

當(dāng)我們指定的參數(shù)比較多時(shí)，可以利用正則表達(dá)式來定義參與訓(xùn)練的層，具體實(shí)現(xiàn)如下：

def set_trainable(net, layer_regex, model=None, indent=0, verbose=1):"""Sets model layers as trainable if their names matchthe given regular expression."""for layer_name,param in net.named_parameters():trainable = bool(re.fullmatch(layer_regex, layer_name)) # re.fullmatch()返回一個(gè)和模式串完全匹配的字符串if not trainable:param.requires_grad = False#將與layer_regex不匹配的層固定layer_regex = {# all layers but the backbone"heads": r"(fpn.P5\_.*)|(fpn.P4\_.*)|(fpn.P3\_.*)|(fpn.P2\_.*)|(rpn.*)|(classifier.*)|(mask.*)",# From a specific Resnet stage and up"3+": r"(fpn.C3.*)|(fpn.C4.*)|(fpn.C5.*)|(fpn.P5\_.*)|(fpn.P4\_.*)|(fpn.P3\_.*)|(fpn.P2\_.*)|(rpn.*)|(classifier.*)|(mask.*)","4+": r"(fpn.C4.*)|(fpn.C5.*)|(fpn.P5\_.*)|(fpn.P4\_.*)|(fpn.P3\_.*)|(fpn.P2\_.*)|(rpn.*)|(classifier.*)|(mask.*)","5+": r"(fpn.C5.*)|(fpn.P5\_.*)|(fpn.P4\_.*)|(fpn.P3\_.*)|(fpn.P2\_.*)|(rpn.*)|(classifier.*)|(mask.*)",# All layers"all": ".*", }#用正則表達(dá)式標(biāo)識(shí)要訓(xùn)練的層if layers in layer_regex.keys():layers = layer_regex[layers]self.set_trainable(layers) optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=0.9, weight_decay=5e-4)model.train_model(dataset_train, dataset_val,learning_rate=config.LEARNING_RATE,epochs=40,layers='heads')

通過選擇layers來選擇我們要訓(xùn)練更新的層。

---

為每個(gè)參數(shù)單獨(dú)設(shè)置選項(xiàng)

---

當(dāng)我們想指定每一層的學(xué)習(xí)率時(shí)，可以這樣操作：

optim.SGD([{'params': model.base.parameters()},{'params': model.classifier.parameters(), 'lr': 1e-3}], lr=1e-2, momentum=0.9)

這意味著model.base的參數(shù)將會(huì)使用1e-2的學(xué)習(xí)率，model.classifier的參數(shù)將會(huì)使用1e-3的學(xué)習(xí)率，并且0.9的momentum將會(huì)被用于所 有的參數(shù)。

總結(jié)

以上是生活随笔為你收集整理的训练网络指定层pytorch实现方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。