繼續(xù)咱們的“網(wǎng)絡(luò)結(jié)構(gòu)1000變”板塊，最新上新的內(nèi)容主要是動(dòng)態(tài)推理的網(wǎng)絡(luò)結(jié)構(gòu)，即在測試時(shí)，對于不同的輸入圖像，表現(xiàn)不同的網(wǎng)絡(luò)結(jié)構(gòu)，下面是一個(gè)代表。

有三AI知識星球-網(wǎng)絡(luò)結(jié)構(gòu)1000變

通常來說模型訓(xùn)練完之后結(jié)構(gòu)就是固定的，測試時(shí)圖片沿著固定的通路進(jìn)行計(jì)算。然而測試樣本本身有不同的難度，簡單的樣本只需要少量的計(jì)算量就可以完成任務(wù)，困難的樣本則需要更多的計(jì)算量， BranchyNet就實(shí)現(xiàn)了不同難度的樣本在測試時(shí)運(yùn)行不同網(wǎng)絡(luò)的想法，其網(wǎng)絡(luò)結(jié)構(gòu)如下：

如上圖所示，它在正常網(wǎng)絡(luò)通道上包含了多個(gè)旁路分支，這樣的思想是基于觀察到隨著網(wǎng)絡(luò)的加深，表征能力越來越強(qiáng)，大部分簡單的圖片可以在較淺層時(shí)學(xué)習(xí)到足以識別的特征，如上圖中的Exit 1通道。一些更難的樣本需要進(jìn)一步的學(xué)習(xí)，如上圖中的Exit 2通道，而只有極少數(shù)樣本需要整個(gè)網(wǎng)絡(luò)，如Exit3通道。這樣的思想可以實(shí)現(xiàn)精度和計(jì)算量的平衡，對于大部分樣本，可以用更小的計(jì)算量完成任務(wù)。

那么如何判斷是否可以提前結(jié)束呢？采用分類信息熵就可以了，一旦該通道的分類信息熵低于某一個(gè)閾值，說明已經(jīng)以很高的置信度獲得了分類的結(jié)果，直到最終的通道。

在訓(xùn)練的時(shí)候，每一個(gè)通道都會對損失有貢獻(xiàn)，越靠近淺層的網(wǎng)絡(luò)權(quán)重越大。多通道的損失不僅增強(qiáng)了梯度信息，也在一定程度上實(shí)現(xiàn)了正則化。

將BranchyNet的設(shè)計(jì)思想用于LeNet，AlexNet，ResNet結(jié)構(gòu)后，在不同閾值下的精度，加速比統(tǒng)計(jì)如下：

對于擁有N個(gè)分支的網(wǎng)絡(luò)，需要的就是N-1個(gè)閾值，因?yàn)樽詈笠粋€(gè)分支不需要閾值。從上表可以看出，在維持性能的前提下，加速效果明顯，LeNet系列網(wǎng)絡(luò)可以讓超過90%的樣本在第一個(gè)分支提前終止，AlexNet也超過一半，ResNet超過了40%。

更多的相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)，請查閱知識星球最近的“網(wǎng)絡(luò)結(jié)構(gòu)1000變”的內(nèi)容！

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

• 有三AI知識星球官宣，BAT等大咖等你來撩

• 揭秘7大AI學(xué)習(xí)板塊，這個(gè)星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進(jìn)階中級CV算法工程師

• 【知識星球】做作業(yè)還能贏獎(jiǎng)金，傳統(tǒng)圖像/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)盡在不言中

• 【知識星球】網(wǎng)絡(luò)結(jié)構(gòu)1000變上線，下半年更新500+網(wǎng)絡(luò)模型解讀

總結(jié)

以上是生活随笔為你收集整理的【知识星球】动态推理网络结构上新，不是所有的网络都是不变的的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。