繼續咱們的“網絡結構1000變”板塊，最新上新的內容主要是動態推理的網絡結構，即在測試時，對于不同的輸入圖像，表現不同的網絡結構，下面是一個代表。

有三AI知識星球-網絡結構1000變

通常來說模型訓練完之后結構就是固定的，測試時圖片沿著固定的通路進行計算。然而測試樣本本身有不同的難度，簡單的樣本只需要少量的計算量就可以完成任務，困難的樣本則需要更多的計算量， BranchyNet就實現了不同難度的樣本在測試時運行不同網絡的想法，其網絡結構如下：

如上圖所示，它在正常網絡通道上包含了多個旁路分支，這樣的思想是基于觀察到隨著網絡的加深，表征能力越來越強，大部分簡單的圖片可以在較淺層時學習到足以識別的特征，如上圖中的Exit 1通道。一些更難的樣本需要進一步的學習，如上圖中的Exit 2通道，而只有極少數樣本需要整個網絡，如Exit3通道。這樣的思想可以實現精度和計算量的平衡，對于大部分樣本，可以用更小的計算量完成任務。

那么如何判斷是否可以提前結束呢？采用分類信息熵就可以了，一旦該通道的分類信息熵低于某一個閾值，說明已經以很高的置信度獲得了分類的結果，直到最終的通道。

在訓練的時候，每一個通道都會對損失有貢獻，越靠近淺層的網絡權重越大。多通道的損失不僅增強了梯度信息，也在一定程度上實現了正則化。

將BranchyNet的設計思想用于LeNet，AlexNet，ResNet結構后，在不同閾值下的精度，加速比統計如下：

對于擁有N個分支的網絡，需要的就是N-1個閾值，因為最后一個分支不需要閾值。從上表可以看出，在維持性能的前提下，加速效果明顯，LeNet系列網絡可以讓超過90%的樣本在第一個分支提前終止，AlexNet也超過一半，ResNet超過了40%。

更多的相關網絡結構，請查閱知識星球最近的“網絡結構1000變”的內容！

轉載文章請后臺聯系

侵權必究

往期精選

• 有三AI知識星球官宣，BAT等大咖等你來撩

• 揭秘7大AI學習板塊，這個星球推薦你擁有

• 有三AI“夏季劃”出爐，今夏進階中級CV算法工程師

• 【知識星球】做作業還能贏獎金，傳統圖像/機器學習/深度學習盡在不言中

• 【知識星球】網絡結構1000變上線，下半年更新500+網絡模型解讀

總結

以上是生活随笔為你收集整理的【知识星球】动态推理网络结构上新，不是所有的网络都是不变的的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。