[優秀參考1]

目錄

• • 一、Title
  • • 1.1前言：
  • 二、summary（idea）
  • • 2.1研究背景：
    • 2.2存在問題：
    • 2.3設計目的：
    • 2.4創新點：
  • 三、Method
  • • 3.1簡述

一、Title

1.1前言：

本文引入了層聚合的概念來描述如何重用來自前一層的信息以更好地提取當前層的特征。典型的例子是DenseNet，然而，在密集連接的階段內，網絡參數的數量相對于層的數量二次增長。這些高度冗余的參數可能多次提取類似的特征，并限制存儲新信息的通道數量。
因此本文提出了一種參數少得多的加權遞歸層聚合（RLA）模塊。具體來說，我們使用循環連接來代替密集連接，并實現獨立于網絡深度的參數計數。從經驗上看，RLA模塊在計算上是輕量化的，只會稍微增加模型參數和計算成本。

二、summary（idea）

2.1研究背景：

由于近年來cnn深度的快速增長，在設計深度架構時，經常會出現如何通過層有效地傳遞信息的問題。剩余連接[20,21]，或跳過連接，現在是基石組件，作為信息路徑，給層直接訪問以前的層，并使訓練與數百層可行。在深度特征層次結構中，網絡學習到的高級特征是建立在更簡單的特征之上的，但不一定是在它[17]之前的一層上。這一猜想可以由隨機深度訓練方法[27]來支持，其中層隨機獲得訪問之前的方法。此外，還發現可以從ResNets中刪除整個層，而不影響性能。這一觀察結果孵化了DenseNets[28,29]中的密集連接，其中一個階段的層可以通過完全連接的跳過連接直接訪問之前的所有層。
我們引入了層聚合的概念來系統地研究特征重用的網絡設計，一個典型的例子是DenseNet。

2.2存在問題：

然而，在一個密集連接的階段中，網絡參數的數量相對于層數呈二次增長。這些高度冗余的參數可以多次提取類似的特征乘以[7]，并限制存儲新信息的通道數量

2.3設計目的：

這促使我們提出一個非常輕的循環層聚合(RLA)模塊，參數少得多。具體來說，我們使用循環連接來代替密集的連接，并實現一個獨立于網絡深度的參數計數。

2.4創新點：

①RLA模塊保留了層聚合功能，并可以添加到現有的cnn中，以便更好地提取特征。
②展開的rnn可以被看作是非常深的前饋網絡，其中所有的隱藏層共享相同的權值。當單獨檢查時，RLA模塊的行為類似于一個以深度CNN層作為輸入的展開RNN
由于層聚合背后的關鍵思想是為當前層提供一個層的歷史版本，因此主CNN和RLA模塊之間的信息交換是必須的。這導致了RNN的隱藏單元與其輸入的連接，這在其他深度架構中是難以觀察到的。此外，當我們將信息從主CNN傳遞到RLA時，我們不使用全局平均池，從而豐富了歷史信息并包含了空間信息。

三、Method

3.1簡述

圖3給出了一個具有殘差連接的CNN塊的示例，并在圖4的底部提供了圖例。它的更新可以被表述為

其中，就是說當前的輸入X是

注意機制主要以空間注意和通道注意的形式被納入CNN。成功的應用包括圖像字幕[57,5]、視覺問答[62]、圖像分類[52,16]、語義分割[34]、人臉驗證[6]和視頻幀插值[9]。通道注意力的一個杰出設計是擠壓和激勵（SE）塊
在本文中利用RNN相當于構建了當前層和之前層之間的通道注意力

總結：
本文提出的RLA是和SE一樣的模塊，用來進行通道關注的
應用在resnet50上提升1個點，并且還會在原有基礎上增加少部分參數量

總結

以上是生活随笔為你收集整理的Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。