深度學習之卷積神經(jīng)網(wǎng)絡（7）池化層

在卷積層中，可以通過調(diào)節(jié)步長參數(shù)s實現(xiàn)特征圖的高寬成倍縮小，從而降低了網(wǎng)絡的參數(shù)量。實際上，處理通過設置步長，還有一種專門的網(wǎng)絡層可以實現(xiàn)尺寸縮減功能，它就是這里要介紹的池化層（Pooling Layer）。

?池化層同樣基于局部相關(guān)性的思想，通過從局部相關(guān)的一組元素中進行采樣或信息聚合，從而得到新的元素值。特別地，最大池化層（Max Pooling）從局部相關(guān)元素集中選取最大的一個元素值，平均池化層（Average Pooling）從局部相關(guān)元素集中計算平均值并返回。以$5\times 5$輸入$\mathbf{X}$的最大池化層為例，考慮池化感受野窗口大小為$k=2$，步長$s=1$的情況，如下圖所示。

最大池化舉例1

綠色方框代表第一個感受野的位置，感受野元素集合為:
$$\{1,?1,?1,?2\}$$
在最大池化采樣的方法下，通過
$$x^{\prime }=\text{max}?(\{1,?1,?1,?2\})=1$$
計算出當前位置的輸出值為1，并寫入對應位置。

?若采用的是平均池化操作，則此時的輸出值應為
$$x^{\prime }=\text{avg}(\{1,?1,?1,?2\})=?0.75$$
?計算完當前位置的感受野后，與卷積層的計算步驟類似，將感受野按著步長向右移動若干單位，此時的輸出
$$x^{\prime }=\text{max}?(?1,0,?2,2)=2$$
?同樣的方法，逐漸移動感受野窗口至最右邊，計算輸出$x^{\prime }=\text{max}?(2,0,3,1)=1$，此時窗口已經(jīng)到達輸入邊緣，按照卷積層同樣的方式，感受野窗口向下移動一個步長，并回到行首，如下圖所示:

最大池化舉例2

循環(huán)往復，直至最下方、最右邊，獲得最大池化層的輸出，長寬為$4\times 4$，略小于輸入X的高寬，如下圖所示:

最大池化舉例3

?由于池化層沒有需要學習的參數(shù)，計算簡單，并且可以有效減低特征圖的尺寸，非常適合圖片這種類型的數(shù)據(jù)，在計算機視覺相關(guān)任務中得到了廣泛的應用。

?通過精心設計池化層感受野的高寬$k$和步長$s$參數(shù)，可以實現(xiàn)各種降維運算。比如，一種常用的池化層設定是感受野大小$k=2$，步長$s=2$，這樣可以實現(xiàn)輸出只有輸入高寬一半的目的。如下兩圖所示，感受野大小$k=3$，步長$s=2$，輸入$\mathbf{X}$高寬為$5\times 5$，輸出$\mathbf{O}$高寬只有$2\times 2$。

池化層實現(xiàn)高寬減半1

池化層實現(xiàn)高寬減半2

總結(jié)

以上是生活随笔為你收集整理的深度学习之卷积神经网络（7）池化层的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。