池化Pooling是卷積神經(jīng)網(wǎng)絡(luò)中常見的一種操作，Pooling層是模仿人的視覺系統(tǒng)對數(shù)據(jù)進(jìn)行降維，其本質(zhì)是降維。在卷積層之后，通過池化來降低卷積層輸出的特征維度，減少網(wǎng)絡(luò)參數(shù)和計(jì)算成本的同時(shí)，降低過擬合現(xiàn)象。

最大池化（Max Pooling）是將輸入的圖像劃分為若干個(gè)矩形區(qū)域，對每個(gè)子區(qū)域輸出最大值。即，取局部接受域中值最大的點(diǎn)。同理，平均池化（Average Pooling）為取局部接受域中值的平均值。

Global Pooling就是Pooling的滑窗size和整個(gè)Feature Map的size一樣大。在滑窗內(nèi)的具體pooling方法可以是任意的，所以就會被細(xì)分為Global Average Pooling，Global Max Pooling等。

Stochastic pooling是論文《Stochastic Pooling for Regularization of Deep Convolutional Neural Networks》中提到的一種池化策略，大意是只需對特征區(qū)域元素按照其概率值大小隨機(jī)選擇，元素值大的被選中的概率也大。

Mix Pooling是同時(shí)利用最大值池化Max Pooling與均值池化Average Pooling兩種的優(yōu)勢而引申的一種池化策略。常見的兩種組合策略：拼接Cat與疊加Add。

SoftPool是一種變種的Pooling，它可以在保持池化層功能的同時(shí)盡可能減少池化過程中帶來的信息損失。上圖展示了SoftPool操作的Forward階段與Backward階段，6*6大小的區(qū)域表示的是激活映射a。

Local Importance-based Pooling提出通過一個(gè)基于輸入特征的子網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)重要性。它能夠自適應(yīng)地確定哪些特征更重要，同時(shí)在采樣過程中自動(dòng)增強(qiáng)識別特征。具體思路是，在原feature map上學(xué)習(xí)一個(gè)類似于attention的map，然后和原圖進(jìn)行加權(quán)求平均。需要說明的是，這里采樣的間隔其實(shí)還是固定的，不符合上述描述的第一條，但是作者認(rèn)為，由于importance是可變，從而實(shí)現(xiàn)變形的感受野。

S3Pool提出一種隨機(jī)位置池化策略，集成了隨機(jī)池化Stochastic Pooling與最大值池化Max Pooling。

圖池化是基于條件隨機(jī)場的，它是將圖池化視為一個(gè)節(jié)點(diǎn)聚類問題，并使用CRF在不同節(jié)點(diǎn)的分配之間建立關(guān)系。并通過結(jié)合圖拓?fù)湫畔硗茝V這個(gè)方法，使得圖池化可以控制CRF中的成對團(tuán)集。

Region of Interest Pooling是在目標(biāo)檢測任務(wù)中廣泛使用的操作。它對于來自輸入列表的每個(gè)感興趣區(qū)域，它采用與其對應(yīng)的輸入特征圖的一部分并將其縮放到某個(gè)預(yù)定義的大小。這可以顯著加快訓(xùn)練和測試時(shí)間，它允許重新使用卷積網(wǎng)絡(luò)中的特征映射，同時(shí)也允許以端到端的方式訓(xùn)練物體檢測系統(tǒng)。

寶，我看盡了池化。什么化？為你畫地為牢的畫

總結(jié)

以上是生活随笔為你收集整理的一文弄懂各大池化Pooling操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。