池化

Contents ?[hide] 1?池化: 概述 2?池化的不變性 3?形式化描述 4?中英文對(duì)照 5?中文譯者

池化: 概述

在通過(guò)卷積獲得了特征 (features) 之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類器，例如 softmax 分類器，但這樣做面臨計(jì)算量的挑戰(zhàn)。例如：對(duì)于一個(gè) 96X96 像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè)?(96 ? 8 + 1) * (96 ? 8 + 1) = 7921?維的卷積特征，由于有 400 個(gè)特征，所以每個(gè)樣例 (example) 都會(huì)得到一個(gè)?89²?* 400 = 3,168,400?維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過(guò) 3 百萬(wàn)特征輸入的分類器十分不便，并且容易出現(xiàn)過(guò)擬合 (over-fitting)。

為了解決這個(gè)問(wèn)題，首先回憶一下，我們之所以決定使用卷積后的特征是因?yàn)閳D像具有一種“靜態(tài)性”的屬性，這也就意味著在一個(gè)圖像區(qū)域有用的特征極有可能在另一個(gè)區(qū)域同樣適用。因此，為了描述大的圖像，一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值 (或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時(shí)還會(huì)改善結(jié)果(不容易過(guò)擬合)。這種聚合的操作就叫做池化 (pooling)，有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法)。

下圖顯示池化如何應(yīng)用于一個(gè)圖像的四塊不重合區(qū)域。

池化的不變性

如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性 (translation invariant)。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后，依然會(huì)產(chǎn)生相同的 (池化的) 特征。在很多任務(wù)中 (例如物體檢測(cè)、聲音識(shí)別)，我們都更希望得到具有平移不變性的特征，因?yàn)榧词箞D像經(jīng)過(guò)了平移，樣例(圖像)的標(biāo)記仍然保持不變。例如，如果你處理一個(gè)MNIST數(shù)據(jù)集的數(shù)字，把它向左側(cè)或右側(cè)平移，那么不論最終的位置在哪里，你都會(huì)期望你的分類器仍然能夠精確地將其分類為相同的數(shù)字。

(*MNIST 是一個(gè)手寫數(shù)字庫(kù)識(shí)別庫(kù):?http://yann.lecun.com/exdb/mnist/)

形式化描述

形式上，在獲取到我們前面討論過(guò)的卷積特征后，我們要確定池化區(qū)域的大小(假定為)，來(lái)池化我們的卷積特征。那么，我們把卷積特征劃分到數(shù)個(gè)大小為?的不相交區(qū)域上，然后用這些區(qū)域的平均(或最大)特征來(lái)獲取池化后的卷積特征。這些池化后的特征便可以用來(lái)做分類。

中英文對(duì)照

特征 features

樣例 example

過(guò)擬合 over-fitting

平移不變性 translation invariant

池化 pooling

提取 extract

物體檢測(cè) object detection

總結(jié)

以上是生活随笔為你收集整理的Stanford UFLDL教程 池化Pooling的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。