FC4: Fully Convolutional Color Constancy with Confidence-weighted Pooling

• 網(wǎng)絡(luò)結(jié)構(gòu)
• 權(quán)重池化層
• 總結(jié)

基于patch的CNN網(wǎng)絡(luò)會因?yàn)閜atch包含的信息不足，無法確定一個唯一的顏色或者范圍。在此提出一個基于全卷積網(wǎng)絡(luò)結(jié)構(gòu)，其中patch可以攜帶用于估計(jì)顏色恒定的置信度權(quán)值。權(quán)重在一個獨(dú)特的（novel）pool層中學(xué)習(xí)和應(yīng)用，在該層中局部估計(jì)被合并到全局解中。用了該公式網(wǎng)絡(luò)話就知道在數(shù)據(jù)集中要學(xué)習(xí)什么并且如何pool而不需要額外的監(jiān)督。還允許端到端的訓(xùn)練。

網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)生成的特征圖（4維度）被傳遞到加權(quán)池層，從局部到全局進(jìn)行聚合，生成之前所說的顏色恒定性估計(jì)。我們強(qiáng)制前三個通道表示每個對應(yīng)patch估計(jì)出的顏色元組p ?_i=g(R_i )，最后一個通道表示對最終全局估計(jì)的置信度c_i=c(R_i )
然而，由于顏色恒常性問題的性質(zhì)，最優(yōu)模型至少受到兩個重要性質(zhì)的約束：
（1）網(wǎng)絡(luò)應(yīng)該能夠提取足夠的語義特征來區(qū)分模糊的patches（如無紋理的墻壁）以進(jìn)行照明估計(jì)；
（2）網(wǎng)絡(luò)不應(yīng)該是照明不變的，但它應(yīng)該對不同的燈光顏色敏感。
如我們所見，第二個要求違反了在分類任務(wù)訓(xùn)練網(wǎng)絡(luò)中嵌入的知識，因?yàn)檎彰鳁l件不應(yīng)影響對象的類別。不幸的是，具有較強(qiáng)語義信息提取能力的網(wǎng)絡(luò)通常對光照條件的變化也不敏感，這意味著提取的特征對光照顏色具有不變性。為了在上述兩個特性之間找到一個很好的平衡，我們嘗試了不同的網(wǎng)絡(luò)配置。我們嘗試了一個去掉conv4和/或conv5的較淺版本的AlexNet，發(fā)現(xiàn)性能變差，可能是由于語義特征提取能力不足。此外，我們還嘗試了conv6的其他核大小，包括1×1、3×3和10×10，但是發(fā)現(xiàn)6×6，即AlexNet經(jīng)過卷積層后的原始輸出大小，得到了最好的結(jié)果。為了減小模型尺寸，我們用擠壓網(wǎng)[25]v1.1進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)它也能帶來良好的效果。

權(quán)重池化層

當(dāng)c（Ri）=1等于1時(shí)，就是一種特殊情況。在我們的網(wǎng)絡(luò)中，由于FCN的結(jié)構(gòu)，卷積操作在同一個圖像中的patch之間共享，而對于基于patch的cnn，每個patch需要依次通過同一個網(wǎng)絡(luò)。也存在其他的池方法，例如完全連接池或最大池；但是，它們要么缺乏靈活性（即需要特定的輸入圖像大小），要么已經(jīng)被證明對于顏色恒定性估計(jì)不是非常有效。根據(jù)[38]，中值池做得更好，因?yàn)樗梢苑乐巩惓Ｖ抵苯佑绊懭止烙?jì)，但在很大一部分估計(jì)是噪聲的情況下，它并不能完全消除它們的影響。此外，即使我們將其合并到端到端的訓(xùn)練管道中，每次損失也只能反向傳播到圖像中的單個（中值）面片，忽略面片之間的成對依賴關(guān)系。
數(shù)學(xué)分析

在估計(jì)值p ?_i 中，方向是一致的，但是大小由權(quán)值ci來決定。這個置信度可以作為mask來減少我們學(xué)習(xí)到的噪聲。

直觀地說，只要局部估計(jì)有助于全局估計(jì)更接近地面真實(shí)，網(wǎng)絡(luò)就增加了相應(yīng)的置信度。否則，置信度就會降低。這正是學(xué)習(xí)置信度的方法。

總結(jié)

該方法是需要真實(shí)光照值和圖片來進(jìn)行訓(xùn)練的。我自己讀的就是作者通過分割圖片，然后通過網(wǎng)絡(luò)得出四個通道的值，用最后一個通道的值去乘前三個通道，再求和得出真實(shí)圖像。但是這里還是有很多問題不是很明白：
1.最后的求和真的是最后一個通道去分別乘前三個通道再相加嗎？
2.CNN網(wǎng)絡(luò)在目標(biāo)探測時(shí)是不希望對亮度敏感的。那么用CNN是不是無法完成亮度調(diào)整。

今天的學(xué)習(xí)都沒學(xué)明白，啥也不是，散會。

總結(jié)

以上是生活随笔為你收集整理的基于置信加权池的全卷积保证颜色恒常性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。