DL之FCN：FCN算法的簡介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略

?

?

?

目錄

FCN算法的簡介(論文介紹)

0、FCN性能—實(shí)驗(yàn)結(jié)果

1、全卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、局限性、缺點(diǎn)

FCN算法的架構(gòu)詳解

FCN算法的案例應(yīng)用

---

?

?

?

?

?

相關(guān)文章
DL之FCN：FCN算法的簡介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略
DL之FCN：FCN算法的架構(gòu)詳解

FCN算法的簡介(論文介紹)

? ? ? ? Faster-RCNN中，曾使用了RPN(Region Proposal Network)替代Selective Search等產(chǎn)生候選區(qū)域的方法，其中，RPN就是一種全卷積網(wǎng)絡(luò)。FCN即Fully Convolutional Networks，該論文將CNN結(jié)構(gòu)應(yīng)用到圖像語義分割領(lǐng)域，并取得突出結(jié)果，開山之作，獲得CVPR 2015年的best paper honorable mention。

Abstract
? ? ? Convolutional networks are powerful visual models that yield hierarchies of features. We show that convolutional networks ?by themselves, trained end-to-end, pixels-to-pixels, improve on the previous best result in semantic segmentation. Our key insight is to ?build “fully convolutional” networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference ?and learning. We define and detail the space of fully convolutional networks, explain their application to spatially dense prediction ?tasks, and draw connections to prior models. We adapt contemporary classification networks (AlexNet, the VGG net, and GoogLeNet) ?into fully convolutional networks and transfer their learned representations by fine-tuning to the segmentation task. We then define a ?skip architecture that combines semantic information from a deep, coarse layer with appearance information from a shallow, fine layer ?to produce accurate and detailed segmentations. Our fully convolutional network achieves improved segmentation of PASCAL VOC ?(30% relative improvement to 67.2% mean IU on 2012), NYUDv2, SIFT Flow, and PASCAL-Context, while inference takes one tenth of ?a second for a typical image.
? ? ? 卷積網(wǎng)絡(luò)是一種功能強(qiáng)大的可視化模型，它可以生成特性的層次結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，卷積網(wǎng)絡(luò)經(jīng)過端到端、像素對(duì)像素的訓(xùn)練后，在語義分割方面優(yōu)于已有的最佳分割效果。我們的核心理念是構(gòu)建“全卷積”網(wǎng)絡(luò)，它可以接受任意大小的輸入，并通過高效的推理和學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。我們定義并詳細(xì)描述了全卷積網(wǎng)絡(luò)的空間，解釋了它們在空間密集預(yù)測任務(wù)中的應(yīng)用，并將它們與之前的模型聯(lián)系起來。我們將當(dāng)代的分類網(wǎng)絡(luò)(AlexNet、VGG net和GoogLeNet)改造成完全卷積的網(wǎng)絡(luò)，并通過微調(diào)將它們的學(xué)習(xí)表示轉(zhuǎn)移到分割任務(wù)中。然后，我們定義了一個(gè)skip架構(gòu)，它結(jié)合了來自深度粗層的語義信息和來自深度細(xì)層的外觀信息，從而生成精確而詳細(xì)的分段。我們的全卷積網(wǎng)絡(luò)實(shí)現(xiàn)了PASCAL VOC(相對(duì)于2012年的67.2% mean IU，提高了30%)、NYUDv2、SIFT Flow和PASCAL- context的分割，而對(duì)一個(gè)典型圖像的推理需要十分之一秒。
CONCLUSION ?
? ? ? Fully convolutional networks are a rich class of models that ?address many pixelwise tasks. FCNs for semantic segmentation ?dramatically improve accuracy by transferring pretrained ?classifier weights, fusing different layer representations, ?and learning end-to-end on whole images. End-toend, ?pixel-to-pixel operation simultaneously simplifies and ?speeds up learning and inference. All code for this paper is ?open source in Caffe, and all models are freely available in ?the Caffe Model Zoo. Further works have demonstrated the ?generality of fully convolutional networks for a variety of ?image-to-image tasks.
? ? ? 全卷積網(wǎng)絡(luò)是一類豐富的模型，可以處理許多像素級(jí)的任務(wù)。FCNs通過傳遞預(yù)先訓(xùn)練的分類器權(quán)值，融合不同的層表示，對(duì)整個(gè)圖像進(jìn)行端到端學(xué)習(xí)，大大提高了語義分割的精度。端到端，像素對(duì)像素的操作同時(shí)簡化和加快學(xué)習(xí)和推理。本文的所有代碼都是Caffe中的開源代碼，所有模型都可以在Caffe Model Zoo中免費(fèi)獲得。進(jìn)一步的工作證明了全卷積網(wǎng)絡(luò)對(duì)于各種圖像到圖像任務(wù)的通用性。

?

論文
Jonathan Long, Evan Shelhamer, Trevor Darrell.
Fully Convolutional Networks for Semantic Segmentation. CVPR 2015
https://arxiv.org/abs/1605.06211

?

?

0、實(shí)驗(yàn)結(jié)果

1、FCN的性能

圖像分割的評(píng)價(jià)指標(biāo)參考：CV之IS：計(jì)算機(jī)視覺之圖像分割(Image Segmentation)算法的簡介、使用方法、案例應(yīng)用之詳細(xì)攻略

? ? ? ? FCN的基礎(chǔ)CNN網(wǎng)絡(luò)可以采用AlexNet、VGG16、GoogleNet等經(jīng)典架構(gòu)。 ? ? ? ?FCN的mean IU是最高的但是foreard time處理時(shí)間較長且conv.ayer的復(fù)雜度較高。
? ? ? ?比較R-CNN和FCN-8s的測試時(shí)間，其中FCN-8s的mean IU高于其他兩個(gè)網(wǎng)絡(luò)。

?

2、跨層改善效果——比較是否采用跨層連接

? ? ? ?第一張圖沒有采用跨層連接，即no skips(stride=32)分割的FCN，就比較粗糙了；第二張圖采用skip=1的跨層連接(stride=16)的FCN有點(diǎn)改善了；第三張圖采用skip=2的跨層連接的FCN效果更好一些。

?

?

?

1、全卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)、局限性、缺點(diǎn)

1、FCN的特點(diǎn)

• 采用1×1卷積，替換全連接層，將CNN網(wǎng)絡(luò)變成FCN(全卷積網(wǎng)絡(luò))。
• 采用跨層連接，引入底層特征補(bǔ)充上采樣信息。

……

?

2、FCN的局限性

……

?

?

?

?

?

FCN算法的架構(gòu)詳解

更新……

DL之FCN：FCN算法的架構(gòu)詳解

?

?

?

?

?

FCN算法的案例應(yīng)用

更新……

?

?

?

?

?

?

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的DL之FCN：FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。