Paper：UNet++: A Nested U-Net Architecture for Medical Image Segmentation

u-net網(wǎng)絡(luò)的基本拓?fù)浣Y(jié)構(gòu)

目前最先進的圖像分割模型是各種個同樣的 encoder-decoder架構(gòu)，他們具有一個關(guān)鍵的相似性：skip connections，它可以將編碼器子網(wǎng)絡(luò)的深度、語義、粗粒度的特征映射與來自編碼器子網(wǎng)絡(luò)的淺層、低級、細粒度的特征映射相結(jié)合。

在恢復(fù)目標(biāo)對象的細粒度細節(jié)方面，skip connections時非常有用的。
U-NET++網(wǎng)絡(luò)是為了解決醫(yī)學(xué)圖像分割的精確性問題，從而提出的一種新的基于嵌套密集跳躍連接的分割體系結(jié)構(gòu)。

上圖為U-NET++網(wǎng)絡(luò)結(jié)構(gòu)的基本模型圖
圖a 表示U-NET++網(wǎng)絡(luò)的基本架構(gòu)，我們可以看出U-Net++網(wǎng)絡(luò)也是由編碼器和解碼器組成，與U-NET不同的是U-Net++的由編碼器和解碼器通過一系列嵌套的密集卷積塊連接，也就是圖中綠色代表的區(qū)域。UNet++背后的主要思想是在融合之前彌合編碼器和解碼器的特征映射之間的語義鴻溝。例如，(X0,0,X1,3)之間的語義鴻溝是使用一個具有三個卷積層的密集卷積塊來橋接的。另外，在圖形摘要中，黑色表示原始的U-NET網(wǎng)絡(luò)，綠色和藍色表示在跳躍路徑上有密集的卷積塊，紅色表示deep supervision。紅色、綠色和藍色的組件將UNet++與U-Net區(qū)分開來。

圖b詳細分析了UNet++的第一個skip pathway

圖C展示了在深度監(jiān)督情況下U-NET++的剪枝

接下來說一下U-NET++網(wǎng)絡(luò)中的Re-designed skip pathways，也就是在圖a中綠色的區(qū)域。它主要用于轉(zhuǎn)換編碼器和解碼器之間的連通性。在之前的U-NET網(wǎng)絡(luò)中，編碼器和解碼器是通過長連接直接進行特種映射的，而在U-NET++中，作者通過一個密集的卷積塊將編碼器與解碼器連接了起來。

形式上，我們可以表示為以下結(jié)構(gòu)，令$x^{i,j}$的輸出，其中i為沿編碼器向下采樣層的索引，j為沿skip pathways的稠密塊卷積層的索引。由$x^{i,j}$表示的特征映射的堆棧計算為

其中函數(shù)H(·)為激活函數(shù)后的卷積運算，U(·)為上采樣層，[]為級聯(lián)層。
具體實例我們可以看圖b。

U-NET++在深度監(jiān)督下能夠運行兩種模式：
1）精確模式，對所有分割分支的輸出求平均值
2）快速模式，最終的分割圖只從一個分割分支中選擇，其選擇決定了模型修剪的程度和速度增益。圖1c顯示了快速模式下分割分支的選擇是如何導(dǎo)致不同復(fù)雜度的架構(gòu)的。

另外，作者給出了一個損失函數(shù)公式，如下圖：

其中$Y_b$是預(yù)測概率，$Y_b$是真實數(shù)據(jù)。 N代表 the batch size。

U-NET++與最初的U-Net在三個方面有所不同:
1）在 skip pathways 上有卷積層(綠色表示)，連接編碼器和解碼器特征圖之間的語義鴻溝;
2）在 skip pathways 上有密集的 skip connections (如藍色所示)，提高了梯度流動性;
3）有 deep supervision （紅色表示），它支持模型修剪和改進。

效果對比：

上圖為 U-Net, wide U-Net and UNet++ with and without deep supervision (DS) UNET++的分割結(jié)果(IoU: %)

上圖為對剪枝后的UNet++的復(fù)雜性、速度和準(zhǔn)確性進行的測試結(jié)果，其中(a)代表細胞核(b)代表結(jié)腸息肉?代表肝臟(d)代表肺結(jié)節(jié)。
可以看到剪枝過后的網(wǎng)絡(luò)推演速度變快了，但是準(zhǔn)確率會相應(yīng)的降低。

code :https://github.com/MrGiovanni/UNetPlusPlus

總結(jié)

以上是生活随笔為你收集整理的U-Net++粗略解释的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。