版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
本文鏈接：https://blog.csdn.net/JYZhang_CVML/article/details/79519748
文章來源：Kamnitsas K, Ledig C, Newcombe V F J, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Medical image analysis, 2017, 36: 61-78.

醫學圖像分割領域的最經典的分割網絡之一，可能有些讀者讀完之后會有所抱怨：大部分和FCN網絡或者DeepLab V1網絡非常類似。但是在針對于文章的目標：腦部損傷分割，傳統的圖像分割算法效果不佳，然后作者提出了一些針對于當前醫學圖像問題的改進策略，從而達到更加state-of-art的分割結果。

創新點?
通讀全文，下面是我所認為的幾個創新點：?
dense training 的方式。 （1）采用 全卷積操作的方式，一次對多個鄰接的像素點做出 dense prediction，從而三維節省計算代價。（2）能夠處理醫學分割問題中經常遇到的類不均衡問題。?
multi-scale 方法。采用dual CNN網絡平行構架同時處理高/低分辨率的圖像，文中解釋這樣也是一種在感受野和feature分辨率中均衡的一種方式（感覺著實有些勉強…）。?
3D FC-CRFs 將soft-segementation改善邊緣細節信息（這點也是比較牽強…）。

Dense inference + Dense training

在傳統的patch-wise分類任務中，輸入的patch的尺寸和最后一層神經元的感受野相同，即得到的單個輸出對應于patch中心像素點的分類結果。然而通過將全連接層替換成卷積層，就可以輸入大于感受野的patch并得到 dense-inference，即一次性處理多個鄰接的像素并得到逐項素的輸出。 —— 這也是FCN中采用全卷積網絡的本意。

然而由于通常醫學圖像是一個三維體數據，將整個體數據一次性輸入到網絡中得到dense-inference并不現實。所以作者在individual patch和整個圖像的dense-inference中引入一種中間策略：即采用大于感受野大小的patch在得到dense-inference結果的同時不會造成太大的內存消耗。?
而且采用這樣的方法能夠有效的解決分割中像素類分布不均衡的問題——從training set的前景區域和背景區域以50%的相同概率采樣patch。由于patch信息本身就含有內在的樣本分布信息，得到的結果能夠在sensitivity和specificity之間取得平衡

3 . 建立更深的網絡 —— 采用更小的卷積核 + Res-Block 結構 + Batch Norm 方法

4 . Multi-scale 平行CNN構架

還是一直提到的多尺度的圖像分割的問題，如何同時利用局部和相對大范圍的圖像信息？?
?
上圖中有兩個通道：正常圖像分辨率通道和低分辨率通道，這兩個通道對應的輸出感受野對應于不同分辨率的輸入都是相同的17*17。假設低分辨率對應的圖像采樣率為F，則在設計網絡輸出的時候要確保上面通道的感受野shift F個單位等價于下面通道感受野shift 1個單位。所以可以對應設計兩個通道的最后一個卷積層大小——注意分析最后一個卷積層的位置對應關系。

這樣的dual構架，能夠保證正常分辨率通道中能夠提取出很好的細節信息（局部信息），在低分辨率通道中能夠保持較好的 high-level 信息（相對大范圍信息）。因此能夠使得分割信息的精確和定位信息的準確。

5 . 3D FC-CRFs 進行空間正則化?
這部分的內容可以參照博主之前的博客，這樣的處理對分割輸出的改善起到了很好的作用。

總結?
總體來說，文章對于處理醫學圖像中遇到的問題有了很好的應對，進而對網絡有了一些小小的改進。總體來說，我認為我長最精彩的部分在于如何用 dense-training 方式解決醫學圖像中分割目標常常很小的類分布不平均的挑戰。而且提出的dual平行網絡構架也是多尺度分割的一種可以考慮的方式，不過略顯笨重（對于不同的分辨率都要重新訓練-預測），其顯然不如R-CNN系列的多尺度策略來的更有效率。
————————————————
版權聲明：本文為CSDN博主「JYZhang_sh」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/JYZhang_CVML/article/details/79519748

總結

以上是生活随笔為你收集整理的DeepMedic —— 一种经典的医学图像分割的3D CNN框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。