Cascaded U-Net+3D CRF¹

Contributions

本文發表在MICCAI 2016，是在肝臟腫瘤CT影像分割領域中最早引入深度學習方法的論文之一。本文使用級聯2D U-Net模型實現肝臟區域及肝臟腫瘤的分割，并使用3D條件隨機場后處理以提升最終精度。

Methods

約定

集合\(\mathcal L=\{0,1,2\}\)，0=背景，1=肝臟，2=肝臟腫瘤

集合\(\mathcal L^N\)表示每個元素屬于\(\mathcal L\)的N維向量構成的集合，\(\mathrm x\in \mathcal L^N\)表示最終對一個volume的分割結果

數據預處理

本文使用3DIRCADb數據集，該數據集包含20個病人的靜脈相期CT volume，這些樣本是由不同的CT掃描儀采集來的

本文使用其中15個包含肝臟腫瘤的volume來訓練并驗證模型，使用K-fold交叉驗證(K=2)

對所有原始的volume，保留[-100,400] HU的部分，以排除其他與肝臟無關的組織，再使用直方圖均衡化增強對比度。并通過隨機翻轉、旋轉、增加高斯噪聲來增強數據

Cascaded Fully Convolutional Neural Networks(CFCN)

本文使用兩個U-Net實現肝臟及肝臟腫瘤的分割。第一個U-Net從slices中分割出肝臟ROI，第二個U-Net輸入經裁剪、重采樣后的肝臟圖像，并分割出肝臟腫瘤。第一個U-Net有助于減少最終的假陽性的分割結果。

損失函數

考慮到本問題中前景與背景非常不平衡，損失函數采用加權交叉熵：

\[L=-\frac 1 n \sum_{i=1}^N w_i^{class}[\hat P_i \log P_i+(1-\hat P_i)\log (1-P_i)]\]

其中，\(\hat P_i\)表示第i個像素點的Ground Truth(\(\hat P_i=1\)表示GT中該像素點是前景)，\(P_i\)表示第i個像素點屬于前景的概率，$w_i^{class}=\(1/(Ground Truth屬于\)\hat P_i$類的像素點總數)

實驗細節

• 硬件：NVIDIA Titan X顯卡 ×1
• 深度學習框架：Caffe
• Learning rate=0.001
• Momentum=0.8
• Weight decay=0.0005

3D條件隨機場(3D Conditional Random Field, 3D CRF)

該論文沒有采用3D卷積神經網絡，是因為其對GPU顯存要求太高。另外，由于3DIRCADb數據集中每個樣本的分辨率不同(x/y軸的分辨率在0.57-0.8mm,z軸分辨率為1.25-4mm)，導致直接訓練3D卷積神經網絡變得更加復雜。

為了充分利用樣本層與層之間的信息，本文采用3D dense conditional random field，對級聯U-Net輸出的分割結果作后處理。

我們把一個volume通過級聯U-Net得到的分割結果(注意是soft prediction，即每個voxel屬于腫瘤的概率)放在一起，用3D CRF一次性地后處理，得到最終結果

定義完全圖\(\mathcal G=(\mathcal V,\varepsilon)\)，volume中每個voxel是一個結點\(i\in \mathcal V\)，對于任意兩個不同voxel對應的結點\(i,j\)，有無向邊\(e_{ij}\in \varepsilon=\{(i,j),\forall i,j\in \mathcal V\ \mathrm{s.t.}\ i<j\}\)

令整個volume包含N個voxel，N維variable vector \(\mathrm x\)表示每個結點\(i\in \mathcal V\)的標簽，根據Gibbs distribution可以得到能量函數：

\[E(\mathrm x)=\sum_{i\in\mathcal V}\phi_i(x_i)+\sum_{(i,j)\in\varepsilon}\phi_{ij}(x_i,x_j)\]

其中，\(\phi_i(x_i)=-\log P(x_i|I)\)是unary potential，由級聯U-Net的概率輸出\(P(x_i|I)\)(輸入Volume \(I\)，每個voxel \(x_i\)是前景的概率)得來。\(\phi_{ij}(x_i,x_j)\)是pairwise potential:

\[\phi_{ij}(x_i,x_j)=\mu(x_i,x_j)(w_{pos}\exp(-\frac{|p_i-p_j|^2}{2\sigma^2_{pos}})+w_{bil}\exp(-\frac{|p_i-p_j|^2}{2\sigma^2_{bil}}-\frac{|I_i-I_j|^2}{2\sigma^2_{int}}))\]

其中，\(\mu(x_i,x_j)=1\{x_i\neq x_j\}\)是Potts函數，\(|p_i-p_j|\)是兩個voxel \(i,j\)之間的空間距離，\(|I_i-I_j|\)是原始volume中兩個voxel \(i,j\)的密度(灰度)之差；\(w_{pos}\exp(\cdots),w_{bil}\exp(\cdots)\)這兩項對\(\phi_{ij}(x_i,x_j)\)的貢獻是由參數\(w_{pos},w_{bil}\)決定的，另外，參數\(\sigma_{pos},\sigma_{bil},\sigma_{int}\)決定了effective range(腦補下高斯分布的半高寬)

通過Efficient mean ?eld approximation算法，我們可以得到\(\mathrm x^*=\arg \min_{\mathrm x\in \mathcal L^N}E(\mathrm x)\)的近似解，參數\(w_{pos},w_{bil},\sigma_{pos},\sigma_{bil},\sigma_{int}\)是通過隨機搜索算法選取的。

實驗結果

實驗結果表明，級聯U-Net較使用單個U-Net，性能有了較大提升，而在級聯U-Net概率輸出的基礎上，加上3D CRF后處理后，性能有一定的提升

FCN+FC ResNet²

Contributions

盡管深度學習方法已被應用于醫學影像領域，但傳統的醫學影像分割的pipeline需要預處理(標準化、直方圖均衡化等)、后處理(CRF、形態學操作等)，其分割效果嚴重受到預處理和后處理的質量的限制。

針對這個問題，本文提出了一種針對醫學影像的更好的pipeline，使用一個FCN作為preprocessor來預處理輸入的圖像，并將其輸出直接輸入到一個FC-ResNet中，最終得到分割結果。

本文的方法不需要任何人工的預處理/后處理，便能在許多數據集上達到state-of-the-art的結果

Methods

FCN

本文提出的pipeline中的第一個FCN是U-Net的變種，其結構如上圖所示，該FCN接收的輸入是\(N\times N\times 1\)大小的、不做任何預處理的原始圖像(如CT的一個slice)

其中，Output resolution表示經過該層輸出的feature map尺寸，Output width表示經過該層輸出的通道數，Repetition number表示該層的重復次數；另外，所有3×3卷積之后都加上了ReLU激勵，而1×1和2×2卷積之后沒有加激勵函數

與原始的U-Net相比，這個FCN每層的通道數變成1/4(如U-Net中該層是64通道，在該FCN中變成16通道了)，這樣有助于減少FCN的顯存占用，而且參數數量(1.8 million)較原始U-Net(33 million)也更少了

FC-ResNet

ResNet首次提出殘差連接和殘差塊，每個殘差塊中包含若干個(2~3個) BN-ReLU-Conv，其輸出是最后一個Conv層的輸出與該殘差塊原始輸入的和。第\(l\)個殘差塊的輸出\(x_l\)可以表示為：

\[x_l=H_l(x_{l-1})+x_{l-1}\]

FC-ResNet是基于ResNet思想的全卷積網絡，通過加入expanding path恢復到原始分辨率。其一般的結構如上圖所示。

其中，有兩類殘差塊：bottleneck block和simple block，它們的結構如上圖所示，\(\bigoplus\)表示殘差連接的求和，殘差塊內的殘差連接被稱為shortcut path，它們有助于提升分割精度、改善網絡最優化過程，\(\bigoplus\)右邊的虛線箭頭表示long skip connection。

在(a)圖中標白色的block，block中有顏色的層都要去掉，標藍色的(降采樣階段的)block，要保留block中藍色的層，標黃色的(上采樣階段的)block，要保留block中黃色的層。白色虛線邊框的dropout是可選的。

本文使用的FC-ResNet結構如上圖所示

FC-ResNet對數據預處理非常敏感，因此其性能高度依賴數據預處理過程。

Dice Loss

本文使用Dice Loss作為損失函數來訓練模型

\[L_{Dice}=-\frac{2\sum_i o_iy_i}{\sum_i o_i+\sum_i y_i}\]

其中，\(o_i\in [0,1]\)表示最后一層(Sigmoid)第i個像素點的輸出，\(y_i\in\{0,1\}\)表示第i個像素點的Ground Truth，Dice Loss的最小值是-1

之所以采用Dice Loss，有以下兩點考慮：

• 1、Dice系數是在醫學影像分割中被廣泛使用的評價指標
• 2、Dice Loss適應前景與背景非常不平衡的情景

Experiments

Liver lesion dataset

該數據集是內部數據集，包含135個結腸癌肝轉移患者的腹腔volume，每個volume是512×512分辨率，單個像素大小在0.53-1.25mm，一個slice的厚度在0.5-5.01mm之間，每個像素的HU值在[-3000,1500]內，每個volume有對應的肝臟腫瘤的Ground Truth(由醫學生分割，并由醫學影像專家審核)，另外，其中58個volume有對應的肝臟部分的Ground Truth

實驗中，將其中77個只有腫瘤Ground Truth的volume作為訓練集，28個有肝臟和腫瘤Ground Truth的volume作為驗證集，30個有肝臟和腫瘤Ground Truth的volume作為測試集。驗證集和測試集的肝臟GT是為了只在肝臟區域評估腫瘤分割結果

訓練時，本文隨機從每個slice中切出包含腫瘤的128×128大小的部分，訓練使用RMSprop作為優化器，初始learning rate=0.001，learning rate decay=0.001，在FCN中，weight decay=0.0001,在FC-ResNet中，weight decay=0.0005

另外，本文也用同樣的過程訓練了FCN8,UNet,FC-ResNet，實驗結果如下所示

Joint Liver Segmentation³

Contributions

本文提出了由兩個完全相同的2D U-Net變種網絡組合的端到端模型，與其他排名靠前的方法最大的不同在于，該模型無需對數據進行任何預處理，只需要普通、簡單的后處理。該模型在2017 MICCAI LiTS肝臟腫瘤分割挑戰賽中排名第四。

Methods

Model

本文提出的模型結構如上圖所示，其中兩個FCN結構完全相同，它們的輸入都是2D slice，FCN 1輸出肝臟部分的分割結果，FCN 2輸出肝臟腫瘤的分割結果。

每個FCN的結構如上圖(B)所示，FCN中包括兩種block：Block A(上圖(C)),Block B(上圖(D))，(B)中Block中的數字代表這個Block里每層的通道數

上圖中灰色C表示3×3卷積層(C后面的數字表示通道數)，(C)中藍色MP表示2×2 maxpooling,（D)中藍色C表示步長為2的3×3卷積(實現降采樣)，黃色層是最近鄰插值法實現的上采樣層

(B)中藍色的(降采樣階段的)Block要去掉Block中的黃色層，黃色的(上采樣階段的)Block要去掉Block中的藍色層，底部的藍/黃色"B 512"要保留Block B中的藍色、黃色層

expanding path中每個block的輸入是contracting path中對應block的輸出與上一個block的輸出之和

訓練過程

本文將訓練數據中的130個volume，其中115個作為訓練集，另外15個作為驗證集，沒有對輸入數據作任何特殊預處理，只是將原始的所有HU值除以255，并通過clip留下[-2,2]部分

訓練時，只用包含肝臟的slice訓練網絡，使用隨機水平/垂直翻轉、隨機旋轉(\(\leq 15\degree\))、隨機縮放(\(\leq 10\%\))、彈性變換來增強數據。先把所有slice調整分辨率至256×256大小，用learning rate=0.001,momentum=0.9,batch size=40訓練200 epochs，然后在512×512原始分辨率下，以learning rate=0.0001,batch size=10來fine-tune 30 epochs，選擇驗證誤差最小的權重作為最終參數

由于受到顯存大小的制約，本文的方法是2D的，沒有利用層與層之間的信息，為了解決這個問題，該模型的輸出結果需要做簡單的后處理：每相鄰三層的模型輸出輸入一個3×3卷積層得到中間那一層的分割結果

獲得最終分割結果

通過對一個volume的所有slice，水平翻轉/垂直翻轉，可以得到四個不同的volume，我們將這四個不同volume的分割結果(概率值)加起來求平均值，從而得到最終的分割結果

在肝臟分割結果中，選取最大的聯通塊作為肝臟區域的預測輸出

在分割腫瘤時，將最終肝臟分割結果的邊界膨脹20mm，保留膨脹后的區域內的腫瘤作為最終的腫瘤分割結果

實驗結果

在LiTS挑戰賽中，該方法排名第四：與CUHK陳浩團隊(hchen)的結果相比，其Dice per case略低一些，但>50% overlap更高；hans.meine的方法相比之下雖然Dice per case與>50% overlap都要更高一些，但其方法需要用隨機森林作后處理以提高準確率，而且使用了比賽沒有提供的數據來訓練

與其他排名靠前的方法相比，這些方法都需要以肝臟分割結果作為先驗信息來實現腫瘤分割，而本文的端到端模型是以FCN 1的肝臟的高維表征，而非肝臟分割結果作為先驗信息來實現腫瘤分割

Hybrid Densely Connected UNet⁴

Contributions

LiTS挑戰賽中的許多排名靠前的方法，都只使用2D/2.5D的FCN，這表明2D FCN在該問題中是有效的，但它們沒有充分利用層與層之間的空間信息，這極大地限制了分割精度的提升

本文發表在IEEE TMI，其提出的方法在LiTS挑戰賽中穩居第一名，該模型可以有效地提取出層與層之間(使用3D DenseUNet)、層內的特征信息(使用2D DenseUNet)，最終使用hybrid feature fusion (HFF)層聯合優化這些特征來得到準確的肝臟與腫瘤分割結果

Methods

A. 2D DenseUNet

本文提出的模型中的2D DenseUNet仿照DenseNet-161的結構，由若干不同輸出尺度的Dense Block組成

每個block中，每一層的輸出會傳給之后的所有層，每一層的輸出通道都是\(k\)，\(k\)被稱為growth rate

然而原始的DenseNet-161是為圖像分類任務設計的，為了適應于分割任務，本文結合了DenseNet的densely connection和UNet的long range connection，提出了2D DenseUNet：每個dense block中的densely connection保證最大程度利用每一層的特征信息，而從encoding part到decoding part的long range connection則有助于保存淺層信息。

定義\(\mathbf I\in \mathbb R^{n\times 224\times 224\times 12\times 1}\)，表示一個batch的\(224\times 224\times 12\)大小的輸入volume(batch size=\(n\))，最后一維(1)表示通道數，對應地，這個batch的Ground Truth為\(\mathbf Y \in \mathbb R^{n\times 224\times 224\times 12\times 1}\)，其中每個元素表示對應voxel的真實label(背景、肝臟與腫瘤)

令函數\(\mathcal F\)表示從一個volume中提取出所有的相鄰三層slice數據的過程，如上圖所示。每相鄰三層slice視為一個\(224\times 224\times 3\)大小的樣本，\(\mathbf {I_{2d}}=\mathcal F(\mathbf I)\)，其中\(\mathbf {I_{2d}}\in \mathbb R^{12n\times 224\times 224 \times 3}\)表示通過\(\mathcal F\)，從原始volume轉換而來的2D訓練數據(原始的一個\(224\times 224\times 12\)大小的volume可以產生12個樣本，因此\(n\)個volume可以產生\(12n\)個樣本)

為方便描述，用\(\mathcal F^{-1}\)表示從\(\mathbf {I_{2d}}\)還原到\(\mathbf I\)的過程

2D DenseUNet產生肝臟與腫瘤分割結果的過程可以形式化地表示為：

\[\mathbf {X_{2d}}=f_{2d}(\mathbf{I_{2d}};\theta_{2d}),\mathbf{X_{2d}}\in\mathbb R^{12n\times 224\times 224\times 64}\]

\[\hat {y_{2d}}=f_{2dcls}(\mathbf{X_{2d}};\theta_{2dcls}),\hat{y_{2d}}\in\mathbb R^{12n\times 224\times 224\times 3}\]

其中，\(\mathbf {X_{2d}}\)是2D DenseUNet的"upsampling layer 5"的feature map，\(\hat {y_{2d}}\)是輸入\(\mathbf {I_{2d}}\)對應的每個像素點屬于三種類別(背景、肝臟、腫瘤)的概率

2D DenseUNet的結構如上圖所示，其中每個dense block是由若干1×1 conv+3×3 conv的micro block組成的，在contracting path中，為了縮小feature map的尺寸，加入了transition layer，每個transition layer是由batch normalization + 1×1 conv + average pooling組成的

類似U-Net，expanding path中的upsampling layer是上采樣(由雙線性插值法實現)與來自contracting path中的相應的淺層輸出concatenate的結果+3×3卷積

另外，網絡中所有卷積層之前都有BN+ReLU(也就是說，每個卷積層都是BN+ReLU+Conv結構)

整個2D DenseUNet的結構如上所示，growth rate k=48，\([\ ]\times d\)表示\([\ ]\)中結構重復\(d\)次。由于網絡有167層，所以稱其為2D DenseUNet-167

B. H-DenseUNet

2D DenseUNet層數很深，可以學習到每個slice內的high-level的特征，但是無法利用層與層之間的空間信息

而對應的3D DenseUNet顯存消耗太大，顯存空間限制了它的深度，從而限制了感受野的大小

為了解決二者之間的矛盾，本文提出了H-DenseUNet來融合每個slice內的特征、slices之間的空間特征

為了融合2D和3D網絡學習到的特征，首先要做的是使得二者upsampling layer5輸出的feature map、最終的pixel-wise概率輸出的大小(不包含最后一維通道)相同——都是\(n\times 224\times 224\times 12\)維，我們對2D DenseUNet的\(\mathbf {X_{2d}},\hat {y_{2d}}\)作如下變換：

\[\mathbf {X_{2d}}'=\mathcal F^{-1}(\mathbf {X_{2d}}),\mathbf {X_{2d}}'\in\mathbb R^{n\times 224\times 224\times 12\times 64}\]

\[\hat {y_{2d}}'=\mathcal F^{-1}(\hat {y_{2d}}),\hat {y_{2d}}'\in\mathbb R^{n\times 224\times 224\times 12\times 3}\]

然后，將原始volume \(\mathbf I\)與\(\hat {y_{2d}}'\) concatenate后輸入3D DenseUNet，由于輸入的不僅僅是原始volume，還有其中每個voxel屬于背景、肝臟和腫瘤的概率，因此這大大緩解了3D DenseUNet最優化參數的負擔，也提升了3D DenseUNet的學習效率

3D DenseUNet的學習過程可以形式化地表示為：

\[\mathbf {X_{3d}}=f_{3d}(\mathbf I,\hat{y_{2d}}';\theta_{3d})\]

\[\mathbf Z=\mathbf {X_{3d}}+\mathbf {X_{2d}}'\]

\(\mathbf {X_{3d}}\)是3D DenseUNet-65的"upsampling layer 5"輸出的feature map，\(\mathbf Z\)表示從2D DenseUNet學習到的slice內的特征與3D DenseUNet學習到的slice之間的特征之和

混合特征\(\mathbf Z\)通過HFF層來聯合學習、優化：

\[\mathbf H=f_{HFF}(\mathbf Z;\theta_{HFF})\]

\[\hat{y_H}=f_{HFFcls}(\mathbf H;\theta_{HFFcls})\]

\(\mathbf H\)表示優化后的混合特征，\(\hat {y_H}\)表示根據\(f_{HFFcls}(\mathbf H;\theta_{HFFcls})\)得來的pixel-wise的屬于每一類的概率

3D DenseUNet的具體結構如上圖，growth rate k=32，每一部分feature map的尺寸與相對應的2D DenseUNet是一樣的，不同之處在于每個dense block里的micro block重復次數是2D版本的1/3，以減小顯存占用。這個網絡有65個卷積層，因此稱為3D DenseUNet-65，網絡的其他細節與2D DenseUNet完全一樣

C. 損失函數、訓練與推理過程

損失函數

加權交叉熵

\[L(y,\hat y)=-\frac 1 N \sum_{i=1}^N\sum_{c=1}^3 w_i^cy_i^c\log \hat y_i^c\]

其中，\(\hat y\)是pixel-wise概率輸出，\(\hat y_i^c\)表示voxel i屬于第c類(\(c\in\{1,2,3\}\)，分別代表背景、肝臟和腫瘤)的概率，\(w_i^c\)表示權重，\(y_i^c\)表示voxel i的Ground Truth(\(y_i^c=1\)表示voxel i屬于第c類)

訓練過程

• 1、訓練一個加殘差連接的2.5D UNet⁵，獲得肝臟區域的初步分割結果

• 2、訓練2D DenseUNet，其encoder part的權重被初始化為用于物體分類任務的DenseNet的預訓練權重，decoder part的權重是隨機初始化的。由于decoder part的權重是隨機初始化的，因此在前幾輪迭代時不在網絡中加入UNet的長連接，在若干輪迭代后，再加入UNet的長連接，fine tune整個模型

• 3、訓練H-DenseUNet，我們之前已經以\(L(y,\hat{y_{2d}}')\)為損失函數，訓練好了\(f_{2d}(\cdot),f_{2dcls}(\cdot)\)，現在固定\(f_{2d}(\cdot),f_{2dcls}(\cdot)\)的參數，然后用\(L(y,\hat{y_H}')\)作為損失函數訓練\(f_{3d}(\cdot),f_{HFF}(\cdot),f_{HFFcls}(\cdot)\)，這三個的參數都是隨機初始化的

• 4、最后，整個網絡以\(L_{total}=\lambda L(y,\hat{y_{2d}}')+L(y,\hat{y_H}')\)為損失函數來整體fine-tune，其中根據實驗經驗有\(\lambda=0.5\)

推理過程

• 1、使用加殘差連接的2.5D UNet得到肝臟的初步分割結果，作為ROI
• 2、在(1)步的ROI內，使用H-DenseUNet得到pixel-wise的預測分類概率
• 3、設定一個閾值，從而得到每個voxel的分類
• 4、對分割結果作后處理：保留最大聯通塊，然后去掉在肝臟區域外的腫瘤標記

Experiments and Results

A. 數據集與數據預處理

本文實驗使用LiTS挑戰賽數據集與3DIRCADb數據集。

在預處理過程中，首先將原始volume truncate至[-200,250]HU區間，在第一階段(肝臟初步分割)中，將所有volume重采樣至\(0.69\times 0.69\times 1.0\ \mathrm{mm}^3\)(在推理階段也對輸入的volume做同樣處理)

在腫瘤分割階段，使用原始分辨率的數據訓練網絡，避免重采樣導致一些小腫瘤變得失真(在推理階段也做同樣處理)

B. 評價指標

LiTS Challenge數據集

• Dice per case: 每個volume的Dice系數平均值

• Dice global: 將所有volume合并到一起，得到的Dice系數

• RMSE: 均方根誤差

3DIRCADb數據集

• VOE: volumetric overlap error
• RVD: relative volume difference
• ASD: average symmetric surface distance
• RMSD: root mean square symmetric surface distance
• DICE: 對應于LiTS數據集中的Dice per case

C. 實現細節

• 深度學習框架：Keras
• 初始learning rate=0.01
• learning rate decay:\(lr=lr*(1-iterations/total\_iterations)^{0.9}\)
• 使用帶動量的隨機梯度下降
• 數據增強：隨機翻轉、縮放(\(\leq 20\%\))
• 硬件：NVIDIA Titan XP顯卡×2
• 2D DenseUNet訓練21小時，H-DenseUNet的端到端finetune過程用時9小時
• 推理階段，每個volume的用時與其切片數量有關，在30s到200s之間

D. 實驗結果分析

無預訓練的3D DenseUNet,無預訓練的2D DenseUNet、有預訓練的2D DenseNet、有預訓練的2D DenseUNet與H-DenseUNet的學習曲線如上圖所示。3D DenseUNet的訓練大約花費60小時，是2D DenseUNet(21小時)的三倍

Fig. 3中的幾個模型與其他論文中的方法的肝臟與腫瘤分割結果如上表所示

(1)預訓練模型的意義

通過比對2D DenseUNet在有/無預訓練時的學習曲線與分割結果，可以發現：

• 1、預訓練模型+遷移學習加快了模型的收斂速度，也使模型收斂到更小的loss值
• 2、預訓練模型+遷移學習使2D DenseUNet達到更佳的分割結果

(2)2D/3D DenseUNet的比較

比對2D DenseUNet與3D DenseUNet的分割結果，可見2D版的分割結果更好，原因在于上文的2D DenseUNet較3D版層數更深，表達能力也更強，另外3D DenseUNet訓練至收斂的時間也明顯更長

3D DenseUNet不僅僅有顯存開銷過大的問題，也有無法使用預訓練模型的問題

(3)UNet長跳躍連接的意義

本文還比較了2D DenseNet(不加長跳躍連接的DenseUNet)與2D DenseUNet在使用同樣的預訓練模型和訓練策略時的學習曲線(見Fig. 3)，表明UNet的長跳躍連接幫助網絡收斂到更小的loss值，Tab. II中的結果也表明UNet的長跳躍連接也一定程度提升了腫瘤的分割結果

(4)特征融合(hybrid feature fusion)的意義

比較2D DenseUNet和H-DenseUNet的學習曲線，可見由于H-DenseUNet使用了訓練好的2D DenseUNet，所以初始時loss很小，而hybrid feature fusion使得網絡從3D DenseUNet中學到了層與層之間的空間學習，使最終loss收斂到比2D DenseUNet更小的值；而H-DenseUNet端到端的訓練過程也使學到的層與層的空間信息幫助提取層內的特征

References

---

Christ, P. F., Elshaer, M. E. A., Ettlinger, F., Tatavarty, S., Bickel, M., Bilic, P., ... & Sommer, W. H. (2016, October). Automatic liver and lesion segmentation in CT using cascaded fully convolutional neural networks and 3D conditional random fields. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 415-423). Springer, Cham.?

Drozdzal, M., Chartrand, G., Vorontsov, E., Shakeri, M., Di Jorio, L., Tang, A., ... & Kadoury, S. (2018). Learning normalized inputs for iterative estimation in medical image segmentation. Medical image analysis, 44, 1-13.?

Vorontsov, E., Tang, A., Pal, C., & Kadoury, S. (2018, April). Liver lesion segmentation informed by joint liver segmentation. In Biomedical Imaging (ISBI 2018), 2018 IEEE 15th International Symposium on (pp. 1332-1335). IEEE.?

X. Li, H. Chen, X. Qi, Q. Dou, C. Fu and P. Heng, "H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes," in IEEE Transactions on Medical Imaging.?

Han, X. (2017). Automatic liver lesion segmentation using a deep convolutional neural network method.?

轉載于:https://www.cnblogs.com/qpswwww/p/9556498.html

總結

以上是生活随笔為你收集整理的2018/8/31周报的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。