轉(zhuǎn)載：https://blog.csdn.net/weixin_41783077/article/details/80894466

?

摘要：醫(yī)學圖像分割是決定醫(yī)學圖像在臨床診療中能否提供可靠依據(jù)的關(guān)鍵問題。醫(yī)學圖像分割技術(shù)的發(fā)展不僅影響到醫(yī)學圖像處理中其他相關(guān)技術(shù)的發(fā)展，如可視化、三維重建等，而且在生物醫(yī)學圖像的分析中也占有極其重要的地位。近年來,由于深度學習算法在醫(yī)學圖像分割中的應(yīng)用, 醫(yī)學圖像分割技術(shù)取得了顯著的進展。在本文中，我們討論了用于醫(yī)學圖像分割最先進的深度學習架構(gòu)及其優(yōu)化。在最后一節(jié)中，我們討論了深度學習算法在醫(yī)學圖像分割領(lǐng)域的未來發(fā)展及面臨的挑戰(zhàn)。

?

關(guān)鍵詞：?深度學習；卷積神經(jīng)網(wǎng)絡(luò)；圖像分割；醫(yī)學圖像

?

0引言

隨著醫(yī)學影像學設(shè)備的快速發(fā)展和普及，成像技術(shù)包括磁共振成像（MR）、計算機斷層掃描（CT）、超聲、正電子發(fā)射斷層掃描（PET）等，成為醫(yī)療機構(gòu)開展疾病診斷、手術(shù)計劃制定、預(yù)后評估、隨訪不可或缺的設(shè)備。全世界每天都產(chǎn)生大量的醫(yī)學影像學信息，有報道顯示全世界醫(yī)學影像信息量占全世界信息總量的1／5以上[1]。醫(yī)學圖像處理是分析醫(yī)學圖像的首要步驟，有助于使圖像更加直觀、清晰，提高診斷效率，因此國內(nèi)外都十分重視醫(yī)學影像處理[2]。圖像分割是圖像處理的重要環(huán)節(jié)，也是難點，是制約三維重建等技術(shù)應(yīng)用的瓶頸性問題[3]。近年來，由于深度學習方法的迅速發(fā)展，基于深度學習的圖像分割算法在醫(yī)學圖像分割領(lǐng)域取得了顯著的成就。

深度學習是機器學習領(lǐng)域中一系列試圖使用多重非線性變換對數(shù)據(jù)進行多層抽象的算法，不僅學習輸入和輸出之間的非線性映射，還學習輸入數(shù)據(jù)向量的隱藏結(jié)構(gòu)[4]，以用來對新的樣本進行智能識別或預(yù)測。20世紀80年代末期，用于人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法的發(fā)明掀起了基于統(tǒng)計模型的機器學習熱潮[5]，20世紀90年代，淺層學習掀起機器學習的第一次浪潮[6]，這些淺層結(jié)構(gòu)雖然相比于過去基于人工規(guī)則的系統(tǒng)展現(xiàn)了很大的優(yōu)越性，但對于處理復(fù)雜的問題，表現(xiàn)出特征學習能力不足、維數(shù)災(zāi)難、易陷入局部最優(yōu)等缺點[7]。針對上述問題，2006年，Hinton在《Science》上首次提出“深度學習”并掀起了機器學習的第二次浪潮[8]，多隱層的網(wǎng)絡(luò)具有優(yōu)異的特征學習能力，學習到的特征對數(shù)據(jù)有更本質(zhì)的刻畫。深度學習在醫(yī)學圖像分割方面的突破對于醫(yī)學領(lǐng)域的發(fā)展至關(guān)重要[9]。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

1. 醫(yī)學圖像分割

醫(yī)學成像有多種圖像模態(tài)，諸如MR、CT、PET、超聲成像等等。成像可以獲得反映二維和三維區(qū)域人體的生理和物理特性的圖像，本文的內(nèi)容主要側(cè)重于MR和CT成像的特點和臨床應(yīng)用。二維圖像中的每個元素稱為像素，三維區(qū)域中每個元素稱為體素，在某些情形下，可以把三維圖像表示為一系列的二維切片進行觀察，優(yōu)點是計算復(fù)雜度低且需要的內(nèi)存較小。

1.1 MR圖像

磁共振成像（MRI）是無線電成像領(lǐng)域中使用最廣泛的技術(shù)。作為一種動態(tài)且靈活的技術(shù)，MRI可以實現(xiàn)多變的圖像對比度，該過程的實現(xiàn)是通過使用不同的脈沖序列和改變成像參數(shù)對應(yīng)縱向松弛時間(T1)和橫向松弛時間(T2)，T1加權(quán)和T2加權(quán)成像的信號強度與特定組織的特征有關(guān)[10]。MR成像中，圖像的對比度依賴于相位對比脈沖序列參數(shù)，最常見的脈沖序列是T1加權(quán)和T2加權(quán)自旋回波序列[12]。通過MR成像可以觀察大腦、肝臟、胸、腹部和骨盆的結(jié)構(gòu)細節(jié)，這有利于診斷檢測或治療[13]。

MRI對軟組織有很好的成像能力；有非常高的分辨率；具有較高的信噪比；利用不同的脈沖序列可以得到對比度多變的多通道圖像，進而用于不同解剖結(jié)構(gòu)的目標分割和分類[14]。然而，在MRI中存在多種偽影，如部分容積、隨機場噪聲、強度不均勻性、梯度、運動、環(huán)繞、吉布斯振鈴、磁化性等[15]。此外，相比于CT圖像，MRI的獲取需要相當長的時間，且通常條件下很難得到統(tǒng)一的圖像質(zhì)量。

1.2 CT圖像

醫(yī)學CT成像設(shè)備使用X射線（一種電磁波）得到人體的結(jié)構(gòu)和功能信息。CT影像是基于X射線吸收剖面的重構(gòu)圖像，由于不同物質(zhì)和組織吸收X射線能力不同，因此X射線可用于診斷[16]。CT成像作為當前多類疾病實體診斷的金標準，廣泛應(yīng)用于大腦、肝臟、胸部、腹部、骨盆、脊柱等身體部位以及CT血管造影的早期診斷篩查[17]。但是與MR圖像相比較，CT圖像敏感性和特異性相對較差。

CT成像中的偽影[18]包括：部分容積效應(yīng)、條形偽影、運動偽影、束硬化偽影、環(huán)狀偽影、金屬偽影等。由于這些偽影的存在給CT圖像分割帶來了一定的難度，不同組織部位分割精度也不一樣[19]。

1.3 醫(yī)學圖像分割的特點

醫(yī)學圖像分割是醫(yī)學圖像處理與分析領(lǐng)域的復(fù)雜而關(guān)鍵的步驟，其目的是將醫(yī)學圖像中具有某些特殊含義的部分分割出來，并提取相關(guān)特征，為臨床診療和病理學研究提供可靠的依據(jù)，輔助醫(yī)生做出更為準確的診斷[20]。圖像分割過程是把圖像分割成多個區(qū)域，這些區(qū)域內(nèi)部有類似的性質(zhì)，如灰度、顏色、紋理、亮度、對比度等。醫(yī)學圖像分割的目標是(以放射治療為例)[21]：(1)研究解剖結(jié)構(gòu)；(2)識別感興趣區(qū)域(即定位腫瘤、病變和其他異常組織)；(3)測量組織體積；(4)觀察腫瘤生長或治療中腫瘤體積的減少，為治療前的計劃和治療中提供幫助；(5)輻射劑量計算。

從醫(yī)學圖像中自動分割出目標是個艱巨的任務(wù)，因為醫(yī)學圖像具有較高的復(fù)雜性且缺少簡單的線性特征；此外分割結(jié)果的準確率還受到部分容積效應(yīng)、灰度不均勻性、偽影、不同軟組織間灰度的接近性等因素的影響[22]。針對通常采用的校正技術(shù)來說，可以將MR和CT圖像中的偽影分類為[23]：(1)需要適當?shù)臑V波算法處理的偽影，如噪聲偽影、敏感性偽影、存在非清晰邊緣的偽影；(2)需要適當圖像修復(fù)算法的偽影，如運動偽影；(3)需要特定算法的偽影，如部分容積和灰度不均勻性。圖像處理領(lǐng)域盡管在已存在很多算法處理上述問題，但是醫(yī)學圖像分割仍然是個復(fù)雜和具有挑戰(zhàn)性的問題。從醫(yī)學圖像處理過程的角度來看，基于灰度和基于紋理特征技術(shù)的分類是常規(guī)的分類方式[24]。此外，用機器學習的工具去優(yōu)化這些圖像分割算法是當前較受關(guān)注的技術(shù)[25]．

CT和MR圖像的分割主要涉及3個相關(guān)問題：變化的噪聲、像素灰度分類的不確定性及灰度的非均衡性[26]。圖像中單一組織的灰度水平一般是逐漸變化的，且其概率密度服從特定的分布函數(shù)，該組織對應(yīng)的圖像區(qū)域包含有限的像素(或體素)且滿足部分容積平均，然而該區(qū)域中的單個像素(或體素)的灰度不與任何一類一致，往往被看作混合組織類[28]。

CT和MR圖像分割常用的一些方法有：基于閾值[29]、基于區(qū)域[30]、基于形變模型[31]、基于模糊[32]及基于神經(jīng)網(wǎng)絡(luò)[34]。

當前，基于深度學習的方法已在圖像分割領(lǐng)域取得了顯著成就，其分割準確率已超過了傳統(tǒng)分割方法。本文在對近幾年深度學習和醫(yī)學圖像分割文獻研習的基礎(chǔ)上，對深度學習方法和常用的圖像分割算法進行了深入的研究和比較，總結(jié)了各種深度學習方法的優(yōu)缺點及其在醫(yī)學圖像分割領(lǐng)域的應(yīng)用，最后展望了深度學習在醫(yī)學圖像分割領(lǐng)域的未來發(fā)展。

?

2. 深度學習

2.1 深度學習與圖像處理

傳統(tǒng)的圖像處理技術(shù)主要包括特征提取和分類器兩部分，特征提取算法的設(shè)計復(fù)雜性與應(yīng)用局限性、穩(wěn)定性，以及特定的特征提取算法與特定的分類器相結(jié)合的多樣性限制著圖像處理技術(shù)的發(fā)展[36]。神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，使端到端的圖像處理成為可能，當網(wǎng)絡(luò)的隱藏層發(fā)展到多層時便稱之為深度學習，但同時需要用逐層初始化技術(shù)解決深層次網(wǎng)絡(luò)訓練難度大的問題，之后深度學習便成為時代的主角[37]。而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)便是深度學習與圖像處理技術(shù)相結(jié)合所產(chǎn)生的經(jīng)典模型，實現(xiàn)該模型的網(wǎng)絡(luò)實例在特定的圖像問題處理上都卓有成效[38]。

神經(jīng)網(wǎng)絡(luò)之所以能和圖像領(lǐng)域相結(jié)合，并呈現(xiàn)巨大的發(fā)展前景，是有生物學依據(jù)的。人類視覺信息處理機制的發(fā)現(xiàn)，是 19 世紀 19 年代生物學界的重大發(fā)現(xiàn)之一，它證明了大腦可視皮層是分級存在的。人的視覺系統(tǒng)是一個反復(fù)抽象和迭代的過程。而卷積神經(jīng)網(wǎng)絡(luò)，就模擬了這個過程。首先，每一個卷積層，便是將具體信息做抽象的過程，而多個卷積層串聯(lián)操作，便是將上一層的抽象結(jié)果再做抽象處理的過程，稱之為迭代[39]。在這個抽象迭代的過程中，不斷抽取大腦可感知的高維度特征。如當一幅圖像經(jīng)過視網(wǎng)膜進入視野，首先會將光線像素等信息抽象為圖像邊緣信息，然后再抽象為目標物體的某一部位，再抽象為物體輪廓形成對整個目標的感知[41]。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種多階段的、全局可訓練的人工神經(jīng)網(wǎng)絡(luò)模型，可以經(jīng)過少量預(yù)處理，從原始數(shù)據(jù)中學習到抽象的、本質(zhì)的、深層的特征[42]。在CNN中，每一層的數(shù)據(jù)都是大小為h×w×d的三維數(shù)組，其中h、w是空間維度，d是特征維數(shù)或通道維數(shù)。在圖像處理領(lǐng)域，h×w代表圖像尺寸，d代表顏色通道。CNN高層中的每一點對應(yīng)于圖像中的一塊區(qū)域，稱為局部感受野。

CNN運行于局部輸入?yún)^(qū)域的基本操作包括卷積（Convolution）、激活函數(shù)（Rectified Linear Units, ReLu）和池化(Pooling),這些操作僅依賴于相關(guān)的空間坐標[43]。記 為某層上坐標 的數(shù)據(jù)向量，下一層中坐標為 的數(shù)據(jù)向量為 ， 可由以下公式計算：??

(2-2)

式中： 為卷積核的大小，s為步長或降采樣系數(shù)， ?決定層的類型：矩陣相乘對應(yīng)卷積層或者平均池化層；空間域最大值對應(yīng)最大池化層；非線性函數(shù)對應(yīng)激活函數(shù)層。

（1）卷積

研究表明，自然圖像某一部分的統(tǒng)計特性與其他部分統(tǒng)計特性相同，因此CNN網(wǎng)絡(luò)在圖像某一部分學習到的特征也能用在圖像其他部分上[44]。在CNN網(wǎng)絡(luò)對一張圖像進行卷積運算時，對于圖像上的所有位置可以采用相同的卷積核進行卷積運算。在卷積層，卷積核與前一層得到的特征圖進行卷積，卷積操作的計算公式如下：

??????? ? ?(2-3)

式中， 為 的鄰域.

（2）激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)中每一層的特征圖經(jīng)常與前一層的多個特征圖有關(guān)，是前一層特征圖的卷積結(jié)果經(jīng)過激活函數(shù)后得到的。CNN網(wǎng)絡(luò)中常用的激活函數(shù)有ReLu函數(shù)、Sigmoid函數(shù)和雙曲正切函數(shù)，其計算公式如下：

（3）池化

在CNN網(wǎng)絡(luò)完成卷積特征提取之后，把每個隱藏單元提取到的特征看作成一個矩陣，并將該矩陣上劃分成幾個不重疊的區(qū)域，計算劃分后的每個區(qū)域內(nèi)特征的平均值或最大值，然后用計算得到的平均值或最大值進行后續(xù)的訓練，這個過程就是池化。上述采用均值和最大值計算區(qū)域特征的池化方法分別稱為均值池化和最大值池化。

2.3卷積神經(jīng)網(wǎng)絡(luò)在圖像分割領(lǐng)域的應(yīng)用

卷積神經(jīng)網(wǎng)絡(luò)自從在手寫字體識別領(lǐng)域獲得巨大突破后[45]，逐漸開始應(yīng)用在圖像處理領(lǐng)域中。CNN網(wǎng)絡(luò)在ImageNet比賽中的杰出表現(xiàn)[46]表明其在圖像特征提取、圖像分類等圖像處理領(lǐng)域擁有巨大的潛能。目前，CNN網(wǎng)絡(luò)已廣泛應(yīng)用于醫(yī)學圖像分割中。

Wu, Xundong等人[47]提出了基于迭代的卷積神經(jīng)網(wǎng)絡(luò)的細胞膜分割方法，通過在細胞膜檢測概率圖上迭代使用卷積神經(jīng)網(wǎng)絡(luò)算法，細胞膜分割精度有了一定的提升。曹貴寶等人[48]提出了用卷積神經(jīng)網(wǎng)絡(luò)和隨機森林分類器相結(jié)合的方法實現(xiàn)了對神經(jīng)細胞圖像的分割，用隨機森林分類器代替了傳統(tǒng)的softmax分類器，實驗中分別訓練卷積神經(jīng)網(wǎng)絡(luò)模型和分類器模型，并用其學習到的特征訓練隨機森林分類器，最后完成電子顯微圖像的神經(jīng)細胞膜的分割。實驗結(jié)果的分割準確度明顯高于傳統(tǒng)的分割算法SVM，而且用隨機森林做分類器比用傳統(tǒng)的softmax做分類器效果也要好一些。

CERNAZANUGLAVAN等人[49]提出使用卷積神經(jīng)網(wǎng)絡(luò)分割X射線圖像中的骨骼結(jié)構(gòu)，通過使用四種不同的卷積神經(jīng)網(wǎng)絡(luò)提取骨骼X射線圖像的圖像特征，并將提取到的圖像特征用softmax分類器進行分類，從而實現(xiàn)骨骼結(jié)構(gòu)的分割。實驗通過對比表明，第四種網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的分割準確率更高。

Su, Hai 等人[50]提出了一種快速掃描卷積神經(jīng)網(wǎng)絡(luò)的方法，用于乳腺磁共振圖像的分割。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不同，該文獻在卷積層采用卷積核去卷積整張圖像或者上一卷積層提取到的特征圖，并重新排列最大池化層，從而減少冗余計算。實驗表明，該文獻提出的基于快速掃描卷積神經(jīng)網(wǎng)絡(luò)的分割方法大大提高的圖像分割速度，并保證了分割精度的不變，對乳腺癌實時診斷提出了技術(shù)支持。

卷積神經(jīng)網(wǎng)絡(luò)在進行圖像分割操作時，因其具有優(yōu)良的特征提取能力和良好的特征表達能力，不需要人工提取圖像特征或?qū)D像進行過多預(yù)處理，因此近年來CNN網(wǎng)絡(luò)在醫(yī)學影像（MRI、CT、X射線等）分割領(lǐng)域以及輔助診斷方面取得了巨大成功[51]。

?

3深度學習在醫(yī)學圖像分割中的應(yīng)用

3.1FCN

傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的分割方法的做法通常是：為了對一個像素分類，使用該像素周圍的一個圖像塊作為卷積神經(jīng)網(wǎng)絡(luò)的輸入用于訓練和預(yù)測。這種方法有幾個缺點：一是存儲開銷很大。例如對每個像素使用的圖像塊的大小為15x15，則所需的存儲空間為原來圖像的225倍。二是計算效率低下。相鄰的像素塊基本上是重復(fù)的，針對每個像素塊逐個計算卷積，這種計算也有很大程度上的重復(fù)。三是像素塊大小的限制了感知區(qū)域的大小。通常像素塊的大小比整幅圖像的大小小很多，只能提取一些局部的特征，從而導(dǎo)致分類的性能受到限制。

針對以上問題, Long Jonathan等人[52]2015年提出全卷積網(wǎng)絡(luò)(FullyConvolutional Networks, FCN)結(jié)構(gòu)。FCN可以對圖像進行像素級的分類，從而解決了語義級別的圖像分割問題。與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)在卷積層之后使用全連接層得到固定長度的特征向量進行分類（全聯(lián)接層＋softmax 輸出）不同，全卷積網(wǎng)絡(luò)可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的特征圖進行上采樣, 使它恢復(fù)到輸入圖像相同的尺寸，從而可以對每個像素都產(chǎn)生了一個預(yù)測, 同時保留了原始輸入圖像中的空間信息, 最后在上采樣的特征圖上進行逐像素分類，完成最終的圖像分割。FCN的網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

圖1 ?FCN網(wǎng)絡(luò)結(jié)構(gòu)

?

在FCN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，Korez 等人[53]提出了3D FCN網(wǎng)絡(luò)結(jié)構(gòu)，并將3D FCN網(wǎng)絡(luò)分割出的脊椎結(jié)構(gòu)用形變模型算法進行優(yōu)化，進一步提高了脊柱MR圖像的分割準確率。Zhou等人[54]將FCN算法和多數(shù)投票算法相結(jié)合，在人體軀干CT圖像中分割出了19個目標。在網(wǎng)絡(luò)訓練過程中，將經(jīng)過每一個像素點的矢狀面、軸狀面、冠狀面的CT圖像分別輸入至2D FCN網(wǎng)絡(luò)進行訓練，并用3D Majority Voting算法對三幅圖像的分割結(jié)果進行表決，得到最后的分割結(jié)果。Moeskops等人[55]采用腦部MRI、心肌MRI和冠狀動脈在心臟CT血管造影（CTA）中的冠狀動脈圖像同時訓練一個FCN網(wǎng)絡(luò)，使得訓練好的網(wǎng)絡(luò)可同時用于這三類目標的分割。

FCN在對圖像進行分割時，上采樣層將特征恢復(fù)到原圖像的大小，此過程會導(dǎo)致像素定位不精確，從而影響分割結(jié)果的準確性。為了解決這一問題，許多研究者采用MRF算法[56]或CRF算法[58]對FCN輸出的分割結(jié)果進行改進，進一步優(yōu)化分割結(jié)果。

?

3.2U-net

2015年，OlafRonneberger等人[64]提出了U-net網(wǎng)絡(luò)結(jié)構(gòu)，U-net是基于FCN的一種語義分割網(wǎng)絡(luò)，適用于做醫(yī)學圖像的分割。

U-net網(wǎng)絡(luò)結(jié)構(gòu)與FCN網(wǎng)絡(luò)結(jié)構(gòu)相似，也是分為下采樣階段和上采樣階段，網(wǎng)絡(luò)結(jié)構(gòu)中只有卷積層和池化層，沒有全連接層，網(wǎng)絡(luò)中較淺的高分辨率層用來解決像素定位的問題，較深的層用來解決像素分類的問題，從而可以實現(xiàn)圖像語義級別的分割。與FCN網(wǎng)絡(luò)不同的是，U-net的上采樣階段與下采樣階段采用了相同數(shù)量層次的卷積操作，且使用skip connection結(jié)構(gòu)將下采樣層與上采樣層相連，使得下采樣層提取到的特征可以直接傳遞到上采樣層，這使得U-net網(wǎng)絡(luò)的像素定位更加準確，分割精度更高。此外，在訓練過程中，U-net只需要一次訓練，FCN為達到較精確的FCN-8s結(jié)構(gòu)需要三次訓練，故U-net網(wǎng)絡(luò)的訓練效率也高于FCN網(wǎng)絡(luò)。

U-net網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示, 藍色箭頭代表卷積和激活函數(shù), 灰色箭頭代表復(fù)制剪切操作, 紅色箭頭代表下采樣, 綠色箭頭代表反卷積,conv 1X1代表卷積核為1X1的卷積操作。從圖中可以看出，U-net網(wǎng)絡(luò)沒有全連接層，只有卷積和下采樣。U-net可以對圖像進行端到端的分割，即輸入是一幅圖像, 輸出也是一幅圖像。

圖2 ?U-net網(wǎng)絡(luò)結(jié)構(gòu)

?

U-net網(wǎng)絡(luò)提出后，在醫(yī)學圖像分割領(lǐng)域表現(xiàn)優(yōu)秀，許多研究者均采用U-net網(wǎng)絡(luò)結(jié)構(gòu)做醫(yī)學圖像分割，并在U-net網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上提出改進。?i?ek等人[65]提出3D U-net網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)通過輸入3D圖像連續(xù)的2D切片序列實現(xiàn)3D圖像分割。Milletari等人[66]提出了U-net網(wǎng)絡(luò)結(jié)構(gòu)的一種3D變形結(jié)構(gòu)V-net，V-net結(jié)構(gòu)使用Dice系數(shù)損失函數(shù)代替?zhèn)鹘y(tǒng)的交叉熵損失函數(shù)，且使用3D卷積核對圖像進行卷積，通過1x1x1的卷積核減少通道維數(shù)。Drozdzal等人[67]提出在U-net網(wǎng)絡(luò)結(jié)構(gòu)中不僅可以使用長跳躍連接結(jié)構(gòu)，也可以使用短跳躍連接結(jié)構(gòu)。

在病灶分割任務(wù)中，深度學習算法需要完成目標識別、器官分割和組織分割等多項任務(wù)，因此分割過程中應(yīng)結(jié)合圖像的全局信息和局部信息來實現(xiàn)病灶的準確分割，Kamnitsas等人[68]和Ghafoorian等人[69]都提出使用多尺度卷積來提取圖像全局信息和局部信息。此外，Wang等人[70]提出一種傷口圖像分析系統(tǒng)，先用U-net網(wǎng)絡(luò)對傷口圖像進行分割，再用SVM分類器對分割出的傷口圖像進行分類，判斷傷口是否感染，最后用GP回歸算法對傷口愈合時間進行預(yù)測。Brosch等人[71]使用U-net網(wǎng)絡(luò)對腦部MRI中的腦白質(zhì)病灶進行分割，并在U-net網(wǎng)絡(luò)的第一層卷積和最后一層反卷積之間加入跳躍連接結(jié)構(gòu)，使得該網(wǎng)絡(luò)結(jié)構(gòu)在訓練數(shù)據(jù)較少的情況下仍得到了很好的分割結(jié)果。

?

3.3RNN

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)是為離散序列分析而開發(fā)的，已經(jīng)在眾多自然語言處理(Natural Language Processing,NLP)中取得了巨大成功以及廣泛應(yīng)用[72]。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)假定不同輸入和輸出之間是相互獨立的，網(wǎng)絡(luò)中不存在反饋連接，而RNN網(wǎng)絡(luò)結(jié)構(gòu)中至少包含一個反饋連接（自循環(huán)），即假定當前輸出不僅與當前輸入有關(guān)，也與先前輸出有關(guān)，所以RNN適合于解決時間處理和順序?qū)W習問題[73]。

在實際訓練過程中，梯度消失的問題使得傳統(tǒng)RNN在實際中很難處理長期依賴[75]，而長短期記憶網(wǎng)絡(luò)（Long ShortTerm Memory，LSTM）作為一種 RNN 的特殊類型，則繞開了這些問題，可以從學習到長期依賴關(guān)系。LSTM 由Hochreiter等人[76]提出，并在近期被Alex Graves[77]進行了改良和推廣。Cho 等人[78]提出在LSTM網(wǎng)絡(luò)結(jié)構(gòu)中加入門控復(fù)發(fā)單元，可對LSTM網(wǎng)絡(luò)結(jié)構(gòu)進行簡化。在很多實際問題中，LSTM 都取得相當巨大的成功，并得到了廣泛的使用。

雖然RNN在最初提出時，網(wǎng)絡(luò)輸入為一維向量，但在近幾年的應(yīng)用中，RNNs越來越多地應(yīng)用于圖像處理。在自然圖像中，像素級的RNN被用作自回歸模型，生成模型最終可以產(chǎn)生類似于訓練集樣本的新圖像。

對于醫(yī)療應(yīng)用而言，RNN可用于醫(yī)學圖像分割問題。 Stollenga等人[79]首次在六個方向上使用3D LSTM-RNN對腦部MR圖像進行分割，用金字塔方式重新排列MD-LSTM中傳統(tǒng)的長方體計算順序，使得網(wǎng)絡(luò)可以在GPU上并行訓練，大大提高了網(wǎng)絡(luò)訓練效率，并在MRBrainS挑戰(zhàn)中取得了很好的分割結(jié)果。Andermatt等人[80]使用帶有門控單元的3D RNN網(wǎng)絡(luò)分割腦MR圖像中的灰質(zhì)和白質(zhì)，結(jié)合數(shù)據(jù)預(yù)處理和后處理操作，進一步提高了分割準確率。Chen等人[81]提出了一個基于FCN和RNN的三維圖像分割新框架，這是第一個明確利用3D圖像各向異性的DL分割框架。使用來自ISBI神經(jīng)元結(jié)構(gòu)分割挑戰(zhàn)的數(shù)據(jù)集和3D真菌圖像進行評估，他們的方法比已知的基于DL的3D分割方法在分割準確率上更勝一籌。Poudel等人[82]提出了循環(huán)全卷積網(wǎng)絡(luò)（RFCN），將解剖學檢測和圖像分割將結(jié)合，形成一個端到端的網(wǎng)絡(luò)結(jié)構(gòu)，從而大大縮短了計算時間，簡化了分割流水線，并為實時應(yīng)用提供了可能。

?

4未來發(fā)展方向

4.1加強領(lǐng)域間合作

隨著計算機視覺及人工智能領(lǐng)域的發(fā)展，醫(yī)學圖像分割的準確率不斷上升，為醫(yī)學診斷提供了極大的幫助。然而，由于人工智能科學家不了解臨床需求，臨床醫(yī)生不了解人工智能具體技術(shù)，導(dǎo)致人工智能不能很好地滿足臨床具體需求[83]。為了促進人工智能在醫(yī)學領(lǐng)域的應(yīng)用，應(yīng)加強臨床醫(yī)生與機器學習科學家的廣泛合作。這種合作將解決機器學習研究人員無法獲得醫(yī)學數(shù)據(jù)的問題，也可以幫助機器學習研究者開發(fā)出更符合臨床需求的深度學習算法，應(yīng)用到計算機輔助診斷設(shè)備中，從而提高診斷效率和準確率。

4.2醫(yī)學影像數(shù)據(jù)共享

深度學習算法的訓練需要大量的數(shù)據(jù)集支持，然而，與自然圖像相比，帶注釋的醫(yī)學圖像相對稀缺，且標注成本較高。由于醫(yī)學領(lǐng)域的敏感性和特殊性，醫(yī)學數(shù)據(jù)的注釋需要大量專家手動完成，這需要投入大量的人力物力，然而即使在這種情況下，由于病例的復(fù)雜性和圖像本身模糊等原因，也不能保證標注的完全準確[84]。為了克服這一問題，需要不同醫(yī)療服務(wù)者共享數(shù)據(jù)資源，或建立醫(yī)學影像知識庫，為人工智能研究者們提供更多的數(shù)據(jù)支持。

4.3深度學習技術(shù)的進步

目前，大多數(shù)醫(yī)學圖像分割采用的是有監(jiān)督的深度學習算法，然而，針對某些缺乏大量數(shù)據(jù)支持的罕見疾病，有監(jiān)督的深度學習算法便無法發(fā)揮其性能。為了克服數(shù)據(jù)缺乏或數(shù)據(jù)不可用的問題，對于深度學習算法的研究可以從有監(jiān)督領(lǐng)域轉(zhuǎn)移到半監(jiān)督或無監(jiān)督領(lǐng)域[85]。如何在醫(yī)療領(lǐng)域有效地使用半監(jiān)督和無監(jiān)督算法，同時又不影響醫(yī)療系統(tǒng)的準確性，這是目前很多研究者正在研究的一個問題，但卻沒有提供被臨床接納的解決方案，這將是一個需要被繼續(xù)研究的方向。

?

5 總結(jié)

深度學習算法在醫(yī)學圖像處理領(lǐng)域具有重要的理論意義和實際應(yīng)用價值。本文從醫(yī)學圖像分割的基本概念出發(fā)，詳細闡述了不同醫(yī)學影像的特點以及分割難點。然后介紹了深度學習的基本原理及適用于進行圖像處理的卷積神經(jīng)網(wǎng)絡(luò)算法，并詳細介紹了FCN、U-net、RNN三種網(wǎng)絡(luò)結(jié)構(gòu)和它們在醫(yī)學圖像分割領(lǐng)域的應(yīng)用。最后從加強領(lǐng)域間交流合作、醫(yī)學影像數(shù)據(jù)共享、深度學習技術(shù)的進步這三個方面對深度學習技術(shù)在醫(yī)學圖像處理領(lǐng)域的未來發(fā)展進行展望。深度學習算法的發(fā)展必然會對醫(yī)學圖像分割的發(fā)展起到積極的促進作用。

總之，借助大數(shù)據(jù)的潮流，結(jié)合人工智能自身潛力，爭取深度學習算法在醫(yī)學領(lǐng)域取得更大的進步并早日實現(xiàn)智能醫(yī)療的初衷。

?

?

參考文獻

?

總結(jié)

以上是生活随笔為你收集整理的基于深度学习的医学图像分割综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。