機器之心原創(chuàng)

作者：體素科技、邱陸陸

自 2012 年 AlexNet 挑戰(zhàn) ImageNet 獲得巨大成功以來，用于圖像領域的深度學習算法以令人目不暇接的速度飛速演化著。通用圖像領域中，有明確邊界的問題，例如特定類別有標注數(shù)據(jù)的物體檢測、定位、識別，乃至特定場景的圖像生成、一定精確度內(nèi)的圖像分割，都出現(xiàn)了令人更新認知的深度學習解答。

目前，站在深度學習研究一線的計算機視覺研究者們，有相當一部分深入到更細分的、與應用場景聯(lián)系更緊密的任務中，同時擴展算法能夠覆蓋的數(shù)據(jù)類型。

2018 年，在醫(yī)療影像這個分支中，來自加州的人工智能醫(yī)療公司體素科技，結合自身產(chǎn)品線的開發(fā)路徑，發(fā)表了多篇論文，論文探討了如何利用深度學習算法臨床決策支持：例如用端到端算法處理影像中分割問題、 配準問題，以及如何在標注數(shù)據(jù)有限，且遷移學習困難的情況下，利用代理監(jiān)督和聯(lián)合訓練獲得更好的模型效果。以下為論文介紹：

3D PDV-Net：端到端的器官分割

器官分割是導航（navigation）的核心任務，算法需要找出正常人器官、病情嚴重的患者器官乃至手術后形態(tài)發(fā)生顯著變化的器官的位置：這是放療靶區(qū)勾畫和病灶量化分析幾乎唯一可依賴的憑據(jù)。

現(xiàn)存的肺葉分割方法非常耗時，并需要依賴氣管/血管分割先驗作為初始輸入，且通常還需要與影像科醫(yī)生交互才能達到最佳結果。這篇工作提出了一個基于三維漸進密集 V 形深度網(wǎng)絡（progressive dense V-network，PDV-NET）的可靠、快速、且完全自動的肺葉分割模型。利用一臺 Nvidia Titan XP GPU，PDV-NET 平均 2 秒就可以通過網(wǎng)絡的一次前向傳播來完成一次肺葉分割，且完全去除了對先驗和任何用戶介入的依賴。

圖：用于肺葉分割的 PDV-net 模型，分割結果逐漸提高直到得到最終結果。

PDV-net 以 Dense V-net 為基礎網(wǎng)絡，結合漸進整體嵌套網(wǎng)絡（progressive holistically-nested networks）而成。網(wǎng)絡主要由 3 條路徑組成，每條路徑都由密集特征模塊（dense feature block，dfb）和卷積層構成，位于前面的 dfb 的輸出通過卷積和下采樣后，會成為之后的 dfb 的輸入。換言之，PDV-net 漸進地提取不同層次的圖像特征，最后以串聯(lián)的方式將這些特征結合在一起，得到最終的分割結果。

圖：真值與 U-net、 dense V-Net (DV-Net)、3D progressive dense V-Net (PDV-Net) 的分割結果的定性比較，可以看出 PDV-Net 的結果沒有其他模型會產(chǎn)生的噪聲。顏色標記：杏仁白：LUL，藍：LLL，黃：RUL，青：RML，粉：RLL。

模型在 Lung Image Database Consortium（LIDC）數(shù)據(jù)集的 84 張胸腔 CT 和 Lung Tissue Research Consortium（LTRC）的 154 張病態(tài)胸腔 CT 上進行了測試。模型輸出的肺葉分割的 Dice score 在 LIDC 上達到了 0.939 ± 0.02，在 LTRC 上達到了 0.950 ± 0.01，此測試結果顯著高于 2D U-net model 和 3D dense V-net 的結果。此外，模型在 LOLA11 challenge 的 55 例上測試并達到了 0.935 的 average Dice score，與最佳參賽隊伍的 0.938 相當。

圖：PDV-net 與 2D U-net 和 3D dense V-net 在 LIDC 和 LTRC 數(shù)據(jù)集上的分割結果 Dice score 比較。

研究者也對模型進行了魯棒性測試，顯示出我們的模型對于健康與疾病的 CT 例、不同的廠家的 CT 機的輸出、以及同一 CT 機的不同 CT 重構設置產(chǎn)生的不同 CT 例均能夠進行可靠的肺葉分割。

該工作獲得醫(yī)學影像頂級會議 MICCAI 2018 深度學習影像分析板塊最佳論文。

基于無監(jiān)督神經(jīng)網(wǎng)絡的可變形-仿射混合配準框架

配準（registration）是把不同影像按照生理結構對齊達到重合的目的，用于對比不同檢查中的差異。其中，影像的背景部分可以大刀闊斧地調(diào)整，通過變形變換（deformation transformation），把病人每次拍照時因為姿勢的不同、壓到的腔體部位不同而導致的無法重合問題通過形狀、大小、角度的變換來進行對準，保證多組照片之間互相可比；而病灶部分只能嚴謹?shù)匚⒄{(diào)，通過只有六個空間自由度（dof）的剛體變換（rigid transformation）進行旋轉和位移，保證病灶信息不損失。

配準可以被分為可變形配準（deformable registration）和仿射配準（affine registration）兩種。目前，深度學習算法已經(jīng)在可變形配準中獲得了應用，相比于比傳統(tǒng)的方法，在速度上有多個數(shù)量級的提高。然而，基于深度學習的可變形配準模型通常需要傳統(tǒng)方法所得的仿射配準進行預配準。這和利用深度學習模型達到快速可變形配準的目的相矛盾。此外，現(xiàn)有的深度學習可變形配準模型的訓練必須依賴手動標注的仿射變換真值或者有偏差的仿射變換模擬真值，前者耗費大量時間，后者影響模型的效果。

因此，研究者提出了一個可以利用真實醫(yī)療影像進行無監(jiān)學習的仿射配準模型。在此之上，還提出了一個混合仿射與可變形配準的統(tǒng)一訓練框架。

圖：混合仿射與可變形配準的統(tǒng)一訓練框架。

該方法由仿射配準網(wǎng)絡（ARN）與可變形配準網(wǎng)絡（DRN）組成。ARN 的輸出是描述 3D 仿射變換的 12 個參數(shù)，DRN 的輸出是描述每個體素位移的形變向量場。通過將網(wǎng)絡所輸出的仿射和可變形變換作用在有移動的 CT 圖像上并進行線性插值，就可以得到配準后的 CT 圖像。

在模型訓練方面，描述圖像全局相似程度的 Dice score 被直接用作優(yōu)化的目標；此設計使手工標注或者模擬配準真值過程變得不必要。

圖：（a）固定的與移動后的 CT 對冠狀面（b）ARN 仿射配準結果（c）DRN 可變形配準結果（d）模型輸出的形變場的強度與移動 CT 冠狀面的重合圖。

圖：用肺部重合度表達的配準準確率。ARN+DRN 配準模型較其對應的基準模型在準確率上有顯著提高。

利用代理監(jiān)督進行預訓練解決標注有限問題

醫(yī)療影像和自然影像之間的明顯差異決定了研究者很難利用遷移學習彌補標注數(shù)據(jù)不足問題：大量用于 CT、MRI 影像的模型是三維的，無法使用 ImageNet 等數(shù)據(jù)庫進行預訓練，即使是用于病理切片，眼底，皮膚等影像的二維模型，也只是與自然圖像在空間與色彩維度上保持了一致，由于圖像內(nèi)容相差甚遠，遷移學習的作用也十分有限。而另一方面，醫(yī)療影像數(shù)據(jù)的標注難度遠勝于普通圖像，大規(guī)模數(shù)據(jù)集的建立幾乎是無法完成的任務。

給定這樣的現(xiàn)實情況一些研究者選擇以「代理監(jiān)督」的方法，利用未標注的醫(yī)療圖像輔助深度學習模型。

本文中，作者在胸部 CT、眼底圖像和皮膚圖像上，用旋轉、重建和上色這三種代理監(jiān)督方法，對 4 個不同任務進行了預訓練。

圖：任務及代理監(jiān)督方法。

研究顯示：

• 當有標注訓練數(shù)據(jù)較少時，代理監(jiān)督模型預訓練效果顯著，當有標注訓練數(shù)據(jù)增多時，代理監(jiān)督效果減弱。

• 通過代理監(jiān)督預訓練的深度模型，比在同一訓練集上參數(shù)隨機初始化的深度模型性能更優(yōu)。

• 在醫(yī)療圖像上進行預訓練的模型，比在自然圖像上進行預訓練的模型進行遷移學習后效果更優(yōu)。這顯示出大量存在的未標注的醫(yī)療圖像在模型訓練時還有很多未被開發(fā)的價值。

這些研究結論為訓練性能更強的用于醫(yī)學圖像分析的深度模型提供了一些可以廣泛應用的準則。

圖：代理監(jiān)督方法以及目標任務模型示意圖。每格左側的網(wǎng)絡為代理任務，右側的網(wǎng)絡為目標任務。灰色梯形指代未訓練的參數(shù)，黃色梯形指代預訓練后的參數(shù)。

據(jù)了解，該論文已被 ISBI 2019接收。

多任務聯(lián)合檢測網(wǎng)絡

傳統(tǒng)的醫(yī)療影像識別模型通常采用端對端的分類方式：輸入圖片，輸出判別結果。但是以皮膚病為例，此類方法在具體場景的應用中有很大的局限性。首先，皮膚病的種類繁多，僅書本記載的皮膚病種就多達數(shù)千種，因此用一個單一模型來涵蓋所有的皮膚病及其變種是不現(xiàn)實的。其次，皮膚病的表現(xiàn)復雜。不同的疾病可能出現(xiàn)相似的表現(xiàn)；同樣的疾病在不同人身上、不同部位、不同發(fā)病時期，都會有不同的表現(xiàn)。第三，皮膚病的診斷判別通常需要對患者病史、體格檢查、實驗室和其他相關檢查的檢查結果等進行綜合分析，僅從圖片很難進行準確的皮膚病判別。

針對這一現(xiàn)象，研究者選擇在病種判別之外，引入皮膚損害作為聯(lián)合目標，同時關注病灶級別目標和整體圖像的識別，提高模型的能力。

皮膚損害（簡稱皮損）是皮膚病最重要的體征，是對各種皮膚病進行診斷和鑒別的重要依據(jù)。相對于皮膚病來說，皮損類型具有種類相對較少（原發(fā)性皮損和繼發(fā)性皮損共數(shù)十種）、皮損分類明確、泛化程度高等優(yōu)點。根據(jù)皮膚病判別的特殊性，體素科技提出了多任務聯(lián)合檢測網(wǎng)絡（Multi-task Joint Detection Network）來進行皮膚病的學習。

圖：皮膚病多任務聯(lián)合檢測網(wǎng)絡結構示意圖。

該網(wǎng)絡同樣以圖片作為輸入，但輸出結果包含了皮損類型（Lesion Types）、皮損部位（Lesion Location）、皮損邊框（Lesion Bounding Box）以及綜合以上結果得出的最終皮膚病判別（Skin Conditions)。采用上述網(wǎng)絡，研究者將 100 種常見皮膚病的判別分類模型提高了 10%，并且模型預測的結果更加合理。

References：

[1] Terzopoulos, D., Ding, X., & Tajbakhsh, N. Automatic, Fast, Reliable Lung Lobe Segmentation Using a 3D Progressive Dense V-Network.

總結

以上是生活随笔為你收集整理的体素科技：2018年，算法驱动下的医学影像分析进展的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。