Cross-Modality Domain Adaptation for Medical Image Segmentation

Unsupervised 3D Semantic Segmentation Domain Adaptation

領(lǐng)域適應(yīng)（DA）最近引起了醫(yī)學(xué)成像界的強(qiáng)烈興趣。通過鼓勵(lì)算法對(duì)未知情況或不同的輸入數(shù)據(jù)域具有魯棒性，域自適應(yīng)提高了機(jī)器學(xué)習(xí)方法對(duì)各種臨床環(huán)境的適用性。雖然已經(jīng)提出了各種各樣的 DA 技術(shù)用于圖像分割，但這些技術(shù)中的大多數(shù)已經(jīng)在私有數(shù)據(jù)集或小型公共可用數(shù)據(jù)集上得到驗(yàn)證。此外，這些數(shù)據(jù)集主要解決單類問題。為了解決這些限制，crossMoDA 挑戰(zhàn)引入了第一個(gè)用于無監(jiān)督跨模態(tài)域自適應(yīng)的大型多類數(shù)據(jù)集。

Domain Adaptation (DA) has recently raised strong interests in the medical imaging community. By encouraging algorithms to be robust to unseen situations or different input data domains, Domain Adaptation improves the applicability of machine learning approaches to various clinical settings. While a large variety of DA techniques has been proposed for image segmentation, most of these techniques have been validated either on private datasets or on small publicly available datasets. Moreover, these datasets mostly address single-class problems. To tackle these limitations, the crossMoDA challenge introduces the first large and multi-class dataset for unsupervised cross-modality Domain Adaptation.

Aim

挑戰(zhàn)的目標(biāo)是分割兩個(gè)關(guān)鍵的大腦結(jié)構(gòu)：前庭神經(jīng)鞘瘤（VS）和耳蝸。雖然 ceT1加權(quán)的磁共振成像（MRI）掃描通常用于 VS 分割，但最近的研究表明，高分辨率T2（hrT2）成像可能是 ceT1 的可靠、安全和低成本替代方法。基于這些原因，我們提出了一種無監(jiān)督的跨模態(tài)挑戰(zhàn)（從 ceT1 到 hrT2），旨在自動(dòng)在 hrT2 掃描上執(zhí)行 VS 和耳蝸分割。訓(xùn)練源和目標(biāo)集分別是帶注釋的 ceT1 和未帶注釋的 hrT2 掃描。


以下是列表中前三的方法：

Self-Training Based Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation

Hyungseob Shin ; Hyeon Gyu Kim; Sewon Kim; Yohan Jun ; Taejoon Eo ; Dosik Hwang (Yonsei University)

Challenge Goal

訓(xùn)練集只提供了 CET1 的標(biāo)簽，HRT2 沒有標(biāo)簽。需要通過域自適應(yīng)的方式把源域 CET1 的圖像強(qiáng)度分布轉(zhuǎn)到與目標(biāo)域 HRT2 一樣或相似的圖像強(qiáng)度分布上（這里隱含不改變 CET1 的圖像結(jié)構(gòu)），這樣就可以用單模態(tài)分割網(wǎng)絡(luò)（nnUNet）來分割所有原有的 HRT2 和用 CycleGAN 從 CET1 轉(zhuǎn)換過來的 fake-HRT2。畢竟醫(yī)學(xué)圖像多模態(tài)的定義就是由不同模態(tài)在同一解剖區(qū)域成像敏感度不同，導(dǎo)致的圖像強(qiáng)度分布不同，從而難以用單個(gè)網(wǎng)絡(luò)來分割多模態(tài)醫(yī)學(xué)圖像。

Method

在本文中，我們提出了一種新的無監(jiān)督跨模態(tài)醫(yī)學(xué)圖像分割方法，并在前庭神經(jīng)鞘瘤 (VS) 和耳蝸分割上對(duì)其進(jìn)行了驗(yàn)證。 VS 的快速準(zhǔn)確診斷在臨床工作流程中非常重要，用于此的最典型 MR 協(xié)議包括對(duì)比增強(qiáng) T1 加權(quán) (ceT1) 和高分辨率 T2 加權(quán) (hrT2) 掃描。為此，提出了從一對(duì) ceT1 和 hrT2 圖像中分割 VS 和耳蝸的研究 [1]。在這項(xiàng)研究中，我們的目標(biāo)是對(duì) VS 和耳蝸進(jìn)行分割。hrT2 掃描使用基于自我訓(xùn)練的無監(jiān)督方法，在有注釋的 ceT1 和無注釋的 hrT2 掃描上進(jìn)行訓(xùn)練。我們的方法包括

我們的方法包括 4 個(gè)主要步驟：

• 從 CET1 掃描到 HRT2 掃描的保留 VS 結(jié)構(gòu)的域轉(zhuǎn)換，然后是自訓(xùn)練方案，其中包括 ：
• 使用合成的 HRT2 進(jìn)行有監(jiān)督 VS 分割訓(xùn)練（因?yàn)楹铣傻?T2 掃描原本帶有注釋），
• 用訓(xùn)練好的 nnUNet 在無注釋的真實(shí) HRT2 掃描上生成偽標(biāo)簽，以及
• 通過結(jié)合真假 HRT2 數(shù)據(jù)（即真實(shí) T2 掃描及其偽標(biāo)簽、帶有真實(shí)標(biāo)簽的 T2 掃描）進(jìn)一步訓(xùn)練，提高 VS 和耳蝸分割的泛化性能。

考慮到我們的任務(wù)是在 hrT2 圖像上預(yù)測(cè) VS 和 Cochlea，我們首先使用 cycleGAN 將我們有標(biāo)簽的 ceT1 圖像轉(zhuǎn)換為 hrT2 圖像，從而在之后用生成的 hrT2 圖像訓(xùn)練分割模型。提出的圖像強(qiáng)度轉(zhuǎn)換（域適應(yīng)）網(wǎng)絡(luò)使用 2D CycleGAN。

Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training (PAST)

Hexin Dong，Fei Yu，Jie Zhao，Bin Dong，and Li Zhang

為了解決這個(gè)問題，我們提出了一種結(jié)合像素級(jí)對(duì)齊和自訓(xùn)練（PAST）的有效且直觀的 UDA 方法。首先，我們將有標(biāo)簽圖像從 ceT1 域轉(zhuǎn)移到 hrT2 域，以便圖像可以對(duì)齊到相同的分布。其次，在轉(zhuǎn)換的 ceT1 掃描和 hrT2 掃描生成的偽標(biāo)簽上進(jìn)一步訓(xùn)練模型，它們?cè)?hrT2 域上找到了更好的決策邊界。實(shí)驗(yàn)結(jié)果表明，我們的方法大大減少了域偏移，并在驗(yàn)證集上以 0.8395 的骰子得分獲得了第二名。

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-3QFTaRgE-1641350566118)(C:\Users\SkrBang\AppData\Roaming\Typora\typora-user-images\image-20220104232231918.png)]

Using Out-of-the-Box Frameworks for Unpaired Image Translation and Image Segmentation for the crossMoDA Challenge

Jae Won Choi

我們使用 CUT，這是一種 patch-wised 對(duì)比學(xué)習(xí)和對(duì)抗性學(xué)習(xí)的 unpaired image-to-image translation 的 GAN 模型，以把 CET1 加權(quán)的 MR 圖像（CET1 域）轉(zhuǎn)到 HRT2 加權(quán)的 MR 圖像（HRT2 域）的域。接著，對(duì)于 HRT2 域進(jìn)行分割任務(wù)，我們利用 nnU-Net ¹，這是一個(gè)在醫(yī)學(xué)圖像分割中表現(xiàn)出最先進(jìn)性能（state-of-the-art）的框架。

我們沿 z 軸對(duì) CET1 3D 圖像進(jìn)行切片以獲取大小為 256 × 256 像素的 N 個(gè)圖像，因?yàn)?CUT 僅支持 2D 圖像進(jìn)行訓(xùn)練。

我們把訓(xùn)練集中的所有 CET1 圖像在經(jīng)過訓(xùn)練的域適應(yīng)模型 CUT 上轉(zhuǎn)換來獲取假的 HRT2 圖像。生成的假 HRT2 圖像沿 z 軸堆疊，以重建訓(xùn)練集中 CET1 的 3D 數(shù)據(jù)。來自訓(xùn)練集中相應(yīng) CET1 圖像的假 HRT2 圖像和相應(yīng)的標(biāo)簽用于訓(xùn)練分割模型。

我們的結(jié)果表明，公開可用的通用深度學(xué)習(xí)框架可以在沒有新網(wǎng)絡(luò)或方法的情況下在醫(yī)學(xué)成像中實(shí)現(xiàn)一定程度的性能。由于挑戰(zhàn)的情況，這項(xiàng)研究涉及有限范圍的超參數(shù)。對(duì)不同預(yù)處理和數(shù)據(jù)增強(qiáng)的進(jìn)一步實(shí)驗(yàn)可能會(huì)提高性能。此外，有必要與其他開箱即用的框架進(jìn)行比較。

，這項(xiàng)研究涉及有限范圍的超參數(shù)。對(duì)不同預(yù)處理和數(shù)據(jù)增強(qiáng)的進(jìn)一步實(shí)驗(yàn)可能會(huì)提高性能。此外，有必要與其他開箱即用的框架進(jìn)行比較。

---

sensee, F., Jaeger, P.F., Kohl, S.A., Petersen, J., Maier-Hein, K.H.: nnu-net: a selfconfiguring method for deep learning-based biomedical image segmentation. Nature methods 18(2), 203–211 (2021) ??

總結(jié)

以上是生活随笔為你收集整理的Cross-Modality Domain Adaptation的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。