基于GAN的圖像配準匯總

• 1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration
• • 1.1、 簡介
  • 1.2、、記號
  • 1.3、網絡結構
• 2、Adversarial learning for mono- or multi-modal registration
• • 2.1、相關工作
  • 2.2、網絡結構

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

（基于深度學習的配準中用相似性對抗網絡來評估圖像的對齊）

1.1、 簡介

一般的無監督配準模型是需要指定相似性指標，然后通過神經網絡來最大化兩幅圖像之間的相似性，從而達到配準的目的。常用的相似性指標有平方差（SSD）和互相關（CC）等。但是這些相似性指標不是對所有數據集都適用的。

本文提出了一種基于生成對抗網絡（GAN）的無監督配準模型，在訓練時不需要 ground-truth，也不需要指定圖像之間的相似性度量指標。

上圖是該模型與其他模型的配準結果對比示意圖，對比 黃色方框中的區域可以看出，本文提出的模型輸出結果更接近于 template image。

1.2、、記號

本文中 fixed image 被稱為 template image，記作$T$；moving image 被稱為 subject image，記作$S$；形變場 $?$就是使得 $S$和$T$ 最相似的形變場，可表示為：

$$?=ar{g}_{?}minM(S°?,T)+Reg(?)$$

其中$S°?$表示形變場作用在 $S$ 上生成扭曲后的圖像$M(S°?,T)$ 表示兩幅圖像的差異性，$Reg(?)$是正則項，表示形變場$?$的平滑性。

在該模型中，生成器是一個配準網絡 $R$，它用來預測一個形變場$?$；判別器是一個判別網絡$D$，它用來判斷兩幅圖像之間的相似性概率$p$，$p\in [0,1]$。

1.3、網絡結構

該網絡模型由三部分組成——配準網絡、變形轉換層和判別網絡。

1. 配準網絡
采用的是類似于 U-Net 的網絡結構，使用三維的 patch 作為輸入，圖像對 $(S,T)$ 通過配準網絡可以得到一個位移向量場（形變場）$?$。

2. 變形轉換層
根據配準網絡預測出的形變場 $?$，對圖像 $S$做變換，得到扭曲后的圖像$S°?$。

3. 判別網絡
判別網絡用來判別輸入的兩個圖像塊是否相似，并輸出一個相似性概率 $p$。

上圖是判別網絡的結構示意圖，每個卷積層后面跟著一個 ReLU 激活函數，并且卷積采用 0 填充的方式。

上圖是整個網絡的結構示意圖。如上圖所示，一個變形轉換層起到了連接配準網絡和判別網絡的作用，它可以把配準網絡產生的形變場 $?$ 和圖像$S$ 作為輸入，得到根據形變場扭曲后的圖像 $S°?$，再將扭曲后的圖像和圖像$T$輸入到配準網絡。輸入時，不是輸入整幅圖像，而是輸入大小為$64\times 64\times 64$ 的圖像塊（patch），并得到一個大小為 $24\times 24\times 24$ 的形變場。

參考：【論文筆記】基于生成對抗網絡（GAN）的無監督醫學圖像配準模型

2、Adversarial learning for mono- or multi-modal registration

本文是論文《Adversarial learning for mono- or multi-modal registration》的閱讀筆記，是范敬凡老師的工作，是文章《Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration》中工作的延續。關于后一篇文章，可以查看我的博客。
文章提出了一個基于GAN（生成對抗網絡）的無監督配準模型，需要任何ground-truth形變場，也不需要指定相似性度量標準。

2.1、相關工作

配準算法是來獲取一個可以配準圖像的空間變換，空間變換通常包括線性變換（平移、旋轉、縮放、shearing）和非線性變換（體素到體素的關系）。配準問題可以表示為一個獲取使得圖像不相似性最小的形變場${?}^{?}$ ，表示為下式：


傳統的醫學圖片配準方法通常是高維的數學優化，所以很耗時間。基于深度學習的有監督配準方法多聚焦于預測體素到體素的映射，即密集形變場（dense deformation fields），但是它們效果又被ground-truth形變場所限制。而無監督的配準方法旨在通過最大化圖像之間的相似度來學習一個形變場，這里的圖像相似度通常采用SSD（平方誤差和）、CC（互相關）等，但是很難決定在不同的配準問題中采取哪種特定的相似性度量才會達到最好效果。無監督的方法另一個優點是沒有有監督信息，所以節省了內存/顯存，進一步同樣的顯存可以容納更大的圖像，使得大尺度的無標簽圖像的配準變成可能。

2.2、網絡結構

該模型實現了基于patch和基于圖像的單模和多模3D圖像的配準，單模圖像選用的是腦部MR圖像，多模選用的是骨盆的MR圖像和CT圖像。文章的貢獻如下：

• 與傳統的配準方法相比，該方法更魯棒，更快，并且是端到端的；
• 與有監督配準方法相比，該方法不需要ground-truth形變場；
• 該方法可以自動學習圖像之間的相似性度量，而不需要任何先驗假設；
• 可以同時處理單模和多模配準問題。
  文章提出的基于GAN的無監督配準模型包括一個配準網絡（生成器）、一個判別器和空間變換網絡。下圖是網絡的整體結構示意圖。

參考：【論文筆記】ASNet：基于生成對抗網絡（GAN）的無監督單模和多模配準網絡（范敬凡老師）

總結

以上是生活随笔為你收集整理的基于GAN的图像配准汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。