深度学习MRI重建综述
參考文章：
?
A review and experimental evaluation of deep learningmethods for MRI reconstruction
文字有點亂，可以看表格
| 基于展開的方法 | Yang et al. (2018) | ADMM-Net | CNN | 將ADMM算法展開成深度網絡，網絡層數代表迭代次數，模型的超參數成為網絡中的參數。 | ADMM |
| Hammernik et al. (2018) | Variational-Net | CNN | 通過將展開的梯度下降應用至變分模型與深度學習相結合的變分網絡，可以快速、高質量地重建加速多線圈 MR 數據。 | Gradient Decent | |
| Zhang et al. (2018) | ISTA-Net | CNN | 將網絡的每一層對應于迭代軟閾值算法(ISTA-Net)的一次迭代運算。該方法很好的結合了傳統迭代算法和深度網絡算法的優勢，既大大提高了計算效率，又賦予了網絡明確的可解讀性。 | ISTA | |
| Aggarwal et al. (2019) | MoDL | CNN | 在網絡中使用數值優化塊（如共軛梯度算法）來增強數據一致性來代替梯度下降法，這種方法能在每次迭代中提供更快的收斂速度。 | AM | |
| Schlemper et al. (2018) | DCCNN | CNN | 使用卷積神經網絡（CNN）的深層級聯從欠采樣數據中重建2D心臟磁共振（MR）圖像的動態序列，以加速數據采集過程。 | AM | |
| Cheng et al. (2019) | PD-Net | CNN | 將原始對偶混合梯度算法（PDHG）的迭代展開為可學習的深度網絡架構，并逐漸放寬約束以從高度欠采樣的k空間數據重建MR圖像。 | PDHG |
| 基于端到端的方法 | Zhu et al. (2018) | AUTOMAP | MLP, CNN | 將圖像重建轉化為數據驅動的監督學習任務，使用由全連接層和稀疏卷積自動編碼器組成的深度神經網絡前饋框架 |
| Mardani et al. (2019) | GANCS | GAN | 使用GAN網絡的優勢訓練來自歷史患者的臨床MR 圖像的（低維）流形。利用最小二乘GAN和像素級l1損失的混合損失，生成器為具有跳躍連接的深度殘差網絡。 | |
| Yang et al. (2018) | DAGAN | GAN | 將圖像損失、頻率損失、對抗損失、感知損失聯合起來作為訓練損失，顯著提升了重建圖像的質量。 | |
| Yuan et al. (2020) | SAGAN | GAN | 在生成器中引入了自注意機制，建立了圖像的長距離相關性，克服了卷積核大小有限的問題。此外，還采用了譜歸一化來穩定訓練過程。 | |
| Feng et al. (2021) [34] | MTrans | Transformer | 首次將Transformer應用于MRI重建，將多尺度特征從目標模態傳輸到輔助模態，用于加速MR成像。為了捕獲深層的多模態信息，采用了一種改進的多頭注意機制，稱為交叉注意模塊。 |
經典重建--多線圈MRI重建
傅里葉變換從k空間得到圖像
η：測量噪聲
?
?Si：多線圈敏感度，i表示第幾個線圈，M表示掩膜
?
最小化損失函數從而估計x，如果我們希望在優化過程中計算誤差梯度，這個平方損失函數就相當方便。
如果數據采樣不足，通常會添加一個正則器R(x)來解決這樣一個條件不佳的成本函數
?
Ri是正則器，λ是控制重建圖像x屬性的超參數，同時避免過擬合。
公式3和正則化項可以用各種方法進行優化：
?
?
?
1.2用于MR重建的深度學習先驗
?
Z是捕捉數據樣本的統計正則性的潛在變量，c是條件隨機變量，其取決于多個因素，例如k空間的欠采樣、圖像的分辨率或所使用的DL網絡的類型。
根據學習的性質，有兩種類型的學習方法，稱為生成性模型和非生成性模型。
生成模型：生成性對抗性網絡(GAN)，變分自動編碼器(VAE)
生成模型可以有效地消除k空間中經過4×或8×欠采樣的MR圖像的混疊
?
非生成模型：GNGE可以是卷積神經網絡(CNN) 、長期短期記憶(LSTM) 或任何其他類似的深度學習模型。
?
1.3磁共振成像的經典方法
基于物理的圖像重建方法
稀疏性促進壓縮傳感方法
基于低階的方法
可以粗略地分為兩類，即
基于k空間的方法：SMASH，VDAUTO SMASH,GRAPPA
k-t GRAPPA 利用k-t空間中的相關性并對缺失數據進行內插。
基于稀疏性的低秩基方法基于這樣的假設：當圖像重建遵循一組約束(如稀疏性、光滑性、并行成像等)時，所得到的k-空間應該遵循具有低秩性的結構。
基于圖像空間的重建方法
基于模型的圖像重建算法結合成像系統的基本物理原理并利用圖像先驗信息，如鄰域信息
1.4本次文獻綜述的主要亮點
經典，生成模型，非生成模型。研究方向
并行成像的經典方法
這一部分回顧了一些經典的基于k空間的MR圖像重建方法和經典的基于圖像空間的MR圖像重建方法
2.1使用k空間內插的逆映射
3.1各種深度學習框架
感知機：要么全有，要么全無
多層感知器：感知器的不可分離性問題可以通過多層感知器來克服，但由于沒有適當的訓練規則，研究陷入停滯。MLP由輸入層、輸出層和幾個緊密連接在稱為隱藏層的層之間組成：
卷積神經網絡（CNN）：MLP的密集連接(也稱為全局連接)模型過于靈活，容易過度匹配，有時會產生很大的計算開銷。
?
CNN的層可以是完全連接的致密層、縮小輸入大小的最大池化層，也可以是用于執行等式中未顯示的正則化的丟失層。
遞歸神經網絡(RNN)：CNN可以利用其固有的深層結構和通過卷積核的局部連通性來學習數據集的隱藏特征。但他們不能學習信號中的時間依賴性。
?
t是時間，并且RNN以順序方式獲取輸入x。然而，RNN存在“梯度消失”的問題。當使用基于梯度的優化方法訓練的RNN的輸出層的梯度改變參數值時，觀察到消失的梯度，從而不影響參數學習的變化。
長期短期記憶(LSTM)網絡使用記憶門、Sigmoid和/或tanh激活功能以及后來的RELU激活功能，以控制梯度信號并克服消失梯度問題。
Transformer Networks:
LSTM模型存在一些問題，例如：(I)LSTM網絡執行輸入的順序處理；(Ii)隱藏狀態的注意力跨度較短，可能無法學習輸入的良好上下文表示。
Transformer Networks具有自我注意機制位置嵌入和非順序輸入處理設置，經驗表明，這種配置的性能遠遠超過LSTM網絡
3.2 激活功能
激活函數ψ(·)作用于神經網絡的節點或層，它提供布爾輸出、概率輸出或范圍內的輸出。
階躍激活函數，雙曲正切函數，sigmoid激活函數（RELU）
3.3 Network Structures
VGG網絡：2015年底，Zisserman等人。他們發表了一篇開創性的論文，標題為《very deep convolutional networks for large-scale image recognition》(VGG)( 2014)，提出了一個稱為VGG網絡的16層網絡。VGG網絡的每一層都有越來越多的信道。該網絡在計算機視覺任務中達到了最先進的水平，如分類、識別等。
ResNet模型（2016)：最近開發的一種稱為剩余網絡或ResNet的模型，修改了等式27中所示的層交互轉化為以下形式：Ci=ψi?1(Ki?1?Ci?1)+Ci?2其中，i∈{2，···，n?1}，并提供到隱藏層的“快捷連接”。使用快捷連接的身份映射對網絡的性能和穩定性有很大的積極影響。
UNET（2015)：為了完成生物醫學圖像中的圖像分割任務，提出了一種UNET體系結構。整個端到端架構圖形化地類似于英文字母“U”，并有一個編碼器模塊和一個解碼器模塊。每個編碼層由未填充的卷積、糾錯的線性單元，以及匯聚層組成。它們共同將圖像下采樣到一些潛在空間。
解碼器具有與編碼器相同的層數。每個解碼層對來自其前一層的數據進行上采樣，直到達到輸入維度。該體系結構已在多個數據集上顯示出良好的定量結果
自動編碼器：自動編碼器(AE)是一種機器學習模型，通過將目標值映射為等于輸入值(即身份映射)，以無監督的方式捕獲輸入數據樣本的模式或規則。例如，給定從訓練數據分布PDATA(X)隨機采樣的數據點x，標準AE使用由～d參數化的編碼器網絡zθD(z|x，θd)來學習低維表示z。也稱為潛在表示的低維表示z隨后使用由θg參數化的解碼器網絡?x～ggen(x|z，θg)被投影回輸入維度。使用具有以下優化目標的標準反向傳播算法進行訓練
Variational Autoencoder（VAE）：變分自動編碼器(VAE)基本上是一個自動編碼器網絡，它由一個編碼網絡GGEN組成，G估計了譯碼網絡D(z，θd)的后驗分布p(z|x)和推論p(x|z)
然而，VAE不能直接優化VI。
VAE估計了類似于KL散度的證據下界(ELBO)
?
Generative Adversarial Networks（GAN）:生成性對抗性網絡（GAN）是兩個稱為生成器的神經網絡之間的相互作用
隨著訓練的進行，生成器ggen(z|θg)逐漸學習生成逼真外觀圖像的策略，而鑒別器D(x，θd)學習區分生成的樣本和真實樣本
| VGG | 2015年底，Zisserman等人提出了一個稱為VGG網絡的16層網絡。VGG網絡的每一層都有越來越多的信道。該網絡在計算機視覺任務中達到了最先進的水平，如分類、識別等。 |
| ResNet | 一種稱為剩余網絡或ResNet的模型，修改了的層交互轉化，并提供到隱藏層的“快捷連接”，使用快捷連接的身份映射對網絡的性能和穩定性有很大的積極影響。 |
| UNET | 有一個編碼器模塊和一個解碼器模塊，解碼器具有與編碼器相同的層數。每個解碼層對來自其前一層的數據進行上采樣，直到達到輸入維度。 |
| 自動編碼器（AE） | 一種機器學習模型，通過將目標值映射為等于輸入值(即身份映射)，以無監督的方式捕獲輸入數據樣本的模式或規則。 |
| 變分自動編碼器（VAE） | 是一個自動編碼器網絡，它由一個編碼網絡GGEN組成，G估計了譯碼網絡D(z，θd)的后驗分布p(z|x)和推論p(x|z)，VAE不能直接優化VI。 VAE估計了類似于KL散度的證據下界(ELBO) |
| GAN | 兩個稱為生成器的神經網絡之間的相互作用 隨著訓練的進行，生成器逐漸學習生成逼真外觀圖像的策略，而鑒別器學習區分生成的樣本和真實樣本 |
3.4損失函數
VGG loss：更深層次的特征地圖VGG-16網絡，即具有16層的VGG網絡，可以用于比較圖像的知覺相似性。。。。
相關性CLi，j被認為是VGG損失函數
4.基于深度生成模型的逆映射
在這一部分中，我們將討論如何將這些網絡（生成性網絡：GAN,貝葉斯）用于MR重建。
4.1生成性對抗網絡(GANS)
K-空間的逆映射：目前基于GAN的k空間方法大致可以分為兩類：
在接下來的段落中，我們首先討論了最近基于GAN的直接k空間到MR圖像的生成方法，然后是欠采樣k空間到全k空間的生成方法。
k空間—圖像空間：通過非線性內插估計k空間直線即
該GAN框架用于(Oksuz等人，2018)使用類 AUTOMAP 網絡校正心臟成像中的運動偽影
類 AUTOMAP ?生成器架構不僅提高了重建質量，而且有助于其他下游任務，如MR圖像分割。雖然基于自動映射為生成器的方法解決了更廣泛的運動偽影問題，但它們在很大程度上沒有解決沿相位編碼方向的帶狀偽影
?
為了解決這個問題，一種名為通過對抗性訓練去除MRI條帶的方法(DeFazio等人，2020年)利用了感知損失以及鑒別器損失
盡管它們在基于k空間的可行采樣模式的MR重建中取得了成功，但到目前為止我們所討論的模型存在以下限制：
圖像空間校正方法：
通過更新方程4來學習減少噪聲和/或混疊偽影。
?
| K-空間的逆映射 | 類 AUTOMAP 網絡校正心臟成像中的運動偽影（Oksuz等人，2018） | 沒有解決沿相位編碼方向的帶狀偽影 |
| 通過對抗性訓練去除MRI條帶的方法(DeFazio等人，2020年)利用了感知損失以及鑒別器損失 | 解決了沿相位編碼方向的帶狀偽影 | |
| 對抗性神經網絡（AMRI）方法的加速磁共振成像(Shitrit and Raviv，2017) | 使用條件GAN，來生成缺失的k空間線。組合的k空間線被傅里葉變換并傳遞給鑒別器 | |
| 生成性對抗神經網絡方法(SUBGAN)的亞采樣腦MRI重建(Shaul等人，2020) | 討論了時間背景的重要性以及如何減輕與目標運動相關的噪聲。 |
| 圖像空間校正方法 | 基于自我注意和相對平均判別器的GAN(SARAGAN) (袁等人，2020) | SARAGAN方法采用了相對論鑒別器以及自我注意網絡 |
| 壓縮傳感GAN（GANCS）（Mardani等，2018）RefineGAN（Quan等人，2018） 結構保護GAN（Doora等人，2020；Lee等人，2018） | 基于稀疏性的約束被作為正則器施加到公式中。 | |
| PIC-GAN（Lv等人，2021） MGAN（Zhang等人，2018a） | 使用類似SENSE的重建策略，利用GAN框架結合從平行接收線圈重建的MR圖像。 | |
| K空間和圖像空間相結合的方法 | "用于MR圖像重建的非相干結構的采樣增強神經網絡"（SANTIS）的方法（Liu等人，2019年） | 除了利用GAN損失，還利用循環一致性損失 |
| 協作GAN方法（CollaGAN）（Lee等人，2019年） | 沒有從單一圖像的K空間和圖像域之間進行周期一致性，而是考慮了T1加權和T2加權數據等域的集合，并試圖在所有域中以周期一致性重建MR圖像。 | |
| InverseGAN（Narnhofer等人，2019年） | 使用一個單一的網絡來執行周期一致性，該網絡同時學習來自K空間和到K空間的正向和反向映射。 |
貝葉斯：
貝葉斯定理將后驗p(x|y)表示為k-空間數據似然p(y|x)和先驗p(X)的函數
在(Tezcan等人，2018)中，使用計算密集型的蒙特卡羅抽樣技術估計先驗
為了克服計算代價，幾位作者提出了使用VAE學習從欠采樣k空間到圖像空間的非線性映射。
PixelCNN+(Oord等人，2016)將每個像素視為隨機變量，并將圖像x上像素的聯合分布估計為條件分布的乘積
(Luo等人，2020)中提出的方法考慮了PixelCNN+的生成回歸模型來估計先驗p(X)。這種方法表現出了非常好的性能。
(Lonning等人，2018)：用于加速MRI重建的遞歸推理機(RIM)是一種通用的逆問題求解器，它執行最大后驗估計的逐步重新評估，并推斷正向模型的逆變換。效果良好但計算成本高
4.3主動獲取方法
K空間和圖像相結合的方法：
上述方法都考慮由用戶預先確定的固定k空間采樣。這一抽樣過程與重建管道隔離開來。最近的工作調查了采樣過程本身是否可以作為重建優化框架的一部分。這些作品的基本概況可以描述如下：
該算法可以訪問全采樣的訓練MR圖像{x1，x2，···，xN}
編碼器Gθg(·)通過優化參數θg學習采樣模式。
解碼器Dθd(·)是由θd參數化的重建算法
通過最小化訓練MR圖像上的經驗風險來優化編碼器Gθg(·)
Huijben等人(2019)中的深度概率次采樣(DPS)方法使用基于Softmax的方法和MR重建開發了一種任務自適應的概率欠采樣方案。另一方面，聯合模型的工作
基于深度學習(J-MODL)(Aggarwal和Jacob，2020)使用公式21和22優化了采樣和重構，以聯合優化數據一致性網絡和正則化網絡。數據一致性網絡是作為去噪器的殘差網絡，而正則化網絡決定采樣方案。Pilot(Weiss等人，2021年)方法還聯合優化了k空間采樣和重建。
該網絡有一個子采樣層來確定一條k空間直線的重要性，而重建層和任務層共同重建圖像。通過貪婪的旅行商問題或施加采集機約束來選擇最優的k-空間線路。K空間采樣和重構的聯合優化也出現在最近的方法中(恒宇，2021；羅冠雄，2021)。
5.使用非生成模型的逆映射
在本節中，我們討論使用以下優化框架的非生成性模型：非生成性模型不假定數據的任何基本分布，并通過使用方程進行參數優化來學習逆映射。
5.1基于感知器的模型
Kwon等人，2017年；Cohen等人，2018年)的工作開發了一種基于多層感知器(MLP)的學習技術，該技術學習k空間測量、混疊圖像和期望的未混疊圖像之間的非線性關系。MLP的輸入是混疊圖像和k空間測量的實部和虛部，輸出是對應的未混疊圖像。我們給出了該方法(Kwon等人，2017)與圖8中的SPIRIT和GRAPPA方法的直觀比較。在不同的欠采樣因子下，該方法顯示出更好的性能和更低的RMSE。
| 基于感知器的模型 | 基于多層感知器(MLP)的學習技術（Kwon等人，2017年；Cohen等人，2018年) | 學習k空間測量、混疊圖像和期望的未混疊圖像之間的非線性關系。 |
| 未經培訓的網絡 | 用于k空間內插的穩健人工神經網絡(RAKI)(AK 等人，2019年) | 通過ACS線訓練CNN，與GRAPPA有一些共同之處區別是GRAPPA中的卷積核的線性估計，而CNN中的卷積核被非線性核所取代。 |
| 殘差RAKI(RRAKI) (Zhang等人，2019a) | 在殘差網絡結構的幫助下提高了RMSE分數。 | |
| LORAKI方法(Kim等人，2019年) | 使用經常性的CNN網絡將自動校準的LORAKS和RAKI方法結合在一起 | |
| sRAKI-RNN(Hosseini等人，2019b) | 提出了一個統一的框架，該框架使用比LORAKI更簡化的RNN網絡通過校準和數據一致性來執行正則化 |
5.2未經培訓的網絡
到目前為止，我們已經討論了各種深度學習體系結構及其使用給定訓練數據集的訓練策略。人們可以問的最令人興奮的問題是“是否總是有必要訓練DL網絡以在測試時獲得最佳結果？”或者“我們是否可以使用類似于經典方法的DL來解決逆問題，這些方法不一定需要訓練階段來學習參數先驗”？
我們注意到使用ACS線或k空間測量y的其他k空間線來訓練DL網絡而不是MR圖像作為基本事實的幾種最先進的方法。
用于k空間內插的穩健人工神經網絡(RAKI)(AK ee cakaya等人，2019年)通過使用ACS線訓練CNN。Raki方法與grappa有一些共同之處。然而，主要的區別是GRAPPA中的卷積核的線性估計，而CNN中的卷積核被非線性核所取代。CNN內核使用以下內容進行了優化
?
RAKI
殘差RAKI
LORAKI
Sraki-RNN
深度圖像先驗(DIP)及其變體在計算機視覺任務中表現出了出色的結果，如去噪、內繪、超分辨率、域轉換等。Vanilla DIP網絡使用隨機加權的自動編碼器Dθd(Gθg(Z))，它在給定固定噪聲向量z∈RW×H×D的情況下重建干凈的圖像x∈RW×H×D。網絡使用“地面真實”噪聲圖像?x進行優化。作為優化，需要手動收斂或用戶選擇“提前停止”優化，直到與圖像中的噪聲過度適應。最近的一項名為深度解碼器(Heckel and Hand，2018)的工作表明，一個參數不足的解碼器
最近人們了解到，這種進步可以直接應用于磁共振圖像重建(Mohammad Zalbagi Darestani，2021)
5.3CNN
根據MR圖像的重建方式，我們將所有基于CNN的空間方法分為以下類別: 來自k-空間的逆映射：用于圖像糾正的逆映射：
| 來自k-空間的逆映射 | AUTOMAP(朱等人，2018) | 使用具有三個完全連接層(3個FC)和兩個卷積層(2個卷積)的網絡來學習重建映射 |
| 使用復值ResNet(CNN的一種)網絡(Wang等人) | 使用具有復值核的CNN網絡來從復值k-空間測量重建MR圖像 | |
| 圖像空間校正方法 | DeepADMM網模型(Sun等人，2016） 深級聯CNN(DCCNN)(Schlemper等人，2017) | 基于公式的正則化 |
| 一種基于模型的MRI重建（Aggarwal等人，2019) | 使用了基于卷積神經網絡(CNN)的正則化先驗。 | |
| GRappaNet(Sriram等人，2020) | 開發了一個完整的端到端CNN模型，是CNN網絡中GRAPPA集的非線性版本 |
來自k-空間的逆映射:
AUTOMAP (朱等人，2018)使用具有三個完全連接層(3個FC)和兩個卷積層(2個卷積)的網絡來學習重建映射，其輸入維度為128×128。任何大小超過128x128的圖像都會被裁剪并子采樣到128x128。
與這些方法不同的是，有一些工作(Wang等人，2020b；Cole等人，2019)使用具有復值核的CNN網絡來從復值k-空間測量重建MR圖像。(Wang等人，2020a)中的方法使用復值ResNet(這是CNN的一種)網絡，并被證明在12通道全采樣k空間數據集上獲得了良好的結果(有關與其他方法的可視比較，請參見圖9)。另一種方法使用基于拉普拉斯金字塔的復雜神經網絡(梁等人，2020b)用于MR圖像重建。
用于圖像糾正的逆映射
在基于CNN的序列空間模型中，例如Deep ADMM網模型(Sun等人，2016；Schlemper等人，2017)和深級聯CNN(DCCNN)(Schlemper等人，2017)，使用以下方程組在圖像空間中完成正則化：
?
Aggarwal等人，2019年)提出了一種基于模型的MRI重建，其中他們使用了基于卷積神經網絡(CNN)的正則化先驗。后來，Biswas等人提出了一種使用基于MODL的深度學習的動態MRI(Biswas等人，2019年)。優化，即優化。
Arg minx 1 2||Ax?y||22+λ||C(X)||22，使用cnn網絡C(·)作為正則化先驗來去除混疊偽影和噪聲，而λ是一個可訓練的參數。為了解決這一問題，開發了一個完整的端到端CNN模型，稱為GRappaNet(Sriram等人，2020b)，它是CNN網絡中GRAPPA集的非線性版本。CNN網絡具有兩個子網絡；第一個子網絡F1(Y)使用類似于GRAPPA的基于非線性CNN的內插函數來填充缺失的k空間線。隨后，第二網絡f2將填充的k空間測量映射到圖像空間。GRappaNet模型在FastMRI數據集上表現出了良好的性能(40.74PSNR，0.957 SSIM)，是性能最好的方法之一。圖10顯示了定性的比較。沿著類似的路線，深度變分網絡(Hammernik等人，2018)被用于MRI重建。
5.4遞歸神經網絡
來自k-空間的逆映射:
通過設計，時間方法被分為兩類，即(I)正則化方法和(Ii)變量分裂方法。
| 來自k-空間的逆映射 | 使用的迭代硬閾值(IHT)方法將時間方法作為正則化的一種方式 | |
| 一種局部-全局遞歸神經網絡(Guo等人，2021年) | 它使用兩個遞歸網絡，一個網絡捕獲高頻分量，另一個網絡捕獲低頻分量。 | |
| 使用雙向RNN并替換的密集網絡結構(oh等人，2021年) | 同時去除重建圖像中的混疊偽影 | |
| 卷積遞歸神經網絡或CRNN(Qin等人，2018)方法 | 提出了一種使用基于RNN的模型的變量拆分和交替最小化方法。 |
總結
以上是生活随笔為你收集整理的深度学习MRI重建综述的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 最新论文笔记(+13)：Hardenin
- 下一篇： 深度学习对抗生成网络--GAN