Magnetic resonance (MR) is a widely used medical imaging method.However, MR images of certain modalities are not easy to obtain directly and thus need to be converted from other modality.To solve these problem, a conversion method of MR sequence based on detail enhancement was proposed.The proposed method constructed an end-to-end network with two conditional GAN-based modules: resiguals template generation module (ResGAN) and detail enhancement module (EnGAN).The proposed method are tested on a set of registered neurofibroma T1 and STIR images, which demonstrate that the proposed method can restore boundary details and signal intensity details better than other existing methods.
Keywords:cross-modality magnetic resonance
;
generative adversarial network
;
medical image processing
YAN Fan. Conversion method of magnetic resonance sequence based on detail enhancement. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(1): 93-100 doi:10.11959/j.issn.2096-6652.202110
残差模板生成器 Gr的输入为 x,主要工作是合成残差模板r′。Gr通过训练对抗损失函数来欺骗残差模板判别器Dr,同时应用L1范数控制合成的残差模板r′尽可能与真实的残差模板r相似,并且通过边界探测器 S 来求 r 和 r′的边界图,同样用L1范数进行控制[22]。这样,真实的图像与合成的图像之间,除了残差的信号强度信息可以尽可能地相似,合成的图像在边界轮廓上也增加了相似性。因此,Gr的目标函数定义如式(1)所示:
Medical image synthesis with context-aware generative adversarial networks
1
2017
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Adversarial image synthesis for unpaired multi-modal cardiac data
1
2017
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Cross-modality image synthesis from unpaired data using CycleGAN
1
2018
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Deep MR to CT synthesis using unpaired data
2
2017
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
... [17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Generative adversarial networks for image-to-image translation on multi-contrast MR images-a comparison of CycleGAN and UNIT
1
2018
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Generative adversarial training for MRA image synthesis using multi-contrast MRI
1
2018
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
GAN-based synthetic brain MR image generation
1
2018
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Image synthesis in multi-contrast MRI with conditional generative adversarial networks
1
2019
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
Ea-GANs:edge-aware generative adversarial networks for cross-modality MR image synthesis
2
2019
... 在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一.Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成.参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像.Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差.此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换. ...
... 残差模板生成器 Gr的输入为 x,主要工作是合成残差模板r′.Gr通过训练对抗损失函数来欺骗残差模板判别器Dr,同时应用L1范数控制合成的残差模板r′尽可能与真实的残差模板r相似,并且通过边界探测器 S 来求 r 和 r′的边界图,同样用L1范数进行控制[22].这样,真实的图像与合成的图像之间,除了残差的信号强度信息可以尽可能地相似,合成的图像在边界轮廓上也增加了相似性.因此,Gr的目标函数定义如式(1)所示: ...
U-Net:Convolutional networks for biomedical image segmentation