智能科学与技术学报, 2021, 3(1): 93-100 doi: 10.11959/j.issn.2096-6652.202110

学术论文

基于细节增强的MR序列转换方法

严凡1, 邸奕宁2, 张建伟1, 陈为1

1 浙江大学计算机辅助设计与图形学国家重点实验室,浙江 杭州 310058

2 浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江 杭州 314400

Conversion method of magnetic resonance sequence based on detail enhancement

YAN Fan1, DI Yining2, ZHANG Jianwei1, CHEN Wei1

1 State Key Lab of CAD&CG , Zhejing University, Hangzhou 310058, China

2 Zhejiang University/University of Illinois at Urbana-Champaign Institute, Hangzhou 314400, China

通讯作者: 陈为,chenvis@zju.edu.cn

修回日期: 2021-02-08   网络出版日期: 2021-03-15

Revised: 2021-02-08   Online: 2021-03-15

作者简介 About authors

严凡(1995-),男,浙江大学计算机辅助设计与图形学国家重点实验室硕士生,主要研究方向为医学影像、深度学习。 。

邸奕宁(1998-),男,浙江大学伊利诺伊大学厄巴纳香槟校区联合学院本科生,主要研究方向为智能交通系统、交通控制与优化、计算机可视分析。 。

张建伟(1995-),男,浙江大学计算机辅助设计与图形学国家重点实验室博士生,主要研究方向为医学影像、深度学习。 。

陈为(1976-),男,博士,浙江大学计算机辅助设计与图形学国家重点实验室教授、博士生导师,中国计算机学会高级会员,主要研究方向为可视化、可视分析、大数据分析、人机混合智能。 。

摘要

磁共振(MR)是一种被广泛使用的医学成像方式。针对某些序列的 MR 影像不易直接获得、需要由其他序列的MR影像转换的问题,提出一种基于细节增强的MR序列转换方法。该方法基于条件生成对抗网络构建了残差模板合成模块 ResGAN和细节增强合成模块 EnGAN,设计了一种端到端的网络结构。在一组配准过的神经纤维瘤T1序列影像和STIR序列影像上进行了测试,结果表明,相比于现有方法,提出的方法更好地还原了边界细节和信号强度细节。

关键词: 磁共振序列转换 ; 生成对抗网络 ; 医学影像处理

Abstract

Magnetic resonance (MR) is a widely used medical imaging method.However, MR images of certain modalities are not easy to obtain directly and thus need to be converted from other modality.To solve these problem, a conversion method of MR sequence based on detail enhancement was proposed.The proposed method constructed an end-to-end network with two conditional GAN-based modules: resiguals template generation module (ResGAN) and detail enhancement module (EnGAN).The proposed method are tested on a set of registered neurofibroma T1 and STIR images, which demonstrate that the proposed method can restore boundary details and signal intensity details better than other existing methods.

Keywords: cross-modality magnetic resonance ; generative adversarial network ; medical image processing

PDF (2294KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

严凡, 邸奕宁, 张建伟, 陈为. 基于细节增强的MR序列转换方法. 智能科学与技术学报[J], 2021, 3(1): 93-100 doi:10.11959/j.issn.2096-6652.202110

YAN Fan. Conversion method of magnetic resonance sequence based on detail enhancement. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(1): 93-100 doi:10.11959/j.issn.2096-6652.202110

1 引言

磁共振(magnetic resonance,MR)成像是利用原子核在磁场内产生的信号重建成像的一种影像技术。生成的MR影像在医疗诊断上有着广泛的应用,例如评估人体肿瘤病变,包括骨骼、软组织肿瘤和神经纤维瘤[1]。而MR本身又有多种成像方式(如 T1、T2、STIR、T1-W-CEFS 等),其区别在于特征的呈现方式不同。例如,在 T1 序列上,水分子呈现的是黑色;在 T2 序列上,水分子呈现的是白色;在 STIR 序列上,脂肪的信号在成像时被抑制,因而呈现黑色。因此,同一区域的组织在不同成像方式中会显示出不同的对比形态。即各种成像方式都存在侧重点。T1 序列在提供解剖细节方面优于STIR序列,因而被应用于脊骨髓的诊断等[2]。而在进行肿瘤病变的判断上,许多放射科医生通常会使用 STIR 序列来评估结果[3],因为肿瘤病变在STIR序列上比在T1序列上更明显。

综合多种序列的MR数据,以呈现出不同的对比效果是一个被广泛研究的课题。例如用多种序列的 MR 影像对阿尔茨海默病[4]和先天性心脏病[5]进行基本的诊断和研究。但在常规诊断条件下,多种序列的数据并不常见,序列的缺失或者不一致常常困扰着医生和研究者,阻碍了临床的诊断和研究。因此,假设有一种方法能将MR的一种序列直接转换为另一种序列,就可以更好地将 MR应用于肿瘤的临床医学诊断。

近年来,深度学习算法的发展引起越来越多医学图像分析研究者的关注。其中深度学习的生成模型更是为医学影像序列转换工作提供了许多有效方案。比较常用的图像生成技术是变分自编码器(variational auto-encoder,VAE)[6]和生成对抗网络(generative adversarial network,GAN)[7]。其中, VAE采用编码和解码直接比较的方式,重建图和原始图的差异,但结果会倾向于产生模糊的图。而GAN有判别器(专注图像识别),判别器可以指导生成器(专注图像生成),使合成的图除了在像素点上尽可能一致,在整体结构上也强调了纹理风格一致,所以相对来说,GAN能产生更清晰更完整的图像。但是对于医学影像来说,生成图像的细节和病灶还原程度非常重要,而目前的 GAN 在像素到像素的转换过程中,对细节和结构上的保留仍然不足,不能满足实际诊断的要求。

因此,本文提出一种基于细节增强的MR序列转换方法。该方法是基于条件生成对抗网络(conditional GAN,cGAN)[8]的一种端到端的网络结构,可以同时有效地提取影像的边缘信息和信号强度信息,相比于目前已有的序列转换方法,其提高了合成影像的质量。具体来说,该方法包含两个模块:残差模板合成模块ResGAN和细节增强合成模块EnGAN,其中,细节增强合成模块需要依赖残差模板合成模块提供的残差模板信息来合成影像。本文成功通过该模型将神经纤维瘤影像的 T1 序列影像转换为STIR序列影像。

2 研究背景和现状

深度学习算法近年来在医学影像分析方面受到了越来越多的重视[9]。在图像生成领域,GAN是一类受到广泛关注的生成模型。它会同时训练生成器和判别器,通过“对抗损失”来评估生成图像与真实图像的相似度。基于该特性,GAN在数据增强、超分辨率重建和图像生成等任务上都有优异的表现[10,11,12]。自2016年起,GAN也开始引起医学影像分析领域的关注[13]

相比于普通图像,医学影像具有诸多特殊性,影像种类的选择需要考虑成像时间、辐射量、成本、患者隐私等因素。这导致某些特定种类的图像难以获取,并使得相关的模型训练变得困难。因此,通过不同类型影像的转换来合成特定模态影像,并将其用于分割、配准等任务训练,同时避免合成不存在的病灶,成为GAN在该领域研究的焦点。

在影像转换方面,MR 相比 CT 辐射更低,而CT在放疗以及PET/MR扫描仪衰减校正上具有无可替代的作用,因而利用MR影像合成CT影像成为研究重点之一。Nie D等人[14]结合全卷积网络,提出一种感知上下文的有监督GAN,进行MR-CT合成。参考文献[15,16,17]利用 CycleGAN,分别以未匹配的心脏/盆腔/脑部 MR 影像合成 CT 影像。Wolterink J M等人[17]还指出成对图像若未对齐,反而会导致合成CT影像的误差。此外,正如第1节中提及的,MR多种成像方式之间存在的成像差异,使得不同序列之间的转换同样成为研究重点:Welander P等人[18]还比较了有/无监督CycleGAN与无监督UNIT在T1序列转换为T2序列时的性能差异;Olut S等人[19]提出了拓展自PatchGAN的sGAN (steerable GAN),利用T1和T2序列合成典型情况下可能缺失的血管造影;Han C等人[20]运用深度卷积生成对抗网络(deep convolutional GAN, DCGAN)和WGAN(Wasserstein GAN),在合成脑部MR影像时避免了伪影的产生,解决了MR本身对比度低、脑部结构一致性强、序列可变性大的问题,并比较了两种GAN的表现;Dar S U H等人[21]在空间配准/未配准的情况下分别使用 pGAN和cGAN,合成了多对比度的MR影像;Yu B T等人[22]提出基于 3D 边缘检测生成对抗网络(eage-aware GAN,Ea-GAN),通过整合能够反映图像纹理结构、不同物体边界的边缘信息,并利用分析层次特征来捕获图像的上下文信息,实现了跨模态的图像转换。

目前大多数的影像转换方法采用的是cGAN网络,如 Pix2Pix 等。但是经过实验发现,这些网络对于一些不太明显的部分会有伪影。例如在研究神经纤维瘤T1序列影像合成STIR序列影像时,会产生一些原本不存在的信息。如图1 所示,合成的STIR序列影像的红框标注内多出了一个肿瘤,然而真实的 STIR 序列影像上并没有相应肿瘤。这就是目前像素级合成网络对不太明显的信息进行自我合成导致的。这对于医学影像来说是非常不利的,如果合成出不存在的病灶,将大大影响医生对病状的诊断。

图1

图1   T1影像合成STIR影像时产生的伪影


本文通过提出一种基于细节增强的网络结构(如图2所示),将原本不太明显的细节信息(边界信息和信号强度)放大,这将更有利于模型合成一个更为相似的影像。

3 基于细节增强的MR序列转换方法

本节首先介绍基于细节增强的MR序列转换方法中使用到的两大模块:残差模板合成模块ResGAN 和细节增强合成模块 EnGAN,然后介绍它们的具体结构,最后介绍这两大模块的训练方式和实现流程。

3.1 残差模板合成模块ResGAN

对于MR序列转换任务来说,设输入的影像为x,目标影像为y,二者都是从同一病人身上获取的配准数据。本文的残差模板合成模块ResGAN由残差模板生成器Gr、残差模板判别器Dr和边界探测器S组成。其中,定义残差模板r=y-x。

之所以要合成残差模板,是因为残差模板里包含的信号强度信息比目标影像里的更细致更明显。例如,对于T1序列和STIR序列来说,空气、脂肪的信号强度都是低的,STIR序列会对含水量多的细胞高亮显示,而T1则相反。相比于一般的STIR序列影像生成过程,网络在生成残差模板时更关注相同部位在两个序列中信号强度的差异。这对于后期为细节增强合成模块 EnGAN 提供信号强度细节会有很好的指导效果。两大模块的具体设计结构如下。

残差模板生成器 Gr的输入为 x,主要工作是合成残差模板r′。Gr通过训练对抗损失函数来欺骗残差模板判别器Dr,同时应用L1范数控制合成的残差模板r′尽可能与真实的残差模板r相似,并且通过边界探测器 S 来求 r 和 r′的边界图,同样用L1范数进行控制[22]。这样,真实的图像与合成的图像之间,除了残差的信号强度信息可以尽可能地相似,合成的图像在边界轮廓上也增加了相似性。因此,Gr的目标函数定义如式(1)所示:

LResGANG=ExPdata(x)[log(1Dr(x,Gr(x)))]+

λimageEx,yPdata(x,y)[||yxGr(x)||1]+

λedgeEx,yPdata(x,y)[||S(yx)S(Gr(x))||1]    (1)

其中,E为期望计算,x和y分别采样于真实数据分布Pdata(x)和Pdata(x,y),λimage是用来平衡图像质量和图像相似度的参数,λedge是用来平衡边界信息和图像质量的参数。

残差模板判别器Dr的输入是Gr合成的残差模板r′和x,或真实的残差模板r和x,其主要工作是区分真实的残差模板 r 和 Gr合成的残差模板 r′。根据Pix2Pix的描述,Dr的目标函数定义如式(2)所示:

LResGAND=ExPdata(x)[log(1Dr(x,Gr(x)))]+

ExPdata(x)[logDr(x,yx)]    (2)

最后,整个残差模板合成模块ResGAN通过同时训练残差模板生成器Gr和残差模板判别器Dr来实现目标函数,如式(3)所示:

图2

图2   残差模板合成模块和细节增强合成模块


LResGAN=LResGANG+LResGAND   (3)

3.2 细节增强合成模块EnGAN

有了残差模板后,细节增强合成模块 EnGAN就可以利用残差模板生成器 Gr生成的残差信息给网络的生成过程提供更多参考信息,让网络可以生成细节更清晰的影像。

细节增强合成模块EnGAN由残差模板生成器Gr、细节增强生成器 Ge、细节增强判别器 De和边界探测器S组成。

残差模板生成器Gr合成的残差模板r′为细节增强生成器Ge和细节增强判别器De提供残差信息,具体如式(4)所示:

r=Gr(x,S(x))    (4)

细节增强生成器Ge的输入是x和残差模板r′,其主要工作是依据x、r′和边界信息来生成与y尽可能相似的 y′。与残差模板生成器 Gr相似,Ge使用对抗损失、像素差异损失和边界差损失函数进行训练,目标函数定义如式(5)所示:

LEnGANG=ExPdata(x)[log(1De(x,Ge(x,r)))]+

λimageEx,yPdata(x,y)[||yGe(x,r)||1]+

λedgeEx,yPdata(x,y)[||S(y)S(Ge(x,r))||1]    (5)

细节增强判别器De的输入是Ge合成的目标影像y′和x,或真实的目标影像y与x,其主要工作是区分真实的目标影像y与合成的目标影像y′。与残差模板判别器Dr相似,De的目标函数定义如式(6)所示:

LEnGAND=ExPdata(x)[log(1De(x,Ge(x,r)))]+

ExPdata(x)[logDe(x,y)]    (6)

最终,整个细节模板合成模块EnGAN通过同时训练细节增强生成器Ge和细节增强判别器De来实现目标函数,定义如式(7)所示:

LEnGAN=LEnGANG+LEnGAND    (7)

3.3 详细的网络框架设计

本文提出的两个模块都是二维的,它们都由生成器、判别器和边界探测器组成。其中,边界探测器的主要用途是通过Fi和Fj(如图3所示)做横向和纵向的Sobel算子求边界图,通过边界差损失函数,让生成器生成的图像尽可能地保留边界信息。假设输入的影像是A,通过式(8)就能形成一个同时包含x方向和y方向的边界图。

S(A)=(Fi×A)2+(Fj×A)2    (8)

图3

图3   Sobel算子的卷积核


生成器设计结构式引用的是变种的U-Net[23]。因为U-Net的桥连接结构可以很好地捕获输入图像的分层特征,并且帮助网络传递特征,减轻长时间反向传播导致的梯度消失。如图4所示(其中,conv表示卷积块,up-conv 表示反卷积块,C 表示通道数),本文的生成器包含8层的编码器和8层的解码器,每一层采用的都是以4×4 为核的卷积。编码器的步长为2,而解码器的步长为1/2。网络的归一化方式选择的是实例正则化(instance norm)[24]。激活函数选择的是带泄露修正线单元(leaky rectified linear unit,Leaky ReLU)[25],比起ReLU,Leaky ReLU 可以避免梯度稀疏对训练造成的困难。生成任务与一般的分类任务不同,需要更完整的细节信息。

图4

图4   生成器的基本结构


判别器的输入是一对影像,模型一共5层卷积,输出的特征影像大小为30×30。与生成器一样,判别器的卷积也采用4×4的卷积核,将实例正则化作为归一化方式,Leaky ReLU作为激活函数。与生成器的卷积不同的是,判别器前3层卷积的步长为2,而最后两层卷积的步长为1,如图5所示。

图5

图5   判别器的基本结构


3.4 训练方法及实现流程

训练时,两个模块一起训练,将x影像输入残差模板合成模块ResGAN 的残差模板生成器Gr,得到合成的残差模板r′。将x分别与r′和真实的残差模板r在z轴合并,一起输入残差模板合成模块ResGAN的残差模板判别器 Dr中,判断哪一个包含真实的残差模板r,哪一个包含合成的残差模板r',以此来指导残差模板生成器Gr进行更好的合成。同时,将r′与x在z轴合并的结果输入细节增强合成模块EnGAN的细节增强生成器Ge,用于合成目标影像y′。同样地,再将x分别与细节增强生成器Ge输出的目标影像y′和真实的目标影像y在z轴合并,一起输入细节增强合成模块EnGAN的细节增强判别器 De,判断哪一个包含真实的目标影像 y,而哪一个包含合成的目标影像 y′,以此来更好地指导细节增强生成器 Ge的合成。

本文采用的x是神经纤维瘤的T1序列影像,y是匹配过的神经纤维瘤 STIR 序列影像。批大小为16。两个模块的生成器中使用的 λimage和 λedge都为10。优化器采用的是Adam,β1为0.5。学习方式采用线性衰减,初始学习率为0.000 1,100轮后开始衰减,共训练160轮。

4 实验

4.1 数据集和预处理方式

本文的实验数据是神经纤维瘤的MR影像。数据由麻省总医院收集提供,共有97 组数据。每一组数据都包含了一组配准过的T1和STIR扫描结果。实验中每个数据的大小为 256×256×20。数据的体素大小为1.563×1.563×10 mm3。本文随机选取87组数据作为训练集,剩下的10组数据作为测试集。

在预处理措施中,影像尺寸不统一,所以对数据集进行统一的裁剪,之后对数据进行核为3×3、标准差为0的高斯模糊去噪。本文将T1序列影像的上限阈值设置为1 500,STIR序列影像的上限阈值设置为 800,再统一做归一化处理。最后通过 γ为0.8的伽变换,对一些较暗的细节进行放大。

为了减少模型的过拟合,并增加训练的数据量,本文采用一系列数据增广措施,具体方法包含随机水平翻转、缩放平移。

4.2 评估指标

本文结构采用相似性能指数(structural similarity index,SSIM)[26]、均方误差(mean squared error,MSE)和峰值噪声比(peak signal-to-noise ratio,PSNR)评估生成模型的结果。

其中,SSIM 通过亮度、对比度、结构来评估Ge(x,r) 与y是否相似,SSIM越接近1越好,具体如式(9)所示:

SSIM(y,Ge(x,r))=

(2μyμGe(x,r)+c1)(2σyGe(x,r)+c2)(μy2μGe(x,r)2+c1)(σy2σGe(x,r)2+c2)    (9)

其中,μGe(x,r) 和μy分别是Ge(x,r)和 y 的均值,μGe(x,r)2μy2分别是Ge(x,r)和y的方差,σyGe(x,r)Ge(x,r)和y的协方差。c1、c2为两个常数,用于避免除零。

MSE用于检测Ge(x,r)和y之间的偏差,MSE越低越好,如(10)所示:

MSE(y,Ge(x,r))=||yGe(x,r)||22    (10)

PSNR通过对数分贝标注来评判Ge(x,r)图像质量的好坏。PSNR越高,效果越好,如计算式(11)所示:

PSNR(y,Ge(x,r))=10lgMAXrange2(y,Ge(x,r))MSE(y,Ge(x,r))   (11)

其中,MAXrange()表示 y 和Ge(x,r)最大的强度范围。在评估之前需要将所有合成的影像和真实影像的信号范围调整到0~1。

4.3 实验结果分析

表1 展示了已有的方法(Pix2Pix、VAE、Ea-GAN)和本文提出的方法在神经纤维瘤数据上通过客观评价指标评估的结果。本文提出的方法在合成效果上仅次于VAE的结果。其中,SSIM的值达到0.798 8,仅比VAE的结果低0.013 6,说明生成的图像在结构、亮度和对比度上仅次于VAE的结果,PSNR和MSE的结果也都仅次于VAE。

表1   模型在神经纤维瘤上的准确率

方法SSIMPSNRMSE
Pix2Pix0.785 517.209 10.004 9
VAE0.812418.12980.0041
Ea-GAN0.78916.977 90.005 2
本文提出的方法0.798 817.357 70.004 8

新窗口打开| 下载CSV


直接对比实验结果如图6所示。可以发现,VAE的客观评价指标虽然高,但产生的图像极其模糊。并不能达到诊断所需的清晰度标准。而本文提出的方法所生成的结果与Pix2Pix、Ea-GAN一样,都是较为清晰的。同时观察红色方框可以发现,本文提出的方法所生成的结果在轮廓上比 Pix2Pix 生成的结果更接近目标影像,在信号强度上比Ea-GAN更接近目标影像。在蓝色框中,Pix2Pix在边界细节上存在严重错误,Ea-GAN 在信号强度上并不如本文提出的方法所生成的效果好。

表2 展示了模型中不同策略对最终结果的影响。without edge loss去掉了和边界有关的损失函数,其SSIM相对于本文提出的方法低0.007 5。从图6蓝色框中可以看出,其生成的结果严重变形。without res loss用级联的 Pix2Pix代替本文提到的残差模板合成模块和细节增强合成模块的组合,其 SSIM 下降了 0.006。从图6 中蓝色框可以看出,其生成的结果信号强度有严重偏差。

表2   消融实验结果

方法SSIMPSNRMSE
without edge loss0.791 316.952 60.005 3
without res loss0.792 817.193 30.005
本文提出的方法0.798817.35770.0048

新窗口打开| 下载CSV


网络训练的生成器损失函数收敛曲线如图7所示,网络训练的判别器损失函数收敛曲线如图8所示。由于VAE不存在判别器,所以VAE没有判别器损失函数收敛曲线。

图6

图6   不同模型选取的同一病例中同一切片合成的结果


图7

图7   网络训练的生成器损失函数收敛曲线


图8

图8   网络训练的判别器损失函数收敛曲线


5 结束语

针对MR影像中序列的转换,本文提出了一种基于细节增强的MR序列转换方法。该算法由残差模板合成模块和细节增强合成模块构成,其中残差模板合成模块用来生成残差模板,细节增强合成模块借助残差模板进一步提高生成影像的信号强度相似性。从合成的效果来看,基于细节增强的MR序列转换方法在客观评价指标上仅次于 VAE 网络,优于Pix2Pix和Ea-GAN。通过观察可以发现,本文提出的方法的生成结果在清晰度上优于VAE的结果。

但是通过结果也可以发现,本文提出的方法的生成结果其实还不是很好,仍有一些细节信息网络没能还原成功。这也是当前做 GAN 图像转换的难点之一。笔者将在下一步的研究工作中尝试探寻更好的算法,从而合成更高质量、还原度更好的影像。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

JACK C R , PETERSEN R C , XU Y C ,et al.

Prediction of AD with MRI-based hippocampal volume in mild cognitive impairment

[J]. Neurology, 1999,52(7): 1397-1397.

[本文引用: 1]

HANRAHAN C J , SHAH L M .

MRI of spinal bone marrow:part 2,T1-weighted imaging-based differential diagnosis

[J]. American Journal of Roentgenology, 2011,197(6): 1309-1321.

[本文引用: 1]

EUSTACE S , TELLO R , DECARVALHO V ,et al.

Whole body turbo STIR MRI in unknown primary tumor detection

[J]. Journal of Magnetic Resonance Imaging, 1998,8(3): 751-753.

[本文引用: 1]

DADAR M , PASCOAL T A , MANITSIRIKUL S ,et al.

Validation of a regression technique for segmentation of white matter hyperintensities in Alzheimer’s disease

[J]. IEEE Transactions on Medical Imaging, 2017,36(8): 1758-1768.

[本文引用: 1]

PURANIK R , MUTHURANGU V , CELERMAJER D S ,et al.

Congenital heart disease and multi-modality imaging

[J]. Heart Lung and Circulation, 2010,19(3): 133-144.

[本文引用: 1]

KINGMA D P , WELLING M .

Auto-encoding variational bayes

[J]. arXiv preprint, 2013,arXiv:1312.6114.

[本文引用: 1]

GOODFELLOW I , POUGET-ABADIE J , MIRZA M ,et al.

Generative adversarial nets

[C]// Proceeding of the Advances in Neural Information Processing Systems.[S.l.:s.n.], 2014: 2672-2680.

[本文引用: 1]

MIRZA M , OSINDERO S .

Conditional generative adversarial nets

[J]. arXiv preprint, 2014,arXiv:1411.1784.

[本文引用: 1]

YI X , WALIA E , BABYN P .

Generative adversarial network in medical imaging:a review

[J]. Medical Image Analysis, 2019,58: 101552.

[本文引用: 1]

MOUNSAVENG S , VAZQUEZ D , AYED I B ,et al.

Adversarial learning of general transformations for data augmentation

[J]. arXiv preprint, 2019,arXiv:1909.09801.

[本文引用: 1]

LEDIG C , THEIS L , HUSZÁR F ,et al.

Photo-realistic single image super-resolution using a generative adversarial network

[C]// Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2017: 4681-4690.

[本文引用: 1]

BROCK A , DONAHUE J , SIMONYAN K .

Large scale GAN training for high fidelity natural image synthesis

[J]. arXiv preprint, 2018,arXiv:1809.11096.

[本文引用: 1]

LITJENS G , KOOI T , BEJNORDI B E ,et al.

A survey on deep learning in medical image analysis

[J]. Medical Image Analysis, 2017,42: 60-88

[本文引用: 1]

NIE D , TRULLO R , LIAN J ,et al.

Medical image synthesis with context-aware generative adversarial networks

[C]// Proceeding of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham:Springer, 2017: 417-425.

[本文引用: 1]

CHARTSIAS A , JOYCE T , DHARMAKUMAR R ,et al.

Adversarial image synthesis for unpaired multi-modal cardiac data

[C]// Proceeding of the 2nd International Workshop on Simulation and Synthesis in Medical Imaging. Cham:Springer, 2017: 3-13.

[本文引用: 1]

HIASA Y , OTAKE Y , TAKAO M ,et al.

Cross-modality image synthesis from unpaired data using CycleGAN

[C]// Proceeding of the 3rd International Workshop on Simulation and Synthesis in Medical Imaging. Cham:Springer, 2018: 31-41.

[本文引用: 1]

WOLTERINK J M , DINKLA A M , SAVENIJE M H F ,et al.

Deep MR to CT synthesis using unpaired data

[C]// Proceeding of the 3rd International Workshop on Simulation and Synthesis in Medical Imaging. Cham:Springer, 2017: 14-23.

[本文引用: 2]

WELANDER P , KARLSSON S , EKLUND A .

Generative adversarial networks for image-to-image translation on multi-contrast MR images-a comparison of CycleGAN and UNIT

[J]. arXiv preprint, 2018,arXiv:1806.07777.

[本文引用: 1]

OLUT S , SAHIN Y H , DEMIR U ,et al.

Generative adversarial training for MRA image synthesis using multi-contrast MRI

[C]// Proceeding of the 1st International Workshop on PRedictive Intelligence in Medicine. Cham:Springer, 2018: 147-154.

[本文引用: 1]

HAN C , HAYASHI H , RUNDO L ,et al.

GAN-based synthetic brain MR image generation

[C]// Proceeding of the 2018 IEEE 15th International Symposium on Biomedical Imaging. Piscataway:IEEE Press, 2018: 734-738.

[本文引用: 1]

DAR S U H , YURT M , KARACAN L ,et al.

Image synthesis in multi-contrast MRI with conditional generative adversarial networks

[J]. IEEE Transactions on Medical Imaging, 2019,38(10): 2375-2388.

[本文引用: 1]

YU B T , WANG L P , SHI L ,et al.

Ea-GANs:edge-aware generative adversarial networks for cross-modality MR image synthesis

[J]. IEEE Transactions on Medical Imaging, 2019,38(7): 1750-1762.

[本文引用: 2]

RONNEBERGER O , FISCHER P , BROX T .

U-Net:Convolutional networks for biomedical image segmentation

[C]// Proceeding of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham:Springer, 2015: 234-241.

[本文引用: 1]

ULYANOV D , VEDALDI A , LEMPITSKY V .

Instance normalization:The missing ingredient for fast stylization

[J]. arXiv preprint, 2016,arXiv:1607.08022.

[本文引用: 1]

MAAS A L , HANNUN A Y , NG A Y .

Rectifier nonlinearities improve neural network acoustic models

[C]// Proceeding of the 30th International Conference on Machine Learning.[S.l.:s.n.], 2013.

[本文引用: 1]

WANG Z , BOVIK A C , SHEIKH H R ,et al.

Image quality assessment:from error visibility to structural similarity

[J]. IEEE Transactions on Image Processing, 2004,13(4): 600-612.

[本文引用: 1]

/