基于生成对抗网络的多特征融合去雾技术

doi:10.11959/j.issn.2096-0271.2024047

大数据 ›› 2024, Vol. 10 ›› Issue (4): 77-88.doi: 10.11959/j.issn.2096-0271.2024047

• 研究 • 上一篇

基于生成对抗网络的多特征融合去雾技术

司亚中¹^,², 张旭龙¹, 杨帆², 王健宗¹, 程宁¹, 肖京¹

¹ 平安科技（深圳）有限公司，广东深圳 518063
² 河北工业大学，天津 300401

出版日期:2024-07-01 发布日期:2024-07-01
作者简介:司亚中（1996- ），男，河北工业大学博士生，主要研究方向为深度学习、计算机视觉等。
张旭龙（1988- ），男，博士，平安科技（深圳）有限公司高级算法研究员，复旦大学计算机理学博士，主要研究方向为语音合成、语音转换、音乐信息检索以及机器学习和深度学习方法在人工智能领域应用。担任清华大学深圳研究院以及中国科学技术大学先进技术研究院校外导师，目前是IEEE、中国自动化学会以及中国计算机学会会员，担任联邦数据与联邦智能专委会委员，2023年入选上海市东方英才计划青年项目。
杨帆（1966- ），男，博士，河北工业大学电子信息工程学院教授、博士生导师，主要研究方向为智能信息处理、计算机视觉、图像处理等。
王健宗（1983- ），男，博士，平安科技（深圳）有限公司副总工程师，资深人工智能总监，联邦学习技术部总经理，智能金融前沿技术研究院院长。美国佛罗里达大学人工智能博士后，美国莱斯大学和华中科技大学联合培养博士，中国计算机学会资深会员，中国计算机学会大数据专家委员会委员，中国自动化学会联邦数据和联邦智能专业委员会副主任。主要研究方向为大模型、联邦学习和深度学习等。
程宁（1981- ），男，博士，平安科技（深圳）有限公司高级经理，中国科学院计算技术研究所计算机应用技术博士后，主要研究方向为语音识别、语音增强以及麦克风阵列。
肖京（1972- ），男，美国卡耐基梅隆大学博士，IEEE Fellow，国家特聘专家。国家新一代普惠金融人工智能开放创新平台技术负责人、深圳市政协委员、深圳市决策咨询委员会委员，兼中国计算机学会深圳分部副主席、广东省人工智能与机器人学会副理事长、深圳市人工智能行业协会会长、深圳市人工智能学会副理事长，清华大学、上海交通大学、同济大学等客座教授。长期从事人工智能与大数据分析挖掘相关领域研究，先后在爱普生美国研究院及美国微软公司担任高级研发管理职务，现任平安集团首席科学家，负责人工智能技术研发及其在金融、医疗、智慧城市等领域的应用，带领团队树立了多项传统行业智能化经营的标杆。己发表学术论文249篇，美国授权专利101项，中国发明专利155项，参与及承担国家级项目8项。凭借在技术创新及应用的杰出贡献，先后获得2018年中国专利奖、2019年吴文俊人工智能杰出贡献奖、2020年吴文俊人工智能科技进步一等奖、2020年上海市科技进步奖一等奖、2020年中国人工智能十大风云人物、2021年深圳市五一劳动奖章、2022年深圳市最美科技工作者等荣誉。
基金资助:
广东省重点领域研发计划“新一代人工智能”重大专项(2021B0101400003)

Multiple-feature fusion based generative adversarial network for image dehazing

Yazhong SI¹^,², Xulong ZHANG¹, Fan YANG², Jianzong WANG¹, Ning CHENG¹, Jing XIAO¹

¹ Ping An Technology (Shenzhen) Co., Ltd., Shenzhen 518063, China
² Hebei University of Technology, Tianjin 300401, China

Online:2024-07-01 Published:2024-07-01
Supported by:
The Key Research and Development Program of Guangdong Province(2021B0101400003)

摘要/Abstract

摘要：

为提高图像清晰度，解决传统图像在去雾过程中存在的特征提取困难、去雾不彻底等问题，提出一种基于生成对抗网络的多特征融合端到端去雾网络。该网络由生成器和判别器组成，生成器采用编解码结构，通过多特征提取融合（MFEF）块提取多种感受野下的高维表征信息。判别器使用一系列卷积计算对生成图像和清晰图像进行特征差异分析，引导生成器输出更加真实的去雾图像。实验结果表明，该算法在有效消除雾霾干扰的同时，能够最大限度地保留图像的原始色调。与现有方法相比，该算法在峰值信噪比、结构相似性客观评价指标上分别提升了2.588 dB、2.66%。

关键词: 图像处理, 图像去雾, 深度学习, 生成对抗, 多特征融合

Abstract:

To enhance image clarity and address the difficulties in feature extraction and incomplete haze removal in traditional image dehazing processes, a multi-feature fusion based generative adversarial dehazing network is proposed.The network adopts a generative adversarial approach and consists of a generator and a discriminator.The generator utilizes an encoderdecoder structure, and extracts haze-related feature maps from multiple receptive fields by a multi-feature extraction fusion (MFEF) block.The discriminator uses a series of convolutional calculations to analyze the feature differences between the generated images and the clear images, guiding the generator to output move realistic dehazing images.The experimental images show that the proposed method can effectively eliminate haze interference while preserving the original color tone of the image to the greatest extent possible.The experimental results demonstrate that the dehazed images produced by our algorithm have improved peak signal-to-noise ratio and structural similarity with an average of 2.588 dB and 2.66% respectively, compared with existing methods.

Key words: image processing, image dehazing, deep learning, generative adversarial, multiple feature fusion

中图分类号:

TP317.4

司亚中, 张旭龙, 杨帆, 王健宗, 程宁, 肖京. 基于生成对抗网络的多特征融合去雾技术[J]. 大数据, 2024, 10(4): 77-88.

Yazhong SI, Xulong ZHANG, Fan YANG, Jianzong WANG, Ning CHENG, Jing XIAO. Multiple-feature fusion based generative adversarial network for image dehazing[J]. Big Data Research, 2024, 10(4): 77-88.

图/表 10

图1

图2

图3

图4

图5

图6

图7

表1

RESIDE SOTS数据集多场景下去雾效果"

场景类别	DCP	MSBDN	DehazeFormer	T-Net	本文方法
场景类别	PSNR(dB)/SSIM	PSNR(dB)/SSIM	PSNR(dB)/SSIM	PSNR(dB)/SSIM	PSNR(dB)/SSIM
bright	12.8324/71.91%	23.6712/93.91%	20.3518/90.82%	$\underline{27.9463}$ / $\underline{95.68 %}$	$29 . 8192 / 96 . 50 %$
dark	15.9842/75.13%	24.1169/77.46%	20.9747/90.53%	$\underline{24.593}$ / $\underline{90.79 %}$	$31 . 2793 / 94 . 60 %$
mist	12.6756/72.11%	$\underline{26.782}$ /94.23%	20.4727/89.79%	26.1434/ $\underline{95.98 %}$	$32 . 7965 / 97 . 10 %$
thick	12.9062/81.32%	$\underline{23.2929}$ / $\underline{94.19 %}$	21.2429/92.50%	19.6503/86.82%	$27 . 821 / 95 . 65 %$
注：加粗数值为每行最优值，下划线标注数值为次优值。

表1

表2

NTIRE2018 Dehazing Challenge数据集去雾效果"

Dehaze method	PSNR(dB)	SSIM
DCP	14.2992	63.57%
MSBDN	16.0611	68.38%
DehazeFormer	14.9886	62.08%
T-Net	16.1393	67.07%
本文方法	$16 . 5383$	$71 . 90 %$
注：加粗数值为每行最优值，下划线标注数值为次优值。

表2

图8

参考文献 20

[1]	禹晶, 徐东彬, 廖庆敏 . 图像去雾技术研究进展[J]. 中国图象图形学报, 2011,16(9): 1561-1576.
	YU J , XU D B , LIAO Q M . Image defogging:a survey[J]. Journal of Image and Graphics, 2011,16(9): 1561-1576.
[2]	STARK J A . Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000,9(5): 889-896.
[3]	JOBSON D J . Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging, 2004,13(1): 100.
[4]	NARASIMHAN S G , NAYAR S K . Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(6): 713-724.
[5]	HE K M , SUN J , TANG X O . Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(12): 2341-2353.
[6]	刘万军, 白宛司, 曲海成 ,等. 融合GFMSRCR和暗通道先验的图像去雾[J]. 中国图象图形学报, 2019,24(11): 1893-1905.
	LIU W J , BAI W S , QU H C ,et al. Image dehazing based on GF-MSRCR and dark channel prior[J]. Journal of Image and Graphics, 2019,24(11): 1893-1905.
[7]	CAI B L , XU X M , JIA K ,et al. DehazeNet:an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016,25(11): 5187-5198.
[8]	LI B Y , PENG X L , WANG Z Y ,et al. AOD-net:all-in-one dehazing network[C]// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway:IEEE Press, 2017: 4780-4788.
[9]	CHEN D D , HE M M , FAN Q N ,et al. Gated context aggregation network for image dehazing and deraining[C]// Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision. Piscataway:IEEE Press, 2019: 1375-1383.
[10]	DONG Y , LIU Y H , ZHANG H ,et al. FDGAN:generative adversarial networks with fusion-discriminator for single image dehazing[J]. Proceedings of the AAAI Conference on Artificial Intelligence.California:AAAI, 2020,34(7): 10729-10736.
[11]	ULYANOV D , VEDALDI A , LEMPITSKY V ,et al. Instance normalization:the missing ingredient for fast stylization[EB]. arXiv preprint,2016,arXiv:1607.08022.
[12]	GOODFELLOW I J , POUGET-ABADIE J , MIRZA M ,et al. Generative adversarial nets[C]// Proceedings of the Proceedings of the 27th International Conference on Neural Information Processing Systems Volume 2. Cambridge:MIT Press, 2014: 2672-2680.
[13]	HE K M , ZHANG X Y , REN S Q ,et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2016: 770-778.
[14]	ISOLA P , ZHU J Y , ZHOU T H ,et al. Image-to-image translation with conditional adversarial networks[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2017: 5967-5976.
[15]	SILBERMAN N , HOIEM D , KOHLI P ,et al. Indoor segmentation and support inference from RGBD images[C]// Proceedings of the 12th European Conference on Computer Vision. Heidelberg:Springer, 2012: 746-760.
[16]	LI B Y , REN W Q , FU D P ,et al. Benchmarking single image dehazing and beyond[J]. IEEE Transactions on Image Processing, 2018,28(1): 492-505.
[17]	ANCUTI C , ANCUTI C O , TIMOFTE R ,et al. NTIRE 2018 challenge on image dehazing:methods and results[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway:IEEE Press, 2018: 1004-100410.
[18]	DONG H , PAN J S , XIANG L ,et al. Multi-scale boosted dehazing network with dense feature fusion[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway:IEEE Press, 2020: 2154-2164.
[19]	SONG Y D , HE Z Q , QIAN H ,et al. Vision transformers for single image dehazing[J]. IEEE Transactions on Image Processing, 1927,32: 1927-1941.
[20]	ZHENG L R , LI Y S , ZHANG K H ,et al. T-net:deep stacked scale-iteration network for image dehazing[J]. IEEE Transactions on Multimedia, 2022,25: 6794-6807.

基于生成对抗网络的多特征融合去雾技术

Multiple-feature fusion based generative adversarial network for image dehazing

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 20

相关文章 15

Metrics

推荐阅读 0

[1]	李鹏程, 张旭龙, 王健宗, 程宁, 肖京. 面向非平行语料的语音转换技术综述[J]. 大数据, 2024, 10(3): 65-81.
[2]	刘震, 赵嵩, 杨涛, 蔡太伟. 基于深度学习的施工安全隐患整改智能推荐系统[J]. 大数据, 2023, 9(6): 124-136.
[3]	陈峻, 宁思衡. 长短期记忆网络在虚拟电厂数据中心的应用[J]. 大数据, 2023, 9(6): 160-173.
[4]	刘聪, 吕雪峰, 王宏林, 王晓伟, 陆瑾, 孙顺, 胡松奇. 基于概率分布差异的医学命名实体识别方法[J]. 大数据, 2023, 9(4): 159-171.
[5]	邓钇敏, 张旭龙, 司世景, 王健宗, 肖京. 虚拟人形象合成技术综述[J]. 大数据, 2023, 9(3): 114-139.
[6]	贺亚运, 彭俊清, 王健宗, 肖京. 节奏舞者：基于关键动作转换图和有条件姿态插值网络的3D舞蹈生成方法研究[J]. 大数据, 2023, 9(1): 23-37.
[7]	崔雨萌, 王靖亚, 闫尚义, 陶知众. 基于深度学习的警情记录关键信息自动抽取[J]. 大数据, 2022, 8(6): 127-142.
[8]	朱智韬, 司世景, 王健宗, 肖京. 联邦推荐系统综述[J]. 大数据, 2022, 8(4): 105-132.
[9]	王杰, 张松岩, 梁吉业. 融合一致性正则与流形正则的半监督深度学习算法[J]. 大数据, 2022, 8(3): 103-114.
[10]	徐康庭, 宋威. 结合语言知识和深度学习的中文文本情感分析方法[J]. 大数据, 2022, 8(3): 115-127.
[11]	赵智韬, 赵理君, 张正, 唐娉. 基于容器云技术的典型遥感智能解译算法集成[J]. 大数据, 2022, 8(2): 58-74.
[12]	张凯, 车漾. 基于分布式缓存加速容器化深度学习的优化方法[J]. 大数据, 2021, 7(5): 150-163.
[13]	温景熙, 于胡飞, 辛江, 唐艳. 基于深度学习的大脑性别差异分析[J]. 大数据, 2021, 7(4): 130-140.
[14]	彭鑫, 陈驰, 林云. 基于上下文的智能化代码复用推荐[J]. 大数据, 2021, 7(1): 37-47.
[15]	王丽会, 秦永彬. 深度学习在医学影像中的研究进展及发展趋势[J]. 大数据, 2020, 6(6): 83-104.