基于双支特征联合映射的端到端图像去雾算法

杨燕 ，陈阳 ?; YANG Yan，CHEN Yang?

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

摘要

针对卷积神经网络去雾算法中模型复杂度高、特征提取性能差等问题，本文提出了一种基于双支特征联合映射的端到端图像去雾算法.首先对大气散射模型进行变形转换，分离出模型中的双支特征；然后根据双支特点设计了两个特征提取网络MPFEM和SPFEM，分别使用两种注意力机制对其输出特征进行加权；最后将提取到的双支特征输入复原模块恢复清晰图像，并对其进行色彩增强得到最终复原效果.在模型训练过程中为避免使用单一损失函数导致纹理细节丢失等问题，采用多尺度结构相似度和平均绝对误差加权作为损失函数.实验表明，本文所提算法网络结构简单，去雾效果明显，复原图像色彩亮度保真，边缘保持性强.

关键词

图像去雾; 卷积神经网络; 双支特征; 注意力机制

当今飞速进步的模型计算技术加快了计算机视觉系统的发展^［

1］，计算机视觉系统已经用于目标监视、对象检测、图像分割、模糊去除、行为理解等各种任务中^{［参考文献 2

百度学术}2］-［3］，这些系统均依赖光学成像设备采集到的高质量图像.在雾霾环境条件下，光线受到空气中悬浮的液滴或其他颗粒的影响，设备接收端的光线会发生衰减和散射，导致采集到的图像发生清晰度降低、对比度下降和色彩偏移等问题^{［参考文献 4

百度学术}4］.因此，有雾图像的视觉恢复问题涉及领域广泛，具有重要的实践意义及应用价值.

近年来，随着众多算法的提出，图像去雾方法大致可分为三类：基于图像增强的算法、基于图像复原的算法和基于数据驱动的算法^［

5］.文献［6］中提出了一种全局像素滤波器，通过对图像全局边缘和结构进行滤波来增强图像.文献［7］将同态滤波算法中的傅里叶变换用快速小波变换代替，然后在变换域内用改进的滤波器对小波系数进行处理，从而达到增强雾天降质图像的目的.基于图像增强方法由于未考虑图像退化过程，恢复后的图像较为不自然.基于先验复原的图像去雾算法考虑了图像降质过程，在雾图细节恢复方面取得了较大进展.He等^{［参考文献 8

百度学术}8］通过统计户外无雾图像的像素特征，提出基于暗通道先验理论的去雾算法，但该方法在处理含大片高亮区域的图像时会出现失真现象.Zhu等^{［参考文献 9

百度学术}9］提出了颜色衰减先验理论，通过景深亮度和饱和度的关系估计透射率，该方法恢复了较多细节，但监督学习过程复杂，相关参数无法做到自适应.文献［10］提出一种基于图像浓度与伽马函数互相关的去雾算法，实现了不依赖大气散射模型对图像进行复原，提高了算法效率，但无法有效处理浓雾区域.文献［11］提出了一种非线性变换的自适应透射率去雾算法，提高了算法在景深突变处的处理能力，但在处理浓雾图像时容易出现色彩失真.先验信息的不完全约束，导致这类算法在复原结果方面存在一定的偏差.

基于数据驱动的网络模型算法在图像去雾方面已经取得了比较丰富的成果，此类方法通过结合大气散射模型进行参数估计或利用端到端思想直接复原图像.文献［

12］提出了一种密集连接的金字塔网络来对有雾图像进行参数估计，并使用新引入的边缘保持损失函数进行优化，在去雾的同时有效保持了边缘细节，实现了有雾图像端到端复原.文献［13］重构大气散射模型，提出轻量级可嵌入网络AOD-Net，该网络将透射率与大气光统一为一个参数进行估计，减少了参数估计中积累的误差，得到较好的恢复效果.文献［14］提出了一种不成对去雾框架，使用循环对抗神经网络对有雾图像场景深度和散射系数进行建模，从不成对数据中成功恢复出散射系数和清晰图像.文献［15］提出一种端到端的门控上下文聚合网络，使用平滑卷积代替常规卷积去除网格伪影，并使用门控子网络融合不同级别特征进行图像的清晰度恢复.文献［16］提出了一种用于图像去雾的反投影金字塔网络，该网络包含迭代U-Net块和金字塔卷积块，在使用少量数据对的情况下进行训练，获得了良好的去雾效果.文献［17］提出融合注意力机制的特征提取网络FFA-Net，使用一种新的特征注意力模块组合通道注意力和像素注意力，提高了网络特征学习的灵活性，有效进行雾图恢复.文献［18］提出了一种基于多尺度残差学习网络的图像去雾方法.算法使用多尺度残差学习（Malti-Scale Residual Learnig，MSRL）网络提取雾霾相关特征，然后将其用于减少雾霾天气下拍摄图像中的环境污染影响.虽然深度学习在图像去雾方面已经取得了一定的成果，但特殊场景不适用、数据训练需求高、网络与降质模型不匹配等问题仍存在，该类方法仍面临挑战.

针对上述问题，本文提出了一种基于双支特征联合映射的端到端图像去雾网络.首先对大气散射模型进行变形转换，分离出模型中的双支特征：混合参数特征项和单一参数特征项；然后根据双支特点设计了两个特征提取网络MPFEM和SPFEM，分别使用两种注意力机制对其输出特征进行加权；最后将提取到的双支特征输入原模块恢复清晰图像，并对其进行色彩增强得到最终复原效果.在模型训练过程中为避免使用单一损失函数导致纹理细节丢失等问题，采用多尺度结构相似度和平均绝对误差加权作为损失函数.实验表明，本文所提算法网络结构简单，去雾效果明显，复原图像色彩亮度保真，边缘保持性强.

1 大气成像模型

在图像去雾领域研究中，用式（1）所示大气散射模型（ASM）可以描述雾天图像的形成过程：

I (x) = J (x) t (x) + A [1 - t (x)]

（1）

式中： $I (x)$ 为有雾图像； $J (x)$ 为清晰图像； $t (x)$ 为透射率； $A$ 为全局大气光常量.当雾气均匀时，透射率可表示为：

t (x) = e^{- β d (x)}

（2）

式中： $β$ 为大气散射系数； $d (x)$ 为景深，即场景点到观测点的距离.

通过估计 $t (x)$ 和 $A$ 的值，代入式（1），反推去雾图像：

J (x) = \frac{I (x) - A [1 - t (x)]}{t (x)}

（3）

Li等^［

13］将透射率与大气光整合为一个参数，采用特征融合学习的方法进行图像恢复，如式（4）所示：

J (x) = I (x) f (x) - f (x) + Δ

（4）

式中： $f (x) = \frac{[I (x) - A] / t (x) + (A - Δ)}{I (x) - 1}$ ； $Δ$ 为偏差，通常为1.

受Li等人^［

14］特征融合提取思想的启发，对式（3）做以下变形：

J (x) = \frac{I (x) - A (x)}{t (x)} + A (x)

（5）

式（5）将清晰图像的复原公式变形为一个混合参数项和单一参数项相加的多项式，并根据局部大气光的思想，将大气光作为一个局部变量，用来考虑非均匀光照下的有雾场景.从式（5）中可以看出，等式右边第一项为本文所提混合参数项，包含透射率和局部大气光两个关键去雾参数，表征透射率与局部大气光在有雾图像 $x$ 像素处的混合作用特征.等式右边第二项为本文所提单一参数项，只包含局部大气光一个关键去雾参数，表示局部大气光对像素 $x$ 处的单一作用特征.由于传统先验复原算法中已经有较为成熟的经验来判断 $A (x)$ 取值是否得当，因此将混合参量特征与单一参数特征进行分离有利于根据参量的特点进行特征提取，而且方便对照调参.

2 本文算法

2.1 网络结构

与以往特征映射或参量整合估计的去雾方法不同，本文从变形后的ASM出发，结合混合特征提取和单一特征提取，设计并联加级联的端到端复原架构，算法所提网络如图1所示.网络包含复原模块RM（Restoration Module），色彩增强模块CEM（Color Enhancement Module），两个特征提取模块：混合参量特征提取模块MPFEM（Mixed Parameter Feature Extraction Module）和单一参量特征提取模块SPFEM（Single Parameter Feature Extraction Module）.特征提取部分采用并联架构，复原部分和色彩增强部分采用级联架构.

图1 网络整体架构

Fig. 1 Overall network architecture

2.2 混合参量特征提取模块(MPFEM)

MPFEM主要进行混合参量特征提取，该混合参量是 $t (x)$ 和 $A (x)$ 的联合特征.以往的联合特征复原算法^［

19］中往往以单径级联方式进行特征提取，由于没有层与层之间的反馈联系，随着网络深度的增加，深层输出会丢失一部分浅层特征，使复原图像产生纹理模糊、失真伪影等影响.另外，对于一些轻量化模型^{［参考文献 20

百度学术}20］来说，随着网络深度增加，特征提取出现恒等映射，复原效果有限.为消除单径级联架构造成的影响，MPFEM在使用少量卷积层的基础上加入残差网络和跳过连接，保证模型轻量化及特征提取能力.

图2为MPFEM结构.受Ullah等^［

21］的研究启发，MPFEM的主干网络设计为七层卷积级联的形式，分为四组，并在每个卷积输出后面使用ReLU函数进行非线性激活.其中第一组是两个尺度大小均为3×3的卷积，用来提取浅层雾图信息.第二组由两个卷积核大小均为5×5的卷积构成，使用比第一组稍大尺度卷积的目的是多尺度卷积方式不仅可以丰富特征信息，而且大尺度卷积可以去除图像中的噪声和伪影.接着使用第三组交叉尺度与第四组3×3卷积输出图像深层特征.为减轻梯度消失问题，前三组卷积网络均加入上下文残差块，以更好地捕捉输入与输出之间的差异，残差结构表示如下：

x_{l + 1} = h (x_{l}) + ξ (x_{1}, W_{1})

（6）

式中： $x_{l}$ 为输入特征； $x_{l + 1}$ 为输出特征； $W_{1}$ 为可学习参数； $h (\cdot)$ 为直接映射； $ξ (\cdot)$ 为残差映射.

图2 混合参量特征提取模块

Fig.2 Mixed parameter feature extraction module

由于网络为七层级联卷积结构，为了保证后层提取到的特征不丢失前层语义，使用跳过连接（Skip-Connections）联系前、中、后三个卷积组，并通过Conacat层将不同尺度的特征图合并，使网络深化以提高性能.使用跳过连接和残差结构的网络，在丰富特征的同时难免引入无关信息使网络误差放大.由于混合参量特征是透射率与大气光对像素 $x$ 处的联合作用，局部区域的处理关系到复原结果的好坏.本文使用像素注意力机制对合并后的特征图进行加权，旨在提升不同雾浓度区域处的复原效果，经过SA模块后，模型输出混合参数特征.MPFEM卷积核参数如表1所示.

表1 MPFEM卷积核参数

Tab.1 MPFEM convolution kernel parameters

Layers	Conv1	Conv2	Conv3	Conv4	Conv5	Conv6	Conv7
Filter size	3×3	3×3	5×5	5×5	5×5	3×3	3×3
Stride， Pad	1，1	1，1	1，2	1，2	1，2	1，1	1，1

2.3 单一参量特征提取模块(SPFEM)

从式（5）可看出，式中将特征进行分离后，SPFEM提取的单一参量特征为大气光值.根据局部大气光思想^［

22］，大气光值并非全局常量，而是一个雾浓度相关的非均匀项.由于大气光属于跨图像三通道特征，且与雾浓度一样均为浅层图像特征，因此不宜使用复杂网络提取.考虑到VGG架构的逐层表达与尺度降维能力，采用VGG网络中“卷积加池化”的方式对SPFEM进行设计，并在输出之前添加通道注意力机制提取包含RGB三通道信息的大气光特征图，如图3所示.

图3 单一参量特征提取模块

Fig. 3 Single parameter feature extraction module

SPFEM包含3个卷积层、2个池化层、4个ReLU激活函数层、1个张量映射层、2个全连接层、1个通道注意力模块.其中，卷积核大小为3×3，步长为1，池化核大小为2×2，步长为2.RGB三通道具有很高的相关性，在图像退化过程中，大气光对RGB三通道 $x$ 处的像素均有显著影响.SPFEM模块将尺度为480×480有雾图像三通道作为输入，经三次卷积操作和两次最大池化操作进行特征提取和尺度降维.使用最大池化可以在提高网络计算效率的同时，保留图像中显著的大气光信息；使用较大步长的池化方式可以减少物体颜色等局部因素对大气光提取的影响.经过三次卷积操作和两次池化操作后，特征图尺度大小为120×120，通道数为128，将其输入一个张量映射层.张量映射层包含多个跨步卷积，可以在减少模型参量的情况下，将前三层提取到的多通道大气光张量映射为低维特征图并且保留大气光值的局部信息.经过两个全连接层后，输出为1×1×3的特征图，在特征输出前增加一个通道注意力模块进行加权操作，关注不同通道的大气光值信息.记特征图为 $R_{i}, i \in {1,2, 3}$ ，通道注意力权重为 $F_{i} \in R^{1 \times 1 \times 3}$ ，加权后的通道特征为：

C_{i} = m_{i} \times R_{i}

（7）

2.4 复原模块(RM)和色彩增强模块(CEM)

将MPFEM和SPFEM提取的雾图特征送入复原模块RM，根据式（5）得到清晰图像，再经过色彩增强后得到端到端复原图像，如图4所示.

图4 复原模块及色彩增强模块

Fig.4 Restoration module and color enhancement module

一般情况下经过特征映射进行复原的图像均达不到与原图一样的颜色效果，这是由于网络进行多层特征提取后会丢失一部分浅层细节.通过再次提取浅层特征的方式来增强复原图像的颜色细节.CEM通过两层小尺度卷积进行颜色信息提取，经ReLU非线性激活后与去雾后图像的特征进行 Concat层合并，再通过一个卷积层得到复原图像.

2.5 损失函数

由于网络的三个模块在图像不同深度层进行特征提取，为防止整体复原效果中出现纹理细节丢失、融合误差放大等问题，本文采用多尺度结构相似损失（MS-SSIM Loss）和L₁平均绝对误差损失（L₁ Loss）的加权损失作为损失函数.L₁损失不会放大异常值，有较好的鲁棒性，在训练中也不会产生梯度爆炸的问题^［

23］.L₁损失定义如下：

L_{1} (x, y) = \frac{1}{n} \sum_{i = 1}^{n} | x_{i} - y_{i} |

（8）

式中： $y_{i}$ 为网络输出的重建图像； $x_{i}$ 为无雾样本图像.

结构相似度（SSIM）属于图像的感知相关指标，其中包含图像亮度比较、对比度比较、结构比较.像素p处的结构相似度可定义为：

S S I M (x, y) = \frac{(2 μ_{x} μ_{y} + c_{1}) (σ {}_{x y}+ c_{2})}{(μ_{x}^{2} + μ_{y}^{2} + c_{1}) (σ_{x}^{2} + σ_{y}^{2} + c_{2})}

（9）

式中： $x$ 和 $y$ 分别为网络重建图像和无雾样本图像； $μ_{x}$ 和 $μ_{y}$ 分别为 $x$ 、 $y$ 的均值； $σ_{x}$ 和 $σ_{y}$ 分别为 $x$ 、 $y$ 的标准差； $σ_{x y}$ 为 $x$ 、 $y$ 的协方差； $c_{1}$ 、 $c_{2}$ 分别为常数，避免分母为0产生系统错误.

因此，两张图像中像素点p处的结构相似损失可定义为：

L_{S S I M} (p) = \frac{1}{n} \sum_{p \in P} 1 - S S I M (p)

（10）

在SSIM计算中，用于计算图像均值与方差的高斯核的大小直接影响结构相似损失的性能，如果尺寸太小，由它计算出来的损失无法保持图像局部结构，如果太大，图像边缘处则会产生噪声.因此Zhao等人^［

24］提出多尺度结构相似损失：

M S - S S I M (p) = l_{M}^{α} (p) \prod_{j = 1}^{M} c s_{j}^{β_{j}} (p)

（11）

L_{M S - S S I M} (p) = 1 - M S - S S I M (p)

（12）

式中： $l_{M}$ 和 $c s_{j}$ 为尺度定义项，为计算方便， $α = β_{j} = 1$ .

网络训练中使用变形后的大气散射模型生成预测图像，再使用加权损失函数计算预测图像与训练数据集之间的差异.本文使用L₁损失可以衡量两幅图像像素级别的差异，有利于提高复原图像亮度与颜色的准确性，使用MS-SSIM损失来计算图像结构的相似性，有利于提升高频区域的对比度.将二者加权进行损失计算，获得两种损失的最佳特性，最终损失函数L为：

L = λ \cdot L_{M S - S S I M} + (1 - λ) \cdot L_{1}

（13）

式中： $λ$ 为权重因子，文中设置为0.2.

3 实验结果与分析

为验证网络性能，本文针对真实图像与合成图像分别进行测试，并对雾图复原效果进行定量评估，通过消融实验来证明网络架构中所提模块的功能性，最后将本文算法与目前先进算法进行主观视觉与客观指标对比，证明算法的有效性.

3.1 实验设置及数据集

所提网络模型的训练过程在Windows11上进行，处理器为AMD Ryzen7 4800H with Radeon Graphics CPU@2.90 GHz，显卡信息为NVIDIA GeForce RTX 2060.模块搭建环境为Pytorch 1.0.0，CUDA 12.1和Python 3.7.1.实验参数方面，为了提高训练效率，设置图像尺寸大小为 $480 \times 480$ .设置初始学习率为 $1 \times 10^{- 4}$ ，batchsize为16，迭代轮次为60轮，使用余弦退火策略^［

25］进行学习率调整，使用Adam优化器^{［参考文献 26

百度学术}26］进行优化，设置优化器动量参数分别为

β_{1} = 0.9

和

β {}_{2}= 0.999

.训练中使用损失函数

L_{L o s s} = L_{M S - S S I M} + L_{1}

对网络进行训练.

网络使用NYU2^［

27］数据集进行训练，NYU2数据集包含不同雾浓度的27 256张合成雾图和其对应的1 450张清晰场景图像.实验中取20 442张（75%）作为训练集，取6 814张（25%）作为测试集.为验证网络的泛化性能，使用RESIDE^{［参考文献 28

百度学术}28］数据集中的SOTS、OTS子集图像和真实场景雾图进行去雾效果对比和指标评估度量.

3.2 消融实验

为验证本文所提网络中各组成模块的有效性，选取测试集中的室内和室外图像进行消融实验验证，并对每组实验的客观评价指标进行对比.实验内容主要包括以下组合：1）不添加混合参量特征提取模块（MPFEM）进行图像复原；2）不添加单一参量特征提取模块（SPFEM）进行图像复原；3）不添加色彩增强模块（CEM）进行复原.为保证实验的说服性，训练中统一各组合输入图像大小及迭代轮次、实验设置保证完全一致，客观评价指标如表2所示.从表2中可以看出，3个模块的加入和移除均影响网络的客观指标性能.其中当移除MPFEM时对PSNR与SSIM的影响最大，当SPFEM与CEM加入时，客观指标评价有了明显的提高.

表2 消融实验中的PSNR与SSIM对比

Tab.2 Comparison of PSNR and SSIM in ablation experiments

试验编号	模型组合			PSNR	SSIM
试验编号	MPFEM	SPFEM	CEM	PSNR	SSIM
1）		√	√	16.83	0.871 7
2）	√		√	19.93	0.942 5
3）	√	√		20.48	0.947 3
4）	√	√	√	21.16	0.963 4

为了进一步说明所提3个模块的有效性，将4组实验的处理效果进行比较，如图5所示.移除MPFEM后网络丧失了深度去雾能力，图像只通过SPFEM和CEM保持原有亮度与颜色，说明混合参数联合提取的重要性；当SPFEM移除后，复原图像亮度有所下降，这是由于SPFEM保留了图像的大气光信息和一些全局特征，移除后的大气光信息仅有混合参数提供，因此产生亮度变化；移除CEM后的复原图像表现为颜色过饱和，这是由于移除CEM后的网络丢失了颜色、雾气浓度等浅层特征，说明增加CEM的必要性.

图5 消融实验结果对比图

Fig.5 Comparison of ablation experiment

3.3 合成图像评估

为了验证本文所提网络在去雾任务中的有效性，选取1种基于先验的算法和5种基于网络模型的算法作对比，从主观与客观两个方面对本文算法的性能作出分析.所选取的算法分别为DCP^［

8］、GCA^{［参考文献 15

百度学术}15］、AOD-Net^{［参考文献 13

百度学术}13］、DehazeNet^{［参考文献 29

百度学术}29］、FFA-Net^{［参考文献 17

百度学术}17］、KTDN^{［参考文献 30

百度学术}30］.本文采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural Similarity Index Measurement， SSIM）作为测试集图像客观评价指标.峰值信噪比指信号与噪声之间的比值，结构性相似度用来衡量复原图像与真实图像的相似程度.PSNR和SSIM越大表示算法的复原效果越好.室内合成图像复原对比结果如图6所示，室外合成图像复原对比结果如图7所示，客观指标对比如表3所示.

图6 室内合成雾图复原效果对比

Fig.6 Comparison of restoration effects of indoor synthetic hazy images

图7 室外合成雾图复原效果对比

Fig.7 Comparison of restoration effects of outdoor synthetic hazy images

表3 合成数据集上的PSNR与SSIM对比

Tab.3 Comparison of PSNR and SSIM tested on synthetic hazy images

方法		DCP^{［参考文献 8 百度学术}8］	GCA^{［参考文献 15 百度学术}15］	AOD-Net^{［参考文献 13 百度学术}13］	DehazeNet^{［参考文献 29 百度学术}29］	FFA-Net^{［参考文献 17 百度学术}17］	KTDN^{［参考文献 30 百度学术}30］	本文方法
Indoor	PSNR	11.87	19.82	17.76	17.32	18.51	20.76	19.63
Indoor	SSIM	0.745 5	0.934 6	0.891 9	0.873 8	0.903 6	0.933 7	0.942 5
Outdoor	PSNR	14.12	21.04	18.30	19.36	20.28	21.63	22.18
Outdoor	SSIM	0.889 5	0.961 1	0.916 4	0.933 9	0.947 9	0.966 7	0.973 2

从实验结果可以看出，DCP算法的复原结果去雾彻底，但由于大气光的选取问题导致整体偏暗，先验条件的不完全约束导致高亮区域颜色恢复出现过饱和情况（如图6第二幅图像地板处和图7中图像天空部分）； GCA算法能够保持图像的细节部分，但在局部区域去雾不彻底（如图6中第二幅、第四幅图像的墙面部分），并且在部分高亮区域出现偏色现象（如图7中第三幅图像白云处）； AOD-Net算法的整体去雾效果不彻底，复原图像留有大部分残雾（如图6第一幅图像柜子处和图7第一、第四幅图像）； DehazeNet算法整体去雾效果较好，但在图像细节恢复方面表现一般，部分图像存在伪影； FFA-Net算法引入了注意力机制，对浓雾区域体现了较好的复原效果，但是在薄雾区域留有残雾，并且与白色物体区分不清（如图6中第二幅图像墙面处和图7中第一、第三和第四幅图像天空处）； KTDN算法突出了图像的边缘信息，去雾效果较为彻底，但复原结果表现出强烈的轮廓感，去雾图像整体较为不自然.本文算法能够较好地保留图像细节信息，恢复颜色自然，去雾较彻底，在含有高亮和天空区域的图像中没有出现失真现象.尽管在部分图像的浓雾区域处理能力有限，但恢复效果已经为所提对比算法中最佳.

从表3中可以看出，针对合成雾图进行复原时，本文算法在客观指标方面表现优秀.在PSNR指标方面，对于室内图像，本文算法在六种算法中取得了仅次于KTDN的成绩，针对室外图像去雾评价时取得了最佳，说明了本文算法对雾霾去除的有效性.在SSIM指标方面，所提算法不论室内还是室外图像都优于所对比的先进算法，有效保证了复原图像的边缘细节清晰与色彩自然.

3.4 真实图像评估

为进一步验证本文所提网络对真实图像的普遍适用性，分别选择五幅特征不同的真实场景有雾图像进行实验，检验算法在不同场景下的去雾效果.本文采用无参考图像质量评估方法对复原效果进行客观评价，选取新增可见边之比 $e$ 、平均梯度 $r$ ^［

31］作为对比指标.对比结果分别如图8和表4所示，评价指标计算公式如下：

e = \frac{n_{r} - n_{0}}{n_{0}}

（14）

r = e x p (\frac{1}{n} \sum_{p_{i} \in φ_{r}} l o g r_{i})

（15）

式中： $n_{0}$ 和 $n_{r}$ 分别表示有雾图像和复原图像的可见边数目； $φ_{r}$ 为去雾图像的可见边集合； $p_{i}$ 为可见边缘上的像素； $r_{i}$ 表示去雾图像和有雾图像的梯度比； $M$ 和 $N$ 分别表示图像的宽和高.

图8 真实场景复原效果对比

Fig.8 Comparison of real scene restoration effect

表4 真实数据集上的

e

与

r

对比

Tab.4 Comparison of

e

and

r

tested on real hazy images

方法	DCP^{［参考文献 8 百度学术}8］	GCA^{［参考文献 15 百度学术}15］	AOD-Net^{［参考文献 13 百度学术}13］	DehazeNet^{［参考文献 29 百度学术}29］	FFA-Net^{［参考文献 17 百度学术}17］	KTDN^{［参考文献 30 百度学术}30］	本文方法
$e$	0.328 6	0.315 0	0.272 0	0.215 8	0.243 4	0.361 0	0.335 3
$r$	1.380 5	1.412 3	1.310 8	1.333 6	1.121 3	1.291 4	1.426 4

图8为不同算法在真实场景下的复原结果对比.从复原图像可以看出，DCP算法在不含大面积高亮区域表现优异，能够有效进行雾气去除，但在天空等高亮区域的恢复中透射率偏低，导致复原图像过饱和，并且在天空与非天空的交界处由于无法处理景深突变，产生halo效应；GCA算法复原效果相比其他算法具有较高的亮度，恢复了许多暗光细节，但是在较高亮度区域存在过曝光情况（如第一幅图像白云处和第五幅图像天空处），并且在景深较大区域留有残雾； AOD-Net算法整体效果较好，在近景与远景区域都不存在较严重的偏色情况，但复原图像整体较暗，细节处理能力较为不理想；DehazeNet算法图像恢复亮度适中，颜色较为自然，对近景处的去雾效果较强，但存在远景处去雾不彻底的情况（如第三、第四和第五幅图像的远景处）.FFA-Net算法整体复原效果较暗，在图像中的高亮区域出现了严重的失真（如第一和第三幅图像天空处和第四幅图像远景处），且去雾能力一般；KTDN算法去雾能力较强，能够有效去除浓雾及远景处雾气，但图像出现严重偏色，整体画质偏白，主观视觉效果不理想.

相比之下本文算法复原效果亮度适中，采用色彩增强模块使复原图像颜色表现自然，复原图像在保留细节的基础上能有效地将雾气去除.真实场景去雾客观评价指标如表4所示，由于本文算法恢复的图像细节丰富、边缘清晰，因此在新增可见边率e和平均梯度r两个指标上有不俗的表现，表明本文算法对于边缘轮廓等纹理信息处理能力较强.综上所述，本算法在主客观评价方面表现良好，有一定的优越性.

4 结论

本文从变形后的ASM出发，结合混合特征提取和单一特征提取，提出了并联加级联的端到端图像复原网络.算法采用对大气散射模型进行变形转换的思想，分离出模型中的混合参数特征项和单一参数特征项.根据双支特点设计特征提取网络MPFEM和SPFEM，分别使用两种注意力机制对其输出特征进行加权.将提取到的双支特征输入复原模块去雾后对其进行色彩增强得到最终复原效果.在模型训练过程中为避免使用单一损失函数导致纹理细节丢失等问题，本文采用两种损失加权作为损失函数，有效提高了复原图像的SSIM指标.实验表明，本文所提算法网络结构简单，去雾效果明显，复原图像色彩亮度保真，边缘保持性强.

由于算法为经验模型复原网络，未对ASM之外的雾图参数进行关注，下一步工作中考虑将雾浓度特征加入网络设计，关注雾图的局部特征与全局特征的联系，提高网络的针对应用性，并且在网络特征层设计方面尝试不同卷积达到同样复原效果的同时实现模型轻量化.

参考文献

LI J X，GUO X B，LU G M，et al．DRPL：deep regression pair learning for multi-focus image fusion［J］．IEEE Transactions on Image Processing，2020，29：4816-4831． [百度学术]

ZHENG L，HUANG Y J，LU H C，et al．Pose invariant embedding for deep person re-identification［J］．IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2019：28（9）： 4500-4509. [百度学术]

MUHAMMAD K，KHAN S，ELHOSENY M，et al．Efficient fire detection for uncertain surveillance environment［J］．IEEE Transactions on Industrial Informatics，2019，15（5）：3113-3122． [百度学术]

ZHOU J K．Analysis of causes and hazards of China’s frequent hazy weather［J］．The Open Cybernetics & Systemics Journal，2015，9（1）：1311-1314． [百度学术]

杨燕，武旭栋，杜康．基于小波变换及注意力机制的T型图像去雾网络［J］．湖南大学学报（自然科学版），2022，49（10）：61-68． [百度学术]

YANG Y，WU X D，DU K．T-shaped image dehazing network based on wavelet transform and attention mechanism［J］．Journal of Hunan University （Natural Sciences），2022，49（10）：61-68．（in Chinese） [百度学术]

LI Z G，ZHENG J H．Single image de-hazing using globally guide image filtering［J］．IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society，2018，27（1）： 442-450． [百度学术]

董静薇，赵春丽，海博．融合同态滤波和小波变换的图像去雾算法研究［J］．哈尔滨理工大学学报，2019，24（1）： 66-70． [百度学术]

DONG J W，ZHAO C L，HAI B．Research on image de-fog algorithm based on fusion homomorphic filtering and wavelet transform［J］．Journal of Harbin University of Science and Technology，2019，24（1）：66-70．（in Chinese） [百度学术]

HE K M，SUN J，TANG X O．Single image haze removal using dark channel prior［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353． [百度学术]

ZHU Q S，MAI J M，SHAO L．A fast single image haze removal algorithm using color attenuation prior［J］．IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2015，24（11）：3522-3533． [百度学术]

LI D Y，TANG G Y，ZHAO L，et al．Single I mage haze removal based on concentration scale prior［C］//2020 5th International Conference on Computer and Communication Systems （ICCCS）．Shanghai，China： IEEE，2020：309-313． [百度学术]

孙景荣，谢林昌，杜梦欣，等. 一种非线性变换的自适应透射率去雾算法［J］. 西安电子科技大学学报， 2022，49（1）：208-215. [百度学术]

SUN J R， XIE C L， DU M X， et al. An adaptive transmittance defogging algorithm for nonlinear transformation［J］. Journal of Xidian University， 2022，49（1）：208-215. （in Chinese） [百度学术]

ZHANG H，PATEL V M．Densely connected pyramid dehazing network［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，UT，USA．IEEE，2018：3194-3203． [百度学术]

LI B Y，PENG X L，WANG Z Y，et al．AOD-net：all-in-one dehazing network［C］//2017 IEEE International Conference on Computer Vision （ICCV）．Venice，Italy．IEEE，2017：4780-4788． [百度学术]

YANG Y，WANG C Y，LIU R S，et al．Self-augmented unpaired image dehazing via density and depth decomposition［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．New Orleans，LA，USA．IEEE，2022：2027-2036． [百度学术]

CHEN D D，HE M M，FAN Q N，et al．Gated context aggregation network for image dehazing and deraining［C］//2019 IEEE Winter Conference on Applications of Computer Vision （WACV）．Waikoloa，HI，USA： IEEE，2019：1375-1383． [百度学术]

SINGH A，BHAVE A，PRASAD D K．Single image dehazing for a variety of haze scenarios using back projected pyramid network［C］//European Conference on Computer Vision．Cham：Springer，2020：166-181． [百度学术]

QIN X，WANG Z L，BAI Y C，et al．FFA-net：feature fusion attention network for single image dehazing［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915． [百度学术]

YEH C H，HUANG C H，KANG L W．Multi-scale deep residual learning-based single image haze removal via image decomposition［J］．IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2019：29： 3153-3167. [百度学术]

REN W Q， LIU S， ZHANG H，et al. Single image dehazing via multi-scale convolutional neural networks［C］//European Conference on Computer Vision．Cham：Springer，2016：154-169． [百度学术]

LIU R S，FAN X，HOU M J，et al．Learning aggregated transmission propagation networks for haze removal and beyond［J］. IEEE Transactions on Neural Networks and Learning Systems，2019，30（10）：2973-2986． [百度学术]

ULLAH H，MUHAMMAD K，IRFAN M，et al.Light-DehazeNet：a novel lightweight CNN architecture for single image dehazing［J］．IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2021，30：8968-8982. [百度学术]

SUN W，WANG H，SUN C H，et al.Fast single image haze removal via local atmospheric light veil estimation［J］.Computers & Electrical Engineering：An International Journal，2015，46：371-383． [百度学术]

邓建国，张素兰，张继福，等．监督学习中的损失函数及应用研究［J］．大数据，2020，6（1）：60-80． [百度学术]

DENG J G，ZHANG S L，ZHANG J F，et al．Loss function and application research in supervised learning［J］．Big Data Research，2020，6（1）：60-80．（in Chinese） [百度学术]

ZHAO H，GALLO O，FROSIO I，et al．Loss functions for image restoration with neural networks［J］．IEEE Transactions on Computational Imaging，2017，3（1）：47-57． [百度学术]

LOSHCHILOV I， HUTTER F. Sgdr： stochastic gradient descent with warm restarts［J］. arXiv preprint arXiv：1608.03983， 2016. [百度学术]

KINGMA D P， BA J. Adam： a method for stochastic optimization［J］. arXiv preprint arXiv：1412.6980， 2014. [百度学术]

SILBERMAN N，HOIEM D，KOHLI P，et al．Indoor segmentation and support inference from RGBD images［C］//European Conference on Computer Vision．Berlin，Heidelberg：Springer，2012：746-760． [百度学术]

LI B Y，REN W Q，FU D P，et al．Benchmarking single image dehazing and beyond［J］. IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2018： 28（1）： 492-505． [百度学术]

CAI B L，XU X M，JIA K，et al．DehazeNet：an end-to-end system for single image haze removal［J］．IEEE Transactions on Image Processing：A Publication of the IEEE Signal Processing Society，2016，25（11）：5187-5198． [百度学术]

WU H Y，LIU J，XIE Y，et al．Knowledge transfer dehazing network for NonHomogeneous dehazing［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）．Seattle，WA，USA：IEEE，2020：1975-1983． [百度学术]

HAUTIÈRE N，TAREL J P，AUBERT D，et al．Blind contrast enhancement assessment by gradient ratioing at visible edges［J］．Image Analysis & Stereology，2011，27（2）：87-95． [百度学术]

作者稿件一经被我刊录用，如无特别声明，即视作同意授予我刊论文整体的全部复制传播的权利，包括但不限于复制权、发行权、信息网络传播权、广播权、表演权、翻译权、汇编权、改编权等著作使用权转让给我刊，我刊有权根据工作需要，允许合作的数据库、新媒体平台及其他数字平台进行数字传播和国际传播等。特此声明。

关闭

首页

期刊简介

编委会

作者中心

下载中心

学术道德

常见问题

版权声明

联系我们

English

基于双支特征联合映射的端到端图像去雾算法 PDF

摘要

关键词

1 大气成像模型