摘要
目前一些基于CNN的方法在去雾方面有着不错的性能,但网络鲁棒性欠佳.这主要归因于雾霾分布复杂和数据集难以收集,导致去雾过程中纹理细节丢失严重并且在小规模数据集上存在严重的过拟合问题.为了解决上述问题,提出了空频联合的双分支结构.上分支捕获更多的纹理细节,利用三级小波变换在频域中获取特征;下分支提升网络泛化能力,采用域迁移方法在空域中提供额外的知识先验,以Res2Net作为该分支的核心部分.最后,本文在NH-HAZE数据集上对模型进行训练,在I-HAZE和NTIRE 2023数据集上进行泛化能力测试.此外,为了保证实验的公平性,本文对所有对比算法也采用NH-HAZE数据集进行训练.实验结果表明,本文网络在细节纹理恢复和泛化能力方面获得了显著提升.
恶劣天气条件(如雾、尘霾、雾霾)极大程度上降低了物体可见度,对计算机视觉应
目前已有的图像去雾方法可以分为基于传统先验方法和基于深度学习方法两类.传统方法通过先验信息估计传输图和大气光,使用大气散射模
针对上述问题,本文提出了一种基于知识迁移修正的双分支网络.上分支通过三级小波变换,构建基于残差密集块的HConvBlock提取高频信息特征,基于UNet框架的LConvBlock提取低频信息特征,以便在频域中捕获更多细节.下分支采用Res2Net作为知识先验,通过来自大数据集分类任务获取额外信息,并将其迁移到去雾域,提升其网络泛化能力.通过主观和客观两个方面与其他一些主流算法进行对比,实验结果表明本文所提模型取得了更好的去雾效果和泛化能力.
综上所述,本文主要贡献如下:
1)提出基于三级小波变换的UNet网络,通过在频域中使用高频卷积块HConvBlock和低频卷积块LConvBlock捕获更多纹理和结构特征.
2)下分支以域迁移思想作为核心,构建知识迁移结构,使用在ImageNet 1K数据集上预训练的Res2Net的前三个阶段作为迁移模块的编码器,使用像素混淆和注意力机制作为解码器.该分支设计主要解决极少训练数据集下模型泛化能力不足问题.
3)为了进一步探究网络泛化能力,本文以NH-HAZE的80%作为训练数据集,20%作为训练测试集,此外还使用NTIRE 2023和I-HAZE作为迁移测试数据集,即迁移数据集与训练集风格差异较大.最后,与其他模型进行比对测试其泛化能力.
1 本文算法
本文提出的去雾网络,如

图1 网络总体结构图
Fig.1 Network overall structure diagram
1.1 T-DWT分支
该分支总体架构采用UNet模型.为了在去雾任务过程中获得更多纹理细节,本文基于三级离散小波变换的引导,提出在特征提取阶段使用离散小波变换来代替传统下采样方法.本文将通过DWT产生不同尺度的3维低频信息(LL)和9维高频信息(LH、HL和HH维度叠加).低频信息、高频信息分别采用LConvBlock模块、HConvBlock模块提取特征.
1.1.1 离散小波变换DWT
在二维离散小波变换中,有低通滤波器FLL和高通滤波器FLH,FHL,FHH四个滤波器.这些滤波器具有固定的参数,在变换过程中进行步长为2的卷积操作,因此通过与每个卷积核进行卷积,图像特征被分解为四个子图,即XLL,XLH,XHL和XHH.本文可以将XLL定义为
(1) |
式中:⊗表示卷积运算;X为输入信号;↓2表示尺度因子为2的下采样.
本文采用离散小波变换思想,使用三级小波变换代替传统的下采样.如

图2 三级小波变换
Fig.2 Third level wavelet transform graph
1.1.2 高频信息处理块HConvBlock
HConvBlock模块结构如

图3 高频信息处理块
Fig.3 High frequency information processing block
该模块首先通过四层普通卷积来提取特征,使用密集残差块连接减少传递过程中信息损失,再通过ReLU激活函数引入非线性因素后采用空间注意力PA获得空间依赖关系,最后通过Tanh激活.
1.1.3 低频信息处理块LConvBlock
LConvBlock模块结构如

图4 低频信息处理块
Fig.4 Low frequency information processing block
该模块使用卷积-激活函数-卷积的模式作为信息采集块,在引入非线性因素的同时轻量化网络.本文使用Stride=2的卷积核进行下采样,在缩小尺度的同时获取更大的视野和更宽的维度.在上采样的过程中,本文使用参数可学习的反卷积进行上采样任务.
1.2 迁移先验分支
该分支采用编码器-解码器作为主体架构.为了使该网络在小规模数据集下具有较强的泛化能力,本文引入域迁移思想,使其在图像分类任务中获得的先验知识迁移到去雾任务中.编码器采用ImageNe
Res2Net在图像分类域中经过大规模数据训练,以获得大量图像先验信息,本文通过知识迁移的方式,使用预训练将其知识先验嵌入网络中.由于本文网络使用巨额知识先验作为引导,其网络学习能力和泛化能力得到显著提升.
像素混淆(pixel shuffle)以牺牲维度为代价获得特征尺度增加,相比于传统的上采样方法可以极大地减少巨额维度导致的运算负担.如

图5 像素混淆
Fig.5 Pixel shuffle
本文在每次上采样后经过注意力Attention块来识别动态模糊特征.如

图6 注意力块
Fig.6 Attention block
最后本文引入两个卷积核大小为7的卷积层对两个分支特征进行融合,获得最终的去雾图像.
1.3 损失函数
1.3.1 平滑L1损失
平滑L1损
(2) |
(3) |
式中:N表示总像素数;i表示第i个像素;Out表示输出图像;J表示真实图像;x表示输出图像与真实图像之间的差距.
1.3.2 MS-SSIM损失
结构相似性损
(4) |
式中:Out表示输出图像;J表示真实图像;表示输出图像和真实图像的均值;表示输出图像和真实图像的协方差;表示输出图像和真实图像的方差;表示防止分母为0的常数.MS-SSIM损失是使用M级SSIM计算所得,损失函数定义为
(5) |
(6) |
1.3.3 对抗损失
对抗损失能够约束迁移网络的迁移方向,使其匹配去雾任务.对抗损失函数定义为
(7) |
式中:D表示判别器;G表示生成器;N表示总像素数;
1.3.4 感知损失
感知损
(8) |
式中:Hj、Wj、Cj表示第j层特征图高度、宽度和通道;ϕj是第j层激活;
1.3.5 总损失函数
本文总损失如
(9) |
2 实验结果及分析
2.1 数据集及训练设置
本文算法在NH-HAZ
算法基于Pytorch框架实现,在Ubuntu环境下采用NVIDIA V100 GPU进行训练,使用Adam优化器进行优化,参数为默认值.初始学习率设置为1
2.2 去雾质量定性分析
为了验证本文方法的有效性,采用了单一变量原则进行验证.本文对AOD-Net、GCA-Net、FFA-Net、DW-GAN和RIDCP五种算法统一采用NH-HAZE(室外)数据集训练500轮,其余训练参数和模式保持完全一致,并使用NTIRE 2023(室外)和 I-HAZE(室内)数据集进行泛化能力测试.
训练集测试.不同方法在NH-HAZE数据集中测试的效果对比,如

图7 不同算法在NH-HAZE测试集上的复原结果
Fig.7 Restoration results of different algorithms on NH-HAZE test set
(a)HAZY (b)AOD-Net (c)FFA-Net (d)GCA-Net (e)DW-GAN (f)RIDCP (g)Ours (h)GT
泛化能力测试一.

图8 不同算法在I-HAZE测试集上的复原结果
Fig.8 Restoration results of different algorithms on I-HAZE test set
(a)HAZY (b)AOD-Net (c)FFA-Net (d)GCA-Net (e)DW-GAN (f)RIDCP (g)Ours (h)GT
泛化能力测试二.

图9 不同算法在NTIRE2023测试集上的复原结果
Fig.9 Restoration results of different algorithms on NTIRE2023 test set
(a)HAZY (b)AOD-Net (c)FFA-Net (d)GCA-Net (e)DW-GAN (f)RIDCP (g)Ours (h)GT
各类算法在真实图像中的恢复效果如

图10 不同算法在真实图像中的复原结果
Fig.10 The restoration results of different algorithms in real images
2.3 去雾质量定量分析
本文在一个训练测试数据集和两个迁移测试数据集上从定量的客观角度进行评价.采用峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性(structural similarity, SSIM)来测试不同算法的图像复原效
算法 | NH-HAZE PSNR/SSIM | I-HAZE PSNR/SSIM | NTIRE 2023 PSNR/SSIM |
---|---|---|---|
AOD-Net | 14.35/0.470 2 | 14.62/0.631 1 | 13.79/0.494 8 |
GCA-Net | 24.10/0.780 4 | 14.78/0.549 8 | 18.86/0.698 9 |
FFA-Net | 22.88/0.785 5 | 16.53/0.663 4 | 18.68/0.719 0 |
DW-GAN | 25.91/0.870 1 | 19.00/0.720 9 | 20.13/0.776 4 |
RIDCP | 27.01/0.911 3 | 18.51/0.672 4 | 18.91/0.729 0 |
Ours | 27.73/0.900 9 | 19.72/0.712 5 | 21.75/0.798 2 |
通过实验数据可以看出,本文方法的PSNR值在所有的比较方法和测试集中是最高的.在训练数据集NH-HAZE中的SSIM值仅比最新的RIDCP低0.010 4.在迁移测试数据集中,PSNR比同样采用知识迁移网络的DW-GAN高0.72(I-HAZE)和1.62(NTIRE 2023).在I-HAZE中SSIM比DW-GAN低0.008 4,在NTIRE 2023中SSIM比DW-GAN高0.021 8.
在运行时间对比中,如
算法 | AOD-Net | GCA-Net | FFA-Net | DW-GAN | RIDCP | Ours |
---|---|---|---|---|---|---|
时间/s | 0.027 4 | 0.031 4 | 0.157 8 | 0.051 8 | 0.060 5 | 0.055 7 |
结果进一步表明,本文方法在细节捕获和泛化能力方面有显著提升.
2.4 消融实验
为了证明本文算法中各部分的有效性,首先对单个分支进行消融实验,其次对上分支中的三级小波变换和下分支中的注意力机制模块进行消融实验.
本文构造了五个不同的变体:
1)1-DWT:使用一级小波变换提取纹理细节.
2)2-DWT:使用二级小波变换提取纹理细节.
3)3-DWT:使用三级小波变换提取纹理细节.
4)Res2Net:使用迁移网络作为下分支的编码器,解码器仅采用像素混淆.
5)Res2Net+A: 使用迁移网络作为下分支的编码器,解码器采用像素混淆+注意力机制.
本文方法:采用T-DWT+(Res2Net+A).
上述模型在NH-HAZE数据集上训练,在I-HAZE和NTIRE 2023数据集上进行迁移测试.
Model | NH-HAZE(训练测试) | I-HAZE(泛化测试) | NTIRE 2023(泛化测试) | |||
---|---|---|---|---|---|---|
PSNR | SSIM | PSNR | SSIM | PSNR | SSIM | |
1-DWT | 22.90 | 0.739 23 | 13.654 8 | 0.593 89 | 17.125 4 | 0.597 14 |
2-DWT | 24.59 | 0.775 1 | 15.098 4 | 0.601 28 | 18.108 5 | 0.618 49 |
3-DWT | 26.21 | 0.833 96 | 16.670 1 | 0.641 97 | 18.812 1 | 0.666 37 |
Res2Net | 23.89 | 0.851 38 | 18.214 4 | 0.619 82 | 19.141 2 | 0.727 93 |
Res2Net+A | 25.87 | 0.842 51 | 18.396 4 | 0.635 28 | 19.635 4 | 0.738 41 |
本文方法 | 27.73 | 0.900 91 | 19.725 | 0.712 35 | 21.754 | 0.798 23 |
为了进一步表明所提模块的有效性,对四个变体和最终网络的去雾结果进行主观比较,如

图11 消融实验主观对比
Fig.11 Ablation study subjective comparison
综上所述,消融实验表明上分支提升了图像细节纹理提取能力,下分支能克服小数据集下网络泛化能力不佳的问题,每个分支都对提升图像复原结果的质量起着促进的作用,使网络达到最佳的去雾效果.
3 结束语
本文提出了一种知识迁移修正的三级小波变换去雾算法.首先,通过三级小波变换代替传统的下采样方式,在频域中通过高低频特性获取丰富的细节信息.其次,通过预训练的Res2Net引入额外的先验信息,从而进一步提升网络的泛化能力.最后,通过聚合双分支网络特征,提升复原效果和泛化能力.此外,大量实验证明了本文方法的有效性及在图像去雾中的效果.
参考文献
XIONG Y Y,LIU H X,GUPTA S,et al.MobileDets:searching for object detection architectures for mobile accelerators[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville,TN,USA.IEEE,2021:3824-3833. [百度学术]
GUO J Z,ZHU X Y,YANG Y,et al.Towards fast,accurate and stable 3D dense face alignment[M]//Computer Vision – ECCV 2020.Cham:Springer International Publishing,2020:152-168. [百度学术]
贾晓芬,江再亮,赵佰亭.裂缝小目标缺陷的轻量化检测方法[J].湖南大学学报(自然科学版),2024,51(6):52-62. [百度学术]
JIA X F,JIANG Z L,ZHAO B T.Lightweight detection method for small crack target defects[J].Journal of Hunan University (Natural Sciences),2024, 51(6): 52-62.(in Chinese) [百度学术]
薛珊, 卢涛, 吕琼莹, 等.基于多尺度融合和轻量化网络的无人机目标检测算法[J].湖南大学学报(自然科学版), 2023,50(8):82-93. [百度学术]
XUE S,LU T,LÜ Q Y,et al.Drone target detection algorithm based on multi-scale fusion and lightweight network[J].Journal of Hunan University (Natural Sciences),2023,50(8):82-93.(in Chinese) [百度学术]
CANTOR A. Optics of the atmosphere: scattering by molecules and particles[J].IEEE Journal of Quantum Electronics, 1978,14(9): 698-699. [百度学术]
CHEN B H. Using physical models and image processing techniques efficient dehazing algorithm prior[C]//2023 IEEE International Conference on Image Processing and Computer Applications (ICIPCA). Changchun,China.IEEE,2023:664-668. [百度学术]
M N B, KAULGUD N. Wavelet-based method for enhancing the visibility of hazy images using Color Attenuation Prior[C]//2023 International Conference on Recent Trends in Electronics and Communication (ICRTEC). Mysore, India.IEEE, 2023: 1-6. [百度学术]
LING P Y,CHEN H A,TAN X,et al.Single image dehazing using saturation line prior[J]. IEEE Transactions on Image Processing,2023,32:3238-3253. [百度学术]
CAI B L,XU X M,JIA K,et al.DehazeNet:an end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198. [百度学术]
LI B Y,PENG X L,WANG Z Y,et al.AOD-Net:all-in-one dehazing network[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice,Italy.IEEE,2017:4780-4788. [百度学术]
CHEN D D,HE M M,FAN Q N,et al.Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa,HI,USA.IEEE,2019:1375-1383. [百度学术]
HU J,SHEN L,SUN G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City,UT,USA.IEEE,2018:7132-7141. [百度学术]
WOO S,PARK J,LEE J Y,et al.CBAM:convolutional block attention module[C]//Computer Vision-ECCV 2018.Cham:Springer International Publishing,2018:3-19. [百度学术]
VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 5998-6008. [百度学术]
GUO Y,GAO Y,LIU R W,et al.SCANet:self-paced semi-curricular attention network for non-homogeneous image dehazing[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Vancouver,BC,Canada.IEEE,2023:1885-1894. [百度学术]
QIN X,WANG Z L,BAI Y C,et al.FFA-Net:feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):11908-11915. [百度学术]
ZHENG Y,ZHAN J H,HE S F,et al.Curricular contrastive regularization for physics-aware single image dehazing[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver,BC,Canada.IEEE,2023:5785-5794. [百度学术]
FU M H,LIU H,YU Y K,et al.DW-GAN:a discrete wavelet transform GAN for nonhomogeneous dehazing[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Nashville,TN,USA.IEEE,2021:203-212. [百度学术]
WU R Q, DUAN Z P,GUO C L,et al.RIDCP:revitalizing real image dehazing via high-quality codebook priors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver,BC,Canada.IEEE,2023:22282-22291. [百度学术]
ZHOU H,DONG W,LIU Y Y, et al.Breaking through the haze:an advanced non-homogeneous dehazing method based on fast Fourier convolution and ConvNeXt[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Vancouver,BC,Canada.IEEE,2023:1895-1904. [百度学术]
DENG J,DONG W,SOCHER R,et al.ImageNet:a large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami,FL,USA.IEEE,2009:248-255. [百度学术]
GAO S H, CHENG M M, ZHAO K, et al.Res2Net:a new multi-scale backbone architecture[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(2):652-662. [百度学术]
SHI W Z,CABALLERO J,HUSZÁR F,et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas,NV,USA.IEEE,2016:1874-1883. [百度学术]
GIRSHICK R .Fast R-CNN[C]//International Conference on Computer Vision.IEEE Computer Society, 2015. [百度学术]
WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612. [百度学术]
JOHNSON J,ALAHI A,LI F F.Perceptual losses for real-time style transfer and super-resolution[M]//Computer Vision – ECCV 2016.Cham:Springer International Publishing,2016:694-711. [百度学术]
SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].2014:1409.1556.https://arxiv.org/abs/1409.1556v6. [百度学术]
ANCUTI C O,ANCUTI C,TIMOFTE R.NH-HAZE:an image dehazing benchmark with non-homogeneous hazy and haze-free images[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle,WA,USA.IEEE,2020:1798-1805. [百度学术]
ANCUTI C,ANCUTI C O,TIMOFTE R,et al.I-HAZE:a dehazing benchmark with real hazy and haze-free indoor images[C]// Advanced Concepts for Intelligent Vision Systems.Cham:Springer International Publishing,2018:620-631. [百度学术]
HE T,ZHANG Z,ZHANG H,et al.Bag of tricks for image classification with convolutional neural networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach,CA,USA.IEEE,2019:558-567. [百度学术]