摘要
在智慧交通系统和城市安全领域中,准确获取车辆信息至关重要. 通过视频或图像等视觉识别手段可以直接获取车辆相关信息. 然而,在低光照环境下,图像亮度和对比度降低、噪声增加、图像细节特征易丢失,这些问题导致车辆目标检测算法的精度大大降低. 为此,提出了一种基于低光照图像增强算法和改进目标检测算法的车辆检测方法. 首先,利用图像增强算法ZeroDCE对低光照图像进行增强,以提升图像亮度; 然后,利用改进的AFF-YOLO目标检测网络对增强后的图像进行车辆检测;最后,将本文方法在车辆数据集上进行测试,并分析不同低光照等级对于车辆检测精度的影响. 结果表明,本文方法能够有效提升车辆目标检测的精度,与低光照图像相比,增强后图像的目标检测精度mAP@0.5提升了4.9%,达到94.7%;而且光照强度越低,增强后图像的目标检测精度提升越显著. 研究成果可为低照度环境下的车辆检测提供参考.
车辆检测在智慧交通系统以及城市安全等领域发挥着重要作
初期的车辆目标检测研究是基于经典的图像处理算法,如背景差分
低光照图像增强技术是通过提升图像亮度和对比度来提高图像质量,同时尽量抑制图像噪声的放大和伪影的产
针对低照度环境下车辆目标检测精度低的问题,本文提出了一种结合低光照图像增强算法和改进目标检测算法的车辆检测方法,实现低光照环境下车辆的高精度检测. 首先,在目标检测网络之前引入低光照图像增强算法ZeroDCE作为前处理,以提升图像的亮度和对比度; 其次,将增强之后的图像输入到AFF-YOLO网络中进行车辆检测; 最后,在车辆数据集上验证了本文方法的可行性,并分析了不同低光照等级对目标检测精度的影响. 研究成果可为低照度环境下的车辆检测提供参考.
1 车辆检测的基本流程
针对低光照环境下车辆检测准确度下降的问题,本文提出了一种基于低光照图像增强算法的车辆目标检测方法.

图1 车辆检测应用场景
Fig.1 Scenario of the application of vehicle detection
基于低光照图像增强的车辆检测流程如

图2 车辆检测流程图
Fig.2 Flowchart of vehicles detection
2 低光照图像增强
2.1 ZeroDCE网络结构
ZeroDCE网络是通过逐像素曲线调整的方式进行低光照图像增

图3 ZeroDCE网络结构及曲线调整参数估计过程
Fig.3 Architecture of ZeroDCE and the process of curve adjustment parameter estimation
得到曲线调整参数后,利用该参数对低光照图像灰度值进行迭代,迭代公式如
(1) |
式中:x为像素点坐标;I(x)为对应位置的像素值;α为像素点坐标和颜色通道的曲线调整参数,且α∈[-1,1];LE(I(x); α)为对输入像素值I(x)进行迭代的结果.
根据

图4 低光照图像增强过程
Fig.4 Low-light image enhancement process

图5 像素调整曲线
Fig.5 Illustration of pixel adjustment curves
2.2 ZeroDCE损失函数
ZeroDCE算法设计了独特的无参考损失函数,不需要任何配对或非配对数据,相较于其他低光增强算法更为轻量和高效. 这些损失函数包括以下4个关键部分:
1) 空间一致性损失函数,确保在图像增强后图像的空间结构(如边缘和纹理)得到保留,避免因图像增强产生空间失真. 其表达式如
(2) |
式中:K为图像中4像素×4像素的局部区域的数量;Ω(i)是以区域i为中心的上下左右4个邻域;和分别为增强后图像中区域i及其4个邻域的平均灰度值;和分别为原始低光照图像中区域i及其4个邻域的平均灰度值.
2) 曝光控制损失函数,用于调整图像的曝光水平,使增强后的图像达到适当的亮度水平,避免过曝光或欠曝光. 其表达式如
(3) |
式中:M为图像中16像素×16像素的不重叠区域的数量;为局部区域的平均灰度值;E为视觉效果较好情况下的图像曝光水平,取为0.6.
3) 颜色稳定性损失函数,用于保持图像的颜色稳定性,以确保增强过程中图像的颜色不会发生不自然的变化. 其表达式如
(4) |
式中:(p,q)代表一对图像颜色通道,即(p,q)∈{(R,G),(R,B),(G,B)};和分别为p通道和q通道的图像平均灰度值.
4) 光照平滑度损失函数,用于保证图像增强过程中光照变化的平滑性,避免图像出现不自然的光照突变. 其表达式如
(5) |
式中:N为迭代次数;∇x和∇y表示x和y方向上的图像梯度算子;A为第n次迭代时对应图像颜色通道c的像素调整参数,c分别为R、G和B通道.
将上述的4个损失函数进行组合,构成ZeroDCE网络的总损失函数,如
(6) |
式中:w1、w2、w3和w4为平衡各项损失值的权重,其取值分别为1、10、5和200.
在ZeroDCE图像增强模块训练时,使用SICE(Scene Illumination and Contrast Enhancement)多曝光图像数据集. SICE数据集包含了589个不同场景下的图像,其中包括各种不同曝光程度的图像和相应的正常光照图像. 在该数据集训练100个Epoch后,ZeroDCE网络的损失值收敛,得到可用于车辆目标检测前处理的图像增强模型. 训练时采用Adam优化器,批大小(batch size)取8,学习率取0.000 1,权重衰减因子(weight decay)取0.000 1.
3 低光照目标检测
3.1 AFF-YOLO网络
YOLOv7是2022年提出的YOLO系列目标检 测算法之一,在5~160 帧/s范围内的检测速度和准确度超过了其他目标检测算
AFF-YOLO的基本结构由输入(input)、骨干网络(backbone)和头部(head)组成. 其中骨干网络用于提取图像中的多尺度特征,头部用于对骨干网络提取的特征进行进一步处理并根据图像深层特征预测目标位置和类别.
3.2 注意力特征融合
多尺度通道注意力模块(Multi-scale Channel Attention Block,MS-CAB)可以融合图像的局部和全局特征,缓解目标检测过程中存在的目标尺度变换问题. 基于MS-CAB模块设计迭代AFF模块,并利用AFF取代原有YOLO的特征融合模块,从而实现不同网络层特征的融合. 改进的YOLOv7网络见

图6 改进的YOLOv7网络
Fig.6 Improved YOLOv7 network

图7 MS-CAB模块和AFF模块
Fig.7 MS-CAB block and AFF block
(a)MS-CAB (b)AFF
3.3 网络训练
UA-DETRA

图8 UA-DETRAC数据集
Fig.8 UA-DETRAC dataset
在UA-DETRAC中随机选取6 567张图片作为训练集,记为UA-DETRAC_train. 在UA-DETRAC_train上采用相同的超参数分别训练YOLOv7和AFF-YOLO. 训练轮数(epoch)取100,批大小取32. 训练过程所采用的其他超参数为:采用随机梯度下降(SGD)优化算法,初始学习率取0.01,权重衰减因子为0.000 5,并且训练过程中采用随机缩放和裁剪、随机旋转和反转、随机亮度调整和马赛克图像增强等技术对数据集进行增强. 训练所采用的配置为:操作系统为64位Windows10 21H2,CPU为Intel i7-9700K@3.6GHz,GPU为NVIDIA TITAN RTX;软件环境为:Python 3.8.5、PyTorch 1.12.1以及CUDA 11.2.
4 结果分析
4.1 测试数据集
在长沙市绕城高速某处架设高清相机拍摄交通流,来验证本文方法的可行性和识别准确性. 相机架设位置如

图9 相机架设位置及交通流图像示意图
Fig.9 Illustration of camera installation location and traffic flow image
(a)相机架设位置 (b)交通流图像
为了分析不同低光照程度对图像质量和目标检测的影响,将所有测试集图像从RGB空间变换到HSV空间以获取图像的平均亮度值,并利用k-means聚类算法将所有图像划分为3组,其平均亮度值如

图10 图像亮度分布
Fig.10 Distribution of image brightness
4.2 低光照图像增强结果
将测试的低光照图像输入ZeroDCE网络进行图像增强,其结果如

图11 低光照图像及图像增强结果
Fig.11 Low-light images before and after enhancement
(a)低光照图像 (b)ZeroDCE增强图像
为了定量评估图像增强的有效性,选用PIQE(Perception-based Image Quality Evaluator)和基于深度学习的MUSIQ(Multi-scale Image Quality Transformer)2种无参考图像质量评价指标对低光照图像和增强后的图像进行测试,结果如
低光照图像增强算法 | PIQE | MUSIQ |
---|---|---|
不增强 | 14.05 | 23.37 |
ZeroDCE | 6.84 | 27.50 |
不同低光照程度对图像质量的影响如
低光照 等级 | 亮度范围 | 低光照图像 增强算法 | PIQE | MUSIQ |
---|---|---|---|---|
1 | 17.34~32.27 | 不增强 | 14.73 | 21.73 |
ZeroDCE | 5.11 | 25.50 | ||
2 | 32.28~45.96 | 不增强 | 13.82 | 23.65 |
ZeroDCE | 8.68 | 26.74 | ||
3 | 46.13~69.75 | 不增强 | 12.94 | 26.72 |
ZeroDCE | 7.24 | 33.77 |
4.3 目标检测结果
为了说明本文方法的优势,首先对比了8种不同增强算法的性能,从增强算法对目标检测精度的提升效果、算法的参数量和运行速度三个方面进行对比,结果如
低光照图像增强算法 | mAP@0.5 | 参数量 | 平均处理时间/(s∙ | 年份 | |
---|---|---|---|---|---|
YOLOv7 | AFF-YOLO | ||||
原始低光照图像 | 0.898 | 0.931 | — | — | — |
DeepUPE | 0.898 | 0.922 | 0.594 4 M | 0.109 6 | 2019 |
EnlightenGAN | 0.898 | 0.945 | 8.637 0 M | 1.459 8 | 2019 |
MBLLEN (SynWithNoise) | 0.913 | 0.939 | 0.450 0M | 0.936 5 | 2018 |
RUAS (UPE) | 0.896 | 0.919 | 0.003 4 M | 0.679 4 | 2021 |
SCI (Easy) | 0.910 | 0.928 | 258 | 0.658 4 | 2022 |
STARDCE (VE_LOL) | 0.919 | 0.943 | 0.027 5 M | 0.178 8 | 2021 |
URetinexNet | 0.927 | 0.947 | 0.340 1 M | 0.995 1 | 2022 |
ZeroDCE | 0.938 | 0.947 | 0.079 4 M | 0.168 9 | 2020 |
注: 1. 括号中为训练采用的数据集或网络结构形式;2. M为百万(Million)的缩写.
从
图像中的车辆目标根据其大小可以分为小尺度、中等尺度目标和大尺度目标,测试集中只有中等尺度和大尺度目标,相应的检测结果如
目标检测算法 | 低光照图像增强算法 | mAP@0.5 | ||
---|---|---|---|---|
所有目标 | 中等尺度目标 | 大尺度 目标 | ||
YOLOv7 | 不增强 | 0.898 | 0.357 | 0.951 |
ZeroDCE | 0.938 | 0.570 | 0.959 | |
AFF-YOLO | 不增强 | 0.931 | 0.453 | 0.962 |
ZeroDCE | 0.947 | 0.677 | 0.961 |
注: 中等尺度目标为面积介于32像素×32像素至96像素×96像素的目标;大尺度目标为面积大于96像素×96像素的目标.
同时,将图像根据低光照程度分为三个等级,不同低光照等级的车辆目标检测结果,如
低光照等级 | 亮度范围 | 低光照图像 增强算法 | mAP@0.5 | |
---|---|---|---|---|
YOLOv7 | AFF-YOLO | |||
1 | 17.34~32.27 | 不增强 | 0.874 | 0.925 |
ZeroDCE | 0.932 | 0.941 | ||
2 | 32.28~45.96 | 不增强 | 0.911 | 0.942 |
ZeroDCE | 0.941 | 0.949 | ||
3 | 46.13~69.75 | 不增强 | 0.925 | 0.932 |
ZeroDCE | 0.948 | 0.955 |
最后通过图像热力图来测试ZeroDCE前处理对目标检测的影响. 利用GradCAM(Gradient-weighted Class Activation Mapping)对低光照图像和经过 ZeroDCE增强的图像在YOLO中的特征信息进行可视化,如

图12 GradCAM热力图
Fig.12 Heatmaps produced by GradCAM
(a)低光照图像 (b)ZeroDCE增强图像
5 结 论
针对低光照环境下车辆检测精度低的问题,本文提出了一种基于低光照图像增强算法和改进目标检测算法的车辆检测方法,得出以下结论:
1) ZeroDCE低光照图像增强算法可显著改善低光照环境下的图像质量,为低光照环境下的车辆目标检测提供了基础.
2) 低光照环境中,基于深度学习的目标检测算法精度大幅下降,而低光照图像增强算法可以有效地提升目标检测精度,并且对中、小尺度目标检测精度的提升更加明显.
3) 提出了注意力特征融合YOLO算法,通过融合图像的局部和全局特征,缓解了目标检测过程中存在的多尺度目标检测困难的问题.
本文方法不仅提高了低光照环境下的图像质量,还提升了车辆检测的准确性和鲁棒性. 研究结果对于智慧交通系统、自动驾驶技术以及安全监控领域具有重要的借鉴意义. 在未来的研究中,会将本文方法应用于更复杂场景下的车辆检测.
参考文献
王艳芬,朱绪冉,云霄,等.面向公共安全监控的多摄像机车辆重识别[J].西安电子科技大学学报,2019,46(4):190-196. [百度学术]
WANG Y F,ZHU X R,YUN X,et al.Vehicle re-identification by multi-cameras for public security surveillance[J].Journal of Xidian University,2019,46(4):190-196.(in Chinese) [百度学术]
钱烺.面向智慧交通的城市高排放车辆限行管理系统设计与实现[D].武汉:华中科技大学,2022:1-6. [百度学术]
QIAN L.Design and implementation of an urban high-emission vehicle restriction management system for intelligent transportation[D].Wuhan:Huazhong University of Science and Technology,2022:1-6.(in Chinese) [百度学术]
ZAURIN R,KHUC T,CATBAS F N.Hybrid sensor-camera monitoring for damage detection:case study of a real bridge[J].Journal of Bridge Engineering,2016,21(6):05016002. [百度学术]
SHU M,ZHONG Y F,LÜ P Y.Small moving vehicle detection via local enhancement fusion for satellite video[J].International Journal of Remote Sensing,2021,42(19):7189-7214. [百度学术]
CHEN Z C,LI H,BAO Y Q,et al.Identification of spatio-temporal distribution of vehicle loads on long-span bridges using computer vision technology[J].Structural Control and Health Monitoring,2016,23(3):517-534. [百度学术]
SUN Z,BEBIS G,MILLER R.On-road vehicle detection using optical sensors:a review[C]//Proceedings of The 7th International IEEE Conference on Intelligent Transportation Systems.Washington,WA,USA: IEEE,2004:585-590. [百度学术]
CHEN Z W,FENG Y L,ZHANG Y,et al.An accurate and convenient method of vehicle spatiotemporal distribution recognition based on computer vision[J].Sensors,2022,22(17):1-17. [百度学术]
ZHANG B,ZHOU L M,ZHANG J.A methodology for obtaining spatiotemporal information of the vehicles on bridges based on computer vision[J].Computer-Aided Civil and Infrastructure Engineering,2019,34(6):471-487. [百度学术]
GE L F,DAN D H,KOO K Y,et al.An improved system for long-term monitoring of full-bridge traffic load distribution on long-span bridges[J].Structures,2023,54:1076-1089. [百度学术]
ZHOU Y,PEI Y L,LI Z W,et al.Vehicle weight identification system for spatiotemporal load distribution on bridges based on non-contact machine vision technology and deep learning algorithms[J].Measurement,2020,159:107801. [百度学术]
周云,胡锦楠,赵瑜,等.基于卡尔曼滤波改进压缩感知算法的车辆目标跟踪[J].湖南大学学报(自然科学版),2023,50(1):11-21. [百度学术]
ZHOU Y,HU J N,ZHAO Y,et al.Vehicle target tracking based on Kalman filtering improved compressed sensing algorithm[J].Journal of Hunan University (Natural Sciences), 2023, 50(1):11-21.(in Chinese) [百度学术]
ZHU J S,LI X T,ZHANG C,et al.An accurate approach for obtaining spatiotemporal information of vehicle loads on bridges based on 3D bounding box reconstruction with computer vision[J]. Measurement, 2021, 181: 109657. [百度学术]
胡忆平.基于深度学习的夜间车辆检测算法研究[D].长沙:湖南大学,2022:3-8. [百度学术]
HU Y P.Research on night vehicle detection algorithm based on deep learning[D].Changsha:Hunan University,2022:3-8.(in Chinese) [百度学术]
WANG Y,XIE W J,LIU H Q.Low-light image enhancement based on deep learning:a survey[J].Optical Engineering,2022,61:040901. [百度学术]
AL SOBBAHI R,TEKLI J.Comparing deep learning models for low-light natural scene image enhancement and their impact on object detection and classification:overview,empirical evaluation,and challenges[J].Signal Processing:Image Communication,2022, 109:116848. [百度学术]
马龙,马腾宇,刘日升.低光照图像增强算法综述[J].中国图象图形学报, 2022, 27(5): 1392-1409. [百度学术]
MA L,MA T Y,LIU R S.The review of low-light image enhancement[J].Journal of Image and Graphics,2022,27(5):1392-1409.(in Chinese) [百度学术]
ABDULLAH-AL-WADUD M,KABIR M H,ALI AKBER DEWAN M,et al.A dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics, 2007, 53(2): 593-600. [百度学术]
HUANG S C,CHENG F C,CHIU Y S.Efficient contrast enhancement using adaptive gamma correction with weighting distribution[J].IEEE Transactions on Image Processing, 2013,22(3): 1032-1041. [百度学术]
LAND E H.The retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-128. [百度学术]
LI C Y,GUO C L,HAN L H,et al.Low-light image and video enhancement using deep learning:a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(12):9396-9416. [百度学术]
YU R S,LIU W Y,ZHANG Y S,et al.DeepExposure:learning to expose photos with asynchronously reinforced adversarial learning[C]//Proceedings of the 32nd International Conference on Neural Information Processing Systems.Montréal,Canada:ACM,2018:2153-2163. [百度学术]
GUO C L,LI C Y,GUO J C,et al.Zero-reference deep curve estimation for low-light image enhancement[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle,WA,USA:IEEE, 2020: 1777-1786. [百度学术]
LI C Y,GUO C L,LOY C C.Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(8):4225-4238. [百度学术]
WANG C Y,BOCHKOVSKIY A,LIAO H Y M.YOLOv7:trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Vancouver,BC,Canada:IEEE,2023:7464-7475. [百度学术]
WEN L Y,DU D W,CAI Z W,et al.UA-DETRAC:a new benchmark and protocol for multi-object detection and tracking[J].Computer Vision and Image Understanding,2020,193:102907. [百度学术]
PADILLA R,NETTO S L,DA SILVA E A B.A survey on performance metrics for object-detection algorithms[C]//2020 International Conference on Systems,Signals and Image Processing (IWSSIP).Niteroi,Brazil:IEEE,2020:237-242. [百度学术]