摘要
为均衡增强低照度图像的同时,保留其更多的细节信息,提出一种改进Retinex低照度图像增强算法. 该算法基于HSV(Hue, Saturation, Value)颜色空间,对分离出的明度分量和饱和度分量进行增强. 首先,使用限制对比度自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)优化明度分量,使图像更接近均匀光照场景,并使用自适应Gamma对饱和度分量进行校正. 然后,采用三维块匹配滤波(Block-matching and 3D Filtering, BM3D)算法对光照分量进行估计,并求得相应的反射分量,提出一种改进Gamma变换函数,依据光照分量信息对明度分量进行增强,同时,采用Gabor滤波器和Canny算法对原图进行细节提取,提出一种细节增强策略,对反射分量及其纹理细节进行增强. 最后,将各分量进行加权融合,再将增强图像变换回RGB空间. 实验结果表明,所提算法相较于自动色彩均衡、自适应局部色调映射、低光照图像增强、带色彩恢复多尺度视网膜增强算法有更好的增强效果和普适性,且原图经过增强后,信息熵、峰值信噪比、结构相似性指数、图像质量指数、平均梯度有显著提升,均方根误差显著下降.
随着计算机视觉技术的高速发展,基于图像技术的应用领域也越来越广泛,如自动驾驶、工业生产测量、医学检查等,图像作为视觉研究领域的底层数据,高质量的图像数据是实现各种算法的关键因素之
目前,针对低照度图像细节信息质量低的问题,国内外研究者提出了一系列低照度图像增强算法,如基于空间域增强的灰度变换和直方图均衡化算法、基于频域增强的小波变换、基于Retinex理论的增强算
针对低照度图像增强后出现细节损失、颜色失真等问题,本文提出一种基于HSV颜色空间的改进Retinex算法. 该算法采用BM3D算法作为Retinex算法的中心环绕函数,实现对低照度图像光照分量的提取及反射分量的计算,并依据光照分量的信息计算校正参数,使用改进Gamma变换对明度分量进行校正,对反射分量及其纹理进行增强,实现对低照度图像亮度增强的同时有效改善图像的细节损失和色彩失真等情况.
1 相关理论
1.1 Retinex原理
Retinex理论是基于色彩恒定性和光照不变性两个性质提出的,其认为一幅图像可由物体本身的反射分量和光照分量组
(1) |
式中:S(x,y)表示原始图像;R(x,y)为反射分量; L(x,y)为光照分量.
(2) |
式中:G(x,y)为高斯函数;σ为尺度参数. 使用G(x,y)对S(x,y)作卷积操作等价L(x,y),并对
(3) |
式中:为当前像素值;为图像中最大像素值;为图像中最小像素值;为增强图像量化后的图像.
1.2 BM3D算法原理
BM3D算法是一种三维滤波算法,该算法采用块匹配的方式将图像中相似的结构块堆叠成三维矩阵后进行协同滤波处理,再将处理结果聚合到原图像块的位置. 其寻找相似块的度量公式如下:
(4) |
式中:Zx表示搜索过程中的滑动窗口;为某一参考点xR处的参考块;γ为硬阈值滤波函数,将低于阈值的数值设置为0;T为二维离散余弦变换;M为图像块尺寸.
BM3D实现过程主要包括基础估计滤波和最终估计滤波两个阶段,两个阶段都包括相似块匹配估计及分组、3D协同滤波、聚合加权等几个步骤,不同点在于第一阶段协同滤波使用的是3D协同硬阈值滤波,第二阶段使用的是3D协同维纳滤
在第一阶段,多个相似块中存在相同的某一像素x,对重复的像素点x进行加权平均再进行聚合,可获得第二阶段所需要的基础估计图像,基础估计公式为:
(5) |
式中:ybasic(x)为基础估计滤波阶段的基础估计图像;为相似群组估计值,可由相似块度量公式及相似三维数组经过一系列变换求得;和分别为三维变换和三维逆变换;为相似块的特征函数;ωh为估计权
(6) |
式中:为相似群组经硬阈值收缩后非零系数的个数.
第二阶段是将基础估计得到的图再次进行分块并逐块估
(7) |
式中:T和Th分别为基础估计的三维矩阵和原始图片的三维矩阵;和分别为三维线性变换和三维逆变换;为维纳滤波收缩系数;为维纳滤波的权重系数,其值通过噪声标准差σ和维纳滤波收缩系数求得.
(8) |
相较于Retinex算法所使用的高斯滤波仅在图像空域上进行计算,BM3D算法在实现过程中采用了3D正交变换,对图像在变换域中进行滤波操作,充分利用了图像块内部的相关性,在进行图像去噪的同时充分保留图像独特的结构和细节信息.
2 改进Retinex算法
2.1 改进光照分量提取
HSV空间相较于3个颜色通道联系紧密的RGB颜色空间,有着光照分量提取较为容易且准确,以及更加贴近人类对彩色的感知经验的优势,常被用在图像处理中.其彩色图像表达方式由色调(Hue,H)、饱和度(Saturation,S)、明度(Value,V)组成.

(a) 原图
(b) 明度分量

(c) 修正的明度分量
(d) 反射分量
图1 图像分量图
Fig.1 Image component diagram
2.2 改进Gamma变换
Gamma变换是一种对输入图像的灰度值进行非线性操作的图像增强方法,常用于提升图像的暗部细节,使输出图像的灰度值与输入图像的灰度值呈指数关系,其增强式为:
(9) |
式中:f(x)为输出图像;x为经过归一化处理的图像; z为图像增强参数.
Gamma变换对低照度图像增强效果显著,然而,当逆光造成的一幅图像中同时存在暗部和亮部时,传统的Gamma变换只能进行单方向增强.若增强低光部分,则造成明亮部分过度增强,导致图像细节损失;若调暗高光部分,则使得低光部分的图像更加灰暗,同样造成图像细节模糊.自适应Gamma变换只是基于一幅合理图像所有归一化后的像素均值在0.5左右的理论,提出一种z参数自动计算的方法,其方法公式为:
(10) |
式中:N为待增强图像灰度图的均值;n为归一化后的均值. 虽然自适应Gamma变换实现了z的自动选取,但本质上并没有解决其存在的问题,只是依据图像信息对图像进行单方向增强.
本文提出一种改进Gamma变换方法,此方法可以在增强图像暗部的同时,调整图像高光部分,尽可能做到对图像低光和高光部分同时调整.改进Gamma变换公式为:
(11) |
式中:δ为f(x)=0时x的值;a、b为函数的调节参数,可共同参与调节改进Gamma函数对像素点的增强幅度以及范围. a、b的求解公式如下:
(12) |
式中:m为光照分量中像素值低于97的像素归一化后的均值. 因函数在某些情况下无法对所有像素点增强,本文使用原始Gamma变换对函数进行续接.
当图像中同时存在光、暗两种信息时,可使用改进Gamma变换函数实现对图像的暗部进行增强,并依据图像的亮部信息对明度分量V进行亮度保持或者拉低操作,实现对图像暗部亮度增强同时,使图像亮部的细节保存完整. 改进Gamma变换函数的图像如

图2 改进Gamma变换函数
Fig.2 Improvement of the Gamma function
分别使用传统Gamma变换函数、自适应Gamma变换函数以及改进Gamma变换函数对低照度合成数据集SYN中的逆光低照度图像进行增强,其校正情况以及灰度直方图如

(a) 原图
(b) 传统Gamma变换

(c) 自适应Gamma变换
(d) 改进Gamma变换

(e) 原图灰度直方图
(f) 传统Gamma变换
灰度直方图

(g) 自适应Gamma变换
(h) 改进Gamma变换
灰度直方图
灰度直方图
图3 Gamma变换整图
Fig.3 Gamma transformed whole graph
由
为清晰地观察图像亮部细节的变化,将图像的亮部区域截取出,并计算对应的灰度直方图,具体情况如

(a) 原图亮部
(b) 亮部传统Gamma变换

(c) 亮部自适应Gamma变换
(d) 亮部改进Gamma变换

(e) 原图亮部灰度直方图
(f) 亮部传统Gamma变换
灰度直方图

(g) 亮部自适应Gamma
(h) 亮部改进Gamma变换
变换灰度直方图
灰度直方图
图4 Gamma变换部分图
Fig.4 Gamma transformed partial plot
由
从以上分析可知,相较于传统Gamma变换以及自适应Gamma变换的增强方式,本文提出的改进Gamma变换对同时存在暗部和亮部的图像,增强效果更加均衡,细节保存更加完整.
依据光照分量计算的z值,使用改进Gamma变换对

图5 校正的明度分量
Fig. 5 Calibrated brightness components
2.3 改进图像纹理增强
图像锐化是对图像轮廓进行补偿的一种方式,可实现图像中边缘、纹理、某些线性目标要素及灰度跳变部分的增

图6 锐化后的反射分量
Fig. 6 Sharpened reflection component
从
由于低权重的锐化图像会削弱边缘纹理的增强效果,故本文将Gabor滤波器变换边缘提取和Canny边缘检测算法相结合对原图像的边缘进行提取,Gabor变换是一种加窗短时傅里叶变换,其鲁棒性极强,可以在频率域上提取出图像的边缘特征;Canny边缘检测算法是一种多级检测算法,该方法在图像边缘检测方面的效果很好. 在提取原始图像的边缘纹理后,记录纹理的位置,使用拉普拉斯卷积核对提取的边缘位置进行锐化操作,再对反射分量和明度分量进行加权融合. 边缘检测及加权融合后的明度分量图如

(a) Gabor滤波器变换边缘提取
(b) Canny边缘检测算法提取

(c) 边缘锐化
(d) 加权融合后的明度分量
图7 边缘检测及加权融合后的明度分量图
Fig.7 Brightness component map after edge detection and weighted fusion
2.4 算法总体流程
Retinex算法在色感保持方面有很好效果,在图像增强中备受青睐,然后发展出了多种改进方法,改进的主要方向是结合S曲线函数、颜色空间转换、改进滤
改进Retinex算法总体框架如

图8 改进Retinex算法总体框架
Fig.8 General framework of the improved Retinex algorithm
根据L确定图像存在的信息并计算参数z值,当图像只存在暗部时,使用自适应Gamma对明度分量进行增强,此时z值即为γ值;当图像同时存在光、暗信息时,则根据z计算a、b值;若图像不存在过曝现象,将使用改进Gamma对V暗部进行增强,并维持亮部细节信息;若图像存在过曝现象,则对亮部进行亮度拉低操作.
使用Gabor滤波器和Canny算法对原图纹理进行提取,并记录其纹理像素坐标,使用拉普拉斯算子对反射分量进行锐化;另外,对反射分量中纹理位置的像素再进行一次锐化操作,随后将增强后的V和R按照0.7和0.3的权重进行融合,形成新的V. 对饱和度分量S,本文设计了一种自适应Gamma增强方法,其增强参数γ值为0.85+0.2z,图像亮度越低时,饱和度增强越强.
将色调H、增强的明度V、校正的饱和度分量S进行通道融合,并将其转换回RGB空间.
3 实验结果及分析
为验证本文方法的有效性和实用性,采用低照度图像SYN数据集和LOL低照度数据集中的图像数据进行增强实
从数据集中随机抽取200张多场景低照度图像作为实验数据,包含只存在暗部信息的图像100张,光、暗信息共存的图像100张,图像场景包含室内、室外、人物、自然及城市景观等,可从不同角度验证改进方法的有效性,并使用自动色彩均衡(Automatic Color Enhancement,ACE)、自适应局部色调映射(Adaptive Local Tone Mapping,ALTM)、低光照图像增强(Low-light Image Enhancement,LIME)、带色彩恢复多尺度视网膜增强(Multi-scale Retinex with Color Restoration,MSRCR)算法同本文方法BG-Retinex对抽取的低照度图像进行增强,实验在Pycharm 2021、Windows10、CPU Intel Core i9-10900、RAM 32 G测试平台上进行. 4组实验场景图像如

图9 4组实验场景图像
Fig.9 Four sets of experimental scene images
3.1 主观分析
从主观角度分析,5种算法对不同场景的图像亮度皆有一定提升,ACE算法在场景2、4中表现较差,图像暗部亮度提升有限,且亮部被过度增强,图像呈现偏暗的效果,且在场景4中,增强图像色彩有轻微失真现象.ALTM与LIME算法增强效果类似,对整体偏暗的图像有较好的增强效果,当待增强图片中存在光、暗两种信息时,ALTM算法对图像增强效果不明显,如场景2、场景4;而LIME算法对图像的亮部信息过度增强,导致细节损失,如场景2、场景4,且该算法提高了图像对比度,导致某些暗部信息增强不明显.MSRCR算法对图像亮度的提升效果良好,且图像细节损失较小,但其色彩恢复较差,图像整体偏灰. 本文BG-Retinex算法增强效果较为平稳,且亮度整体分布均匀,图像细节保存较为完整,呈现清晰,图像色彩舒适自然,更加符合人眼特性.
3.2 客观分析
本文选用低照度数据集图像的优点是这些数据集不仅拥有丰富的低照度图像,而且拥有与该低照度图像配套的正常照度图像,可为增强图像的评估提供有力支持. 为了客观评价各方法对低照度图像的增强效果,对增强后的200张图像数据进行计算,本文采用信息熵(Information Entropy,IE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性指数(Structure Similarity Index,SSIM)、图像质量指数(Universal Image Quality Index,UQI)、平均梯度(Average Gradient,AG)、均方根误差(Root Mean Square Error,RMSE)作为衡量指标. 其中,IE、PSNR、SSIM、AG数值越大,说明增强后的图像信息越丰富,且与正常光照图像越相似;UQI越大,表明增强后的图像质量越高;RMSE反映增强图像与正常光照图像之间的差别,数值越小,差距越小. 为了清晰地呈现各项指标,本文将其数值全部调整至0~10,IE的值保持不变,PSNR均除以2,SSIM和UQI的值均乘以10,AG和RMSE分别除以10和1 000. 为了验证改进Gamma方法及纹理增强方法对光、暗信息共存图像的增强效果,设置使用原始Gamma和无纹理增强的实验作为对照组,实验数据为抽取的100张光、暗共存图像,其指标分析图如

(a) 不同算法指标对比

(b) 改进前、后指标对比
图10 指标分析图
Fig.10 Indicator analysis chart
结合主、客观评价分析,所提算法在低照度图像的亮度提升方面有着较为优秀的效果,且可有效抑制亮度过饱和等现象,对图像的边缘细节保存完整,颜色恢复舒适自然.
4 结 语
针对低照度图像亮度、色彩、细节等特征信息质量低的问题,提出了一种改进Retinex的低照度图像增强算法. 算法基于HSV颜色空间,分别对饱和度分量S、明度分量V进行校正,使用BM3D算法对光照分量进行提取,并计算反射分量;提出一种改进Gamma变换函数,对明度分量进行增强;提出一种图像纹理增强方法,对图像及其纹理进行锐化;对图像进行加权融合. 实验结果表明,该算法面对多种低照度场景图像有着较好的增强效果,且图像边缘细节保存完整,色彩恢复自然;增强后图像的IE均值相较于原图平均提升了1.602,PSNR均值提升了6.475 dB,SSIM均值提升了0.291,UQI、AG均值也有大幅度的提升,RMSE均值明显下降,相较于其他图像增强算法也有明显的优越性.
参考文献
WANG W Y,YANG J Y,DAI J C,et al.EEMD-based videogrammetry and vibration analysis method for rotating wind power blades[J].Measurement,2023,207:112423. [百度学术]
欧博,姜溪源,熊剑琴.用于对比度增强的医学图像可逆信息隐藏算法[J].湖南大学学报(自然科学版),2022,49(4):26-34. [百度学术]
OU B,JIANG X Y,XIONG J Q.Algorithm of medical image reversible data hiding for contrast enhancement[J].Journal of Hunan University (Natural Sciences),2022,49(4):26-34.(in Chinese) [百度学术]
韩永成, 张闻文, 何伟基, 等.基于自适应截断模拟曝光和无监督融合的低照度真彩色图像增强算法[J]. 光子学报,2023,52(9): 0910002. [百度学术]
HAN Y C, ZHANG W W, HE W J, et al. Low-light true color image enhancement algorithm based on adaptive truncation simulation exposure and unsupervised fusion[J]. Acta Photonica Sinica, 2023,52(9): 0910002. (in Chinese) [百度学术]
WANG T,YANG J,JI Z X,et al.Probabilistic diffusion for interactive image segmentation[J].IEEE Transactions on Image Processing,2019,28(1):330-342. [百度学术]
周李洪,龚金科,李兵.基于稀疏表示的车用带钢表面图像信息修复[J].湖南大学学报(自然科学版),2021,48(8):141-148. [百度学术]
ZHOU L H,GONG J K,LI B.Image information restoration of automotive strip steel surface based on sparse representation[J].Journal of Hunan University (Natural Sciences),2021,48(8):141-148.(in Chinese) [百度学术]
WANG K,HUANG F Z.An improved MSRCR low illumination image enhancement algorithm combined with residual fusion[C]//2021 40th Chinese Control Conference (CCC), September 6,2021.Shanghai,China:IEEE,2021:2993-2998. [百度学术]
XIE Y M,NING L C,WANG M Q,et al.Image enhancement based on histogram equalization[J]. Journal of Physics:Conference Series,2019, 1314(1): 012161. [百度学术]
苏波,李超,王莉.基于多权重融合策略的Retinex矿井图像增强算法[J].煤炭学报,2023,48(增刊2):813-822. [百度学术]
SU B,LI C,WANG L.Mine image enhancement algorithm based on Retinex using multi-weight fusion strategy[J].Journal of China Coal Society,2023,48(Sup.2):813-822.(in Chinese) [百度学术]
MU Q,WANG X Y,WEI Y Y,et al.Low and non-uniform illumination color image enhancement using weighted guided image filtering[J].Computational Visual Media,2021,7(4):529-546. [百度学术]
闫哲, 蒋砾, 杨帆, 等.基于双直方图均衡算法的红外图像增强[J].红外技术, 2022, 44(9): 944-950. [百度学术]
YAN Z,JIANG L,YANG F,et al.Bi-histogram equalization algorithm for infrared image enhancement[J]. Infrared Technology,2022,44(9):944-950.(in Chinese) [百度学术]
TIRUMANI V H L,TENNETI M,CH SRIKAVYA K,et al.Image resolution and contrast enhancement with optimal brightness compensation using wavelet transforms and particle swarm optimization[J].IET Image Processing,2021,15(12):2833-2840. [百度学术]
OH J G, HONG M C. Adaptive image rendering using a nonlinear mapping-function-based Retinex model[J]. Sensors, 2019, 19(4):969. [百度学术]
李正龙,王宏伟,曹文艳,等.基于含噪Retinex模型的煤矿低光照图像增强方法[J].工矿自动化,2023,49(4):70-77. [百度学术]
LI Z L,WANG H W,CAO W Y,et al.A method for enhancing low light images in coal mines based on Retinex model containing noise[J].Journal of Mine Automation,2023,49(4):70-77.(in Chinese) [百度学术]
杨义, 李毅波, 马逐曦, 等. 基于BM3D的钢板表面图像自适应去噪方法[J]. 光学精密工程,2022,30(20): 2510-2522. [百度学术]
YANG Y,LI Y B,MA Z X,et al.Adaptive denoising method of [百度学术]
steelplate surface image based on BM3D[J]. Optics and Precision Engineering, 2022, 30(20): 2510-2522.(in Chinese) [百度学术]
魏华良, 王金祥. 运动模糊数字图像边缘锐化增强仿真研 究[J].计算机仿真, 2020, 37(7):459-462. [百度学术]
WEI H L,WANG J X.Simulation research on edge sharpening enhancement of motion blurred digital image[J]. Computer Simulation, 2020, 37(7): 459-462.(in Chinese) [百度学术]
乔佳伟,贾运红.Retinex算法在煤矿井下图像增强的应用研究[J].煤炭技术,2022,41(3):193-195. [百度学术]
QIAO J W,JIA Y H.Research on application of Retinex algorithm in image enhancement in coal mine[J].Coal Technology,2022,41(3):193-195.(in Chinese) [百度学术]
WEI C,WANG W J,YANG W H,et al.Deep Retinex decomposition for low-light enhancement[J/OL].arXiv e-Prints.(2018-08-14)[2023-07-13]. https://doi.org/10.48550/arXiv.1 808.04560. [百度学术]