摘要
城市桥梁上的车辆超重荷载是引起桥梁性能劣化和损伤的主要原因之一,传统的运动目标检测算法存在因监控摄像头抖动导致检测精度下降的问题.本文提出一种基于图像最大结构相似度的重车识别方法.基于时域中值法建立桥梁视场背景模型,对待检测图片与背景模型进行分块.通过在对应分块附近搜索最大结构相似度,将该参数作为前景/背景分类依据来降低相机抖动的影响,采用快速傅里叶变换算法提高最大结构相似度的搜索速度.基于长方体外轮廓拟合检测车辆外包络线,提取车辆长宽高特征参数,并设置多组阈值进行重车检测.采用某高架桥监测视频验证方法有效性,结果表明在相机抖动明显情况下,提出的方法仍能较准确地识别重车.
我国桥梁基数巨大,中国公路桥梁总数稳居世界第
目前对于过桥车辆荷载识别主要是通过在桥梁端部的路面预先铺设埋入式传感器的车辆动态称重系统,此系统利用点应变对车重、轴重等参数进行有效识别,但只针对桥型简单或模型准确的桥梁结
针对上述问题,本文提出一种基于改进背景减除法的运动重车特征识别方法,推导了基于最大结构相似度的图像前景/背景分离算法,建立了车辆外包络线长宽高尺寸特征识别方法,通过基于快速傅里叶变换的最大结构相似度搜索,降低相机抖动产生的识别误差,并通过车辆外尺寸识别提高车辆识别效率.通过数值模拟和城市立交桥实际监测视频数据验证了该方法的有效性.
1 基于结构相似度的背景减除法
1.1 基于时域中值法的背景模型建立
常见的背景模型建立方法包括均值法、时域中值法、高斯模型法等.时域中值法将取均值改为取中值,与均值法相比具有更好的稳定性,与混合高斯模型法相比更易实现.采用其建立背景模型可表示为:
(1) |
式中:V(i)为待检测视频第i帧图片的灰度矩阵; Vb(k)为待检测视频第k帧图片的背景灰度矩阵;median表示对序列取中位数;i=k-jΔk,j∈[0, q-1],q为用作背景建模的帧数,Δk代表采样帧数间隔.对于桥梁监控视频,背景模型一般变化缓慢,可隔一定时间对背景模型进行更新.
1.2 传统背景减除法
背景减除法是常用运动目标检测方法,该方法实现简单、计算速度快.基本思想是通过视频的当前帧与背景模型的差异提取前景,表示为:
(2) |
式中:Vf(k)为视频的第k帧图片的前景灰度矩阵.背景减除法严重依赖背景模型精度.当相机抖动时,监测场景中任意一点在监控视频中的成像位置随着帧数的改变而变动,利用时域中值法建立的背景模型一般较于实际背景存在失真、漂移等现象.因此,在相机抖动的情况下,基于单像素做差的背景减除法效果不佳.
1.3 结构相似度
结构相似度是一种结合亮度、对比度、相关系数三种特征的相似性度量指
令图片每个分块的边长为a,则待检测分块和背景分块可分别由V(k, i, j)、Vb(k, i, j)为唯一标志,其中i,j分别为分块左上角的像素坐标.两分块之间的结构相似度可表示为:
(3) |
式中:s(k, i, j)为待检测分块V(k, i, j)与背景分块Vb(k,i,j)的结构相似度;sl(k,i,j)、sc(k,i,j)、sr(k,i,j)分别表示亮度、对比度、相关系数三个指标,表达式分别为:
(4) |
(5) |
(6) |
式中:u为均值;σ为标准差;cov为协方差算子;β1、β2、β3为小常数,防止分母接近0造成系统误差.一般取β3=β2/2,此时结构相似度s(k, i, j)的计算可简化为
(7) |
1.4 基于最大结构相似度的前景/背景分离
将图像转换为灰度图像后,使用Otsu法计算图像阈值来实现图像前景与背景的分
为削弱漂移现象的影响,通过在背景分块附近搜索结构相似度最大值,以该值对待检测分块进行前景/背景分类.令最大结构相似度为sm(k,i,j), Vbr(k,i,j)为背景模型Vb(k,i-a,j-a)到Vb(k,i+a,j+a)的矩形区域,则sm(k,i,j)为待检测分块V(k,i,j)与矩形区域所有等尺寸窗口的最大结构相似度,可由
(8) |
根据最大结构相似度sm(k,i,j)对待检测分块 V(k,i,j)进行前景/背景分类,并采用标志位记录 V(k,i,j)的分类状态.当sm(k,i,j)大于设定的阈值时,V(k,i,j)为背景,标志位取1;否则为前景,标志位取0.根据实际经验,阈值一般取0.5~0.7.如果某分块经计算不属于背景块,而周围8个分块都属于背景块,则该分块大概率也属于背景块,否则必然包含整辆车信息.由于每个分块的尺寸都偏小,一个分块包含整辆车信息的概率很低.因此,可对标志位进行中值滤波,根据滤波后的结果判断每个待检测分块的最终分类.
待检测图片每个分块分类完毕后,需要对背景模型的每个分块执行同样分类操作,并结合背景减除法进行二值分割.首先,如果待检测图片的某分块属于前景,则该分块和对应背景模型分块保留,否则两者均清零.然后,根据
1.5 基于快速傅里叶变换的最大结构相似度搜索
搜索最大结构相似度的过程以遍历搜索进行十分耗费时间,利用快速傅里叶变换对V(k,i,j)和 Vbr(k,i,j)进行处理,大幅缩短运算时
输入:待检测分块V(k, i, j);背景模型矩形搜索区域Vbr(k, i, j) | |
---|---|
输出:最大结构相似度sm(k, i, j) | |
1 | 对待检测分块V(k, i, j)和背景模型矩形搜索区域Vbr(k, i, j)进行快速傅里叶变换; |
2 |
初始化常数β1、β2、β3←0.0 |
3 | 均值滤波器I←初始化与分块V(k, i, j)同尺寸的均值滤波器; |
4 | u[V(k, i, j)]←计算分块V(k, i, j)的均值; |
5 | u[Vbr(k, i, j)]←以均值滤波器I计算矩形搜索区域Vbr(k, i, j)中每个与分块V(k, i, j)等尺寸窗口的均值; |
6 | ←计算分块V(k, i, j)的方差; |
7 |
←计算矩形搜索区域Vbr(k, i, j)的每个等尺寸窗口方差.以均值滤波器I处理[Vbr(k, i, j) u[Vbr(k, i, j)]; |
8 | cov[V(k, i, j), Vbr(k, i, j)] ←计算矩形搜索区域Vbr(k, i, j)的每个等尺寸窗口与分块V(k, i, j)的协方差.通过以分块V(k, i, j)作为滤波器处理Vbr(k, i, j),减去u[V(k, i, j)]点乘u[Vbr(k, i, j)]; |
9 |
{s(k, i, j)}←将变量代入 |
10 | sm(k, i, j)←计算集合{s(k, i, j)}中的最大值. |
2 基于包络线的车辆特征识别方法
本文提出一种基于外包络线提取的重车检测方法.首先,采用长方体模型描述车辆的长宽高特征,通过最小化模型和车辆在同一透视矩阵下的包络线误差,提取车辆长宽高特征.然后,设置体积、长度、宽度以及高度等多组阈值实现重车识别,以解决车辆部分位于监控场景的情况.最后,通过数值模拟验证方法的有效性.
2.1 基于车辆外包络线的车辆长宽高特征识别
世界坐标系xyz代表车辆在真实世界的坐标系,在世界坐标系中定义长方体模型为M(x, z, w, h, l).假设车辆沿着车道直线行驶,定义长方体朝向为道路方向,即世界坐标系z轴方向.(w, h, l)分别描述了长方体模型的宽度、高度、长度. 图片坐标系uv代表车辆投影在图片中的像素坐标系,以水平为u轴,竖直向下为v轴.图片中车辆区域包络线为L,可通过取凸包计算.透视矩阵H代表世界坐标系中三维车辆与图片坐标系二维车辆投影的多对一映射关系,需要寻找6对以上对应点进行计
MH= hom | (9) |
式中:MH为长方体模型M在透视矩阵H的映射下在图片坐标中的投影,并根据图像边界进行了适当裁剪,以模拟车辆部分位于图像中的情况;homo(x)表示将坐标转换为齐次坐标[m
寻找描述车辆长宽高特征最佳的长方体模型等价于最小化包络线LM与L的误差e(LM, L).两包络线误差可通过面积交并比或者并集与交集面积差值计算.考虑到包络线为非规则闭合曲线,面积计算比较复杂,本文以均匀采样的方式对误差计算进行简化.采用极坐标描述闭合包络线,原点取车辆包络线L的中心mean(L).从原点以角度θ发射采样射线,令射线与包络线L、LM的交点分别为μ(θ, L)、μ(θ, LM).因包络线L是凸多边形,且发射点处于包络线L内部,故μ(θ, L)唯一.对凸多边形包络线LM而言,发射点有位于包络线外部或内部两种情况.当位于内部时,μ(θ, LM)唯一;当位于外部时,μ(θ, L)可能存在无解、一个解、两个解三种情况.射线的单次采样误差定义如下:
(10) |
式中:d(μ(θ,LM),μ(θ,L))表示点μ(θ,LM)与μ(θ,L)的欧拉距离;max(d(μ(θ, LM),μ(θ, L)))表示取所有交点的最大欧拉距离;LM为MH的包络线,同样可通过取凸包计算;λ为常数,用于控制两包络线收敛.
在单次采样误差e(LM, L, θ)的基础上,进行均匀采样可计算两包络线的误差,可由
(11) |
2.2 数值模拟验证
采用MATLAB进行数值模拟验证,整体的场景如

图1 三种工况模拟
Fig.1 Three kinds of working condition simulation
(a)工况一 (b)工况二 (c)工况三
对车辆包络线L的模拟过程如

图2 包络线模拟
Fig.2 Envelope line simulation
(a)模拟车辆 (b)真实包络线 (c)插值 (d)取包络线
对顶点添加的扰动可由
(12) |

图3 插值倍数为10的模拟包络线
Fig.3 The simulated envelope of interpolation multiple 10
(a)标准差为10 (b)标准差为20 (c)标准差30
取包络线插值倍数为10,标准差为20,进行包络线模拟.基于

图4 随机抽取样本的识别结果
Fig.4 The recognition results of randomly selected samples
(a)工况一 (b)工况二 (c)工况三
识别车辆的x坐标、z坐标、长度l、宽度w、高度h等参数标准差如
工况 | x/mm | z/mm | w | h | l | |||||
---|---|---|---|---|---|---|---|---|---|---|
识别值标准差 | 理论值 | 识别值标准差 | 理论值 | 识别值标准差/mm | 相对误差/% | 识别值标准差/mm | 相对误差/% | 识别值标准差/mm | 相对误差/% | |
一 | 152 | 3 500 | 248 | 0 | 306 | 12.24 | 269 | 8.97 | 877 | 14.61 |
二 | 317 | 3 500 | 985 | -4 000 | 432 | 17.28 | 499 | 16.63 | 765 | 12.75 |
三 | 585 | 3 500 | 1 565 | -6 000 | 465 | 18.60 | 1 436 | 47.86 | 2 447 | 40.78 |
注: w理论值为2 500 mm;h理论值为3 000 mm;l理论值为6 000 mm.
提取车辆长宽高特征后,分别设置重车的体积、长度、宽度以及高度的下限阈值,满足其中任意一个条件即为重车,因此即使车辆部分位于监控场景时也能进行识别.
根据《汽车、挂车及汽车列车外廓尺寸、轴荷及质量限值》(GB 1589—2016
2.3 与传统背景减除法识别结果对比

图5 相机不抖动情况下的监测视频
Fig.5 Monitoring video without camera shaking
(a)监控视频 (b)背景模型
对每一帧以
组数 | 待检测图片 | 传统背景减除法 | 结构相似度背景减除法 |
---|---|---|---|
组数1 |
![]() | ||
组数2 |
![]() | ||
组数3 |
![]() | ||
组数4 |
![]() | ||
组数5 |
![]() | ||
组数6 |
![]() |
3 实例分析
结合某高架桥进行实例分析.

图6 高架桥场景图
Fig.6 Viaduct scene diagram

(a) 高架桥监控
(b) 帧间差分全局图

(c) 帧间差分局部放大图
(d) 相机抖动剧烈

(e) AOI区域
(f) 背景模型
图7 高架桥监控视频
Fig.7 Viaduct monitoring video
采用基于结构相似度的方法进行车辆检测,抽取6组检测结果列于
组数 | 待检测图片 | 背景差分二值图 | 结构相似度检测结果 | 结构相似度检测结果二值图 |
---|---|---|---|---|
第一组 |
![]() | |||
第二组 |
![]() | |||
第三组 |
![]() | |||
第四组 |
![]() | |||
第五组 |
![]() | |||
第六组 |
![]() |
车辆检测结果表明,视频中出现的134辆车,正确识别出107辆,车辆识别率为79.85%.重车识别结果中,46辆重车中正确识别39辆,重车识别准确率为84.78%.通过实际高架桥重车监控试验结果分析表明,基于结构相似度与车辆长宽高特征的重车监测方法可以有效监测重车,并对相机抖动具有较强的抵抗性.
4 结 论
本文提出了一种图像最大结构相似度的重车识别方法.首先,以时域中值法对监控场景建模,并对待检测图片与背景模型进行分块.在对应分块附近搜索最大结构相似度,并采用快速傅里叶变换算法大幅提高最大结构相似度的搜索速度.将相似度参数作为前景/背景分类依据,减小相机抖动的影响.然后,以长方体外轮廓拟合检测车辆的外包络线,提取车辆长宽高特征,并设置多组阈值以解决车辆部分位于监控场景的情况.基于实际高架桥重车监测视频验证本方法精度,结果显示对于常规车辆的总体识别准确率为79.85%;对于长宽高尺寸超过规定阈值的重车识别准确率为84.78%.本方法能够准确高效地从城市桥梁的监控视频中获取交通车流中的重型车辆信息,后续可基于重车识别信息分析重型车辆占所有车辆的比例,重型车辆出现的时间和空间规律等,有助于交管部门进行重车管控,为桥梁安全运营提供保障.
参考文献
张劲泉, 晋杰, 汪云峰, 等.公路桥梁智能检测技术与装备研究进展[J].公路交通科技, 2023, 40(1): 1-27. [百度学术]
ZHANG J Q,JIN J,WANG Y F,et al. Study progress of intelligent inspection technology and equipment for highway bridge[J]. Journal of Highway and Transportation Research and Development,2023,40(1):1-27.(in Chinese) [百度学术]
LI M,HUANG T L,LIAO J J,et al.WIM-based vehicle load models for urban highway bridge[J]. Latin American Journal of Solids and Structures,2020,17(5): e290. [百度学术]
陈水生,赵辉,朱朝阳,等.重车荷载作用的简支梁桥荷载效应极值预测[J].华中科技大学学报(自然科学版),2021,49(9):95-100. [百度学术]
CHEN S S,ZHAO H,ZHU C Y,et al.Extreme value prediction of load effect of simply supported beam bridge under heavy vehicle load[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition),2021,49(9):95-100.(in Chinese) [百度学术]
孙莉, 刘钊. 2000—2008年美国桥梁倒塌案例分析与启示[J]. 世界桥梁,2009, 37(3): 46-49. [百度学术]
SUN L,LIU Z. Case analysis and lessons drawn from bridge failures in United States from 2000 to 2008[J].World Bridges,2009,37(3):46-49.(in Chinese) [百度学术]
韩万水,闫君媛,武隽,等.基于长期监测的特重车交通荷载特性及动态过桥分析[J].中国公路学报,2014,27(2):54-61. [百度学术]
HAN W S,YAN J Y,WU J,et al.Extra-heavy truck load features and bridge dynamic response based on long-term traffic monitoring record[J].China Journal of Highway and Transport,2014,27(2):54-61.(in Chinese) [百度学术]
贺拴海, 王安华, 朱钊, 等.公路桥梁智能检测技术研究进展[J]. 中国公路学报,2021,34(12):12-24. [百度学术]
HE S H,WANG A H, ZHU Z,et al. Research progress on intelligent detection technologies of highway bridges[J]. China Journal of Highway and Transport,2021,34(12): 12-24.(in Chinese) [百度学术]
李惠,周文松,欧进萍,等.大型桥梁结构智能健康监测系统集成技术研究[J].土木工程学报,2006,39(2):46-52. [百度学术]
LI H,ZHOU W S,OU J P,et al.A study on system integration technique of intelligent monitoring systems for soundness of long-span bridges[J].China Civil Engineering Journal,2006,39(2):46-52.(in Chinese) [百度学术]
陶兴旺.基于监测响应的桥梁车辆荷载识别[D].大连:大连海事大学,2019. [百度学术]
TAO X W. Load identification of bridge vehicles based on monitoring response[D]. Dalian:Dalian Maritime University,2019.(in Chinese) [百度学术]
沙胜义, 冯文兴, 詹一为,等.管道振弦式应变传感器的使用性能对比[J].油气储运,2022,41(4):397-403. [百度学术]
SHA S Y,FENG W X,ZHAN Y W,et al.Service performance comparison of vibrating wire strain sensors for pipeline[J].Oil & Gas Storage and Transportation,2022,41(4):397-403.(in Chinese) [百度学术]
DONG C Z, CATBAS F N. A review of computer vision-based structural health monitoring at local and global levels[J].Structural Health Monitoring,2021,20(2):692-743. [百度学术]
张可, 杨灿坤, 周春平,等.无人机视频图像运动目标检测算法综述[J].液晶与显示,2019,34(1):98-109. [百度学术]
ZHANG K,YANG C K,ZHOU C P,et al.Review of moving target detection algorithms for UAV video images[J].Chinese Journal of Liquid Crystals and Displays,2019,34(1):98-109.(in Chinese) [百度学术]
唐俊义.融合数字影像与结构响应的桥梁车辆荷载识别方法探索[D].重庆:重庆交通大学,2022. [百度学术]
TANG J Y. Exploration of bridge vehicle load identification method integrating digital image and structural response[D]. Chongqing:Chongqing Jiaotong University,2022.(in Chinese) [百度学术]
WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612. [百度学术]
LIAO P S,CHEN T S,CHUNG P.A fast algorithm for multilevel thresholding[J].Journal of Information Science and Engineering,2001, 17: 713-727. [百度学术]
GUIZAR-SICAIROS M,THURMAN S T,FIENUP J R.Efficient subpixel image registration algorithms[J].Optics Letters,2008,33(2):156-158. [百度学术]
巴振宁,赵靖轩,吴孟桃,等.基于CPU-GPU异构并行的复杂场地近断层地震动谱元法模拟[J]. 地震学报,2022,44(1):182-193. [百度学术]
BA Z N,ZHAO J X,WU M T,et al.Simulation of near-fault ground motions in complex sites based on CPU-GPU heterogeneous parallelism by spectral element method[J]. Acta Seismologica Sinica,2022,44(1):182-193.(in Chinese) [百度学术]
HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. 2nd ed. Cambridge,UK: Cambridge University Press, 2003. [百度学术]
ANDERSEN E D,ROOS C,TERLAKY T. On implementing a primal-dual interior-point method for conic quadratic optimization[J].Mathematical Programming,2003,95(2): 249-277. [百度学术]