裂缝小目标缺陷的轻量化检测方法

贾晓芬 1，2，江再亮 1?，赵佰亭 1; JIA Xiaofen1，2，JIANG Zailiang1?，ZHAO Baiting1

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

裂缝小目标缺陷的轻量化检测方法 PDF

- ORCID：
贾晓芬 ^1,2
- ORCID：
江再亮 ¹
✉
- ORCID：
赵佰亭 ¹

1. 安徽理工大学电气与信息工程学院, 安徽淮南 232001； 2. 安徽理工大学省部共建深部煤矿采动响应与灾害防控国家重点实验室, 安徽淮南 232001

中图分类号： TP391

最近更新：2024-07-02

DOI： 10.16339/j.cnki.hdxbzkb.2024266

摘要

及时且准确捕获井壁出现的微小裂缝，对于井筒安全意义重大.轻量化检测模型是推动井壁裂缝自动检测的关键，打破现有方法聚焦于提取深层语义信息的局限，重视浅层特征表征的几何结构信息的应用，针对井壁裂缝提出轻量化检测模型E-YOLOv5s.首先融合普通卷积、深度可分离卷积和ECA注意力机制设计轻量化卷积模块ECAConv，再引入跳跃链接构建特征综合提取单元E-C3，得到骨干网络ECSP-Darknet53，它负责显著降低网络参数，同时增强对裂缝深层特征的提取能力.然后设计特征融合模块ECACSP，利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck，旨在充分融合裂缝小目标的几何信息和表征裂缝开裂程度的语义信息，同时加快网络推理速度.实验表明，E-YOLOv5s在自制井壁数据集上的检测精度相较YOLOv5s提升了4.0%，同时模型参数量和GFLOPs分别降低了44.9%、43.7%.E-YOLOv5s有助于推动井壁裂缝自动检测的应用.

关键词

裂缝缺陷; 小目标; 深度学习; 深度可分离卷积

井筒是煤炭开采的咽喉要道，井壁裂缝引起的破裂会造成重大灾害，定期检查井壁并对裂缝、渗水等缺陷及时维护来保证井筒安全，对于推动煤炭资源安全、高效开采具有重要意义^［

1-2］.传统井壁缺陷检测主要靠人眼识别，该方法受视觉分辨力的限制，存在效率低、成本高、危险系数高等问题.

井壁缺陷自动检测是绿色矿山的未来趋势，计算性能的显著提高已经大大促进了深度学习技术在道路、桥梁等裂缝检测领域的应用.如李良福等^［

3］提出一种基于DBCC分类模型结合改进的窗口滑动算法对桥梁裂缝进行检测，采用图像金字塔和感兴趣区域结合的搜索策略对算法进行加速.彭雨诺等^{［参考文献 4

百度学术}4］对YOLO算法进行了改进，提出了YOLO-lump和YOLO-crack以提高网络检测多病害的能力，进而形成基于双网络的桥梁表观病害快速检测算法.Zou等^{［参考文献 5

百度学术}5］提出了一种端到端的可训练深度卷积神经网络DeepCrack，通过学习高层卷积里的多维特征，来获取更多的细节，可以较好地处理低对比度的裂缝.Xu等^{［参考文献 6

百度学术}6］利用DCGAN对路面裂缝的小样本数据集进行仿真，生成新的特征图，从而扩展了原有的小样本数据集，实现了路面裂缝检测.Kang等^{［参考文献 7

百度学术}7］使用更快的区域建议卷积神经网络算法实现了自动裂纹检测、定位和量化.上述检测算法均取得了很好的检测效果，对于裂缝智能检测具有一定的借鉴意义，但它们的处理对象是正常光线下采集的图像.井下光线暗，细小裂缝与背景对比度低，在设计检测算法时，必须更加注重对表征裂缝拓扑结构的浅层特征提取.

裂缝小目标缺陷的检测对井筒安全至关重要，检测模型除了要能准确提取出微小裂缝特征还必须轻量，才能推动井壁裂缝检测的智能化.出色的轻量级网络模型，如MobileNet^［

8］使用深度可分离卷积^{［参考文献 9

百度学术}9］来构造轻量级神经网络，并通过两个超参数的引入使得网络能部署在资源受限的设备上.ShuffleNet^{［参考文献 10

百度学术}10］对输入层的不同特征图进行分组，然后再采用不同的卷积核对各个组进行卷积，以此来减少模型的计算复杂度，最后使用“通道洗牌”来实现通道信息的交互.GhostNet^{［参考文献 11

百度学术}11］提出一种新的特征图生成方式，采用普通卷积方式生成少量的特征图，通过高效的线性运算以更少的参数和计算量实现特征图的丰富.轻量化思想在道路、桥梁等裂缝检测中也得到了应用，如蔡逢煌等^{［参考文献 12

百度学术}12］引入注意力机制和深度可分离卷积改进特征提取网络，提出的桥梁表面裂痕检测算法降低了网络复杂性，并提高了信息效率与准确性.郝巨鸣等^{［参考文献 13

百度学术}13］在YOLOv4主干特征提取网络引入Ghost模块，得到轻量化模型YOLOv4-Light，以降低模型复杂度和参数量，提高了裂缝检测效率.为了在轻量化的同时尽可能地提高检测精度，现有方法多聚焦于提取深层语义信息，没有充分发挥浅层特征的作用.浅层特征表达的几何信息对于检测小目标至关重要，只要能获取到裂缝的拓扑结构，就能准确定位出裂缝，然后利用深层语义信息衡量裂缝的开裂程度.

像素级方法也已应用于混凝土裂缝检测.例如，Doğan等^［

14］将路面裂缝检测作为一个基于像素的分类任务，提出了一种基于卷积块和回归块的像素级裂缝检测方法，最终实现了路面裂缝的轻量化和高性能检测.Cheng等^{［参考文献 15

百度学术}15］提出了一种基于深度卷积神经网络U-Net的裂缝自动检测方法，提高了检测精度.赵志宏等^{［参考文献 16

百度学术}16］基于深度卷积神经网络U-Net提出一种变尺度结构的VS-UNet裂缝自动检测方法，提高了检测精度和分割效果.Mei等^{［参考文献 17

百度学术}17］提出了一种新的深度神经网络结构，用于对使用前向连接的多层结构进行裂缝检测.Kang等^{［参考文献 18

百度学术}18］设计了一种用于复杂场景中像素级实时裂缝分割的新型语义转换器，在保持网络快速处理速度的同时简化了网络.Choi等^{［参考文献 19

百度学术}19］提出了一种深度学习的方法来分割图像中的混凝土裂缝，有效地否定了各种复杂背景和相似裂缝的特征.然而，文献［14-17］检测混凝土裂缝结构损伤，未考虑复杂的场景.文献［18-19］考虑到了复杂的场景，但这些网络的学习参数过多，导致计算成本高，不利于部署在资源受限的嵌入式设备中.

综上，为了实现井壁裂缝缺陷的自动检测，致力于完成裂缝小目标准确提取和模型轻量化的目标，设计轻量化卷积模块、特征综合提取模块，并构建骨干网络和细颈部特征融合模块，提出井壁裂缝小目标缺陷的轻量化检测模型E-YOLOv5s，它既能够增强网络特征提取能力，又能减轻模型复杂度，更好地平衡模型的准确性和轻量化.

1 小目标缺陷检测模型E-YOLOv5s

1.1 设计思想

立井跨度大、复杂的地质构造容易引起井壁裂缝出现，轻量化、高精度检测模型才能有助于井壁裂缝自动检测的落地应用.井壁裂缝方向多变、开裂程度不一，且井壁背景复杂，必须挖掘出井壁图像中包含的浅层几何信息和深层语义信息，再将几何信息表征的裂缝拓扑结构和语义信息表达的细微小目标进行充分融合，才能准确检测出复杂背景下的裂缝信息.

YOLOv5是目前YOLO系列^［

20-24］最轻的检测算法，速度快，灵活性强，准确率高，相较其他算法更适合井壁裂缝检测.以YOLOv5s作为基础网络，致力于设计增强网络特征提取能力的同时进一步降低参数量的缺陷检测模型.

1.2 E-YOLOv5s模型结构

鉴于上述思想，针对井壁裂缝缺陷检测，设计图1所示的网络模型E-YOLOv5s，它由输入（Input）、骨干网络（ECSP-Darknet53）、细颈部特征融合模块（E-Neck）和预测输出（Output）四个模块构成. E-YOLOv5s网络的创新之处包括两方面：

图1 E-YOLOv5s模型结构

Fig.1 E-YOLOv5s module structure diagram

一是设计了轻量化卷积模块ECAConv，它借助深度可分离卷积降参，再利用通道关注（ECA）模块^［

17］弥补深度可分离卷积带来的图像信息“分离”的缺陷.引入跳跃连接前向传递浅层几何信息，结合ECAConv构建特征综合提取单元E-C3.最后建立主干网络ECSP-Darknet53，它在减少网络模型参数和浮点运算量的情况下，能增强网络对井壁裂缝深层特征信息的提取能力.

二是提出了特征融合模块ECACSP，它的结构受CSP^［

18］启发，利用普通卷积完成对输入通道的压缩和输出通道的扩展后，灵活运用ECAConv和跳跃连接加强浅层和深层特征的融合.最后利用多组ECAConv和ECACSP模块组建细颈部特征融合模块E-Neck，旨在融合特征，丰富特征图的表达能力，改善特征融合过程中细节信息的丢失问题，同时加快网络推理速度.

1.3 骨干网络ECSP-Darknet53

井壁裂缝缺陷属于细微小目标，特征提取时更要注重表征裂缝拓扑结构的浅层信息.在有效提取浅层信息对应的几何结构后，再最大化地充分提取深层特征表征的语义信息，才有助于实现对裂缝小目标的检测.为此，借鉴YOLOv5的结构，设计骨干网络ECSP-Darknet53，它由1个CBS单元（6×6Conv+BN+SiLU）、4个ECAConv构成的EBS（ECAConv+BN+SiLU）单元、4个E-C3模块和1个SPPF构成.

待检测图像输入网络后，将其通过6×6卷积扩展通道，发送到4个顺序连接的EBS+E-C3单元组，实现输出特征通道数量的扩展和压缩.我们的目标是通过多次升维后再多通道降维的策略，挖掘出更多多维、多尺度的互补特征.SPPF对4组EBS+E-C3单元提取的互补特征进行空间金字塔池化，解决了相关特征重复提取的问题，大大提高了候选框的生成速度，从而节省了计算成本.

1.3.1 轻量化卷积模块ECAConv设计

YOLOv5s主干网络中采用大量重复的普通卷积与BN、SiLU激活函数组成的卷积块对输入图像进行特征提取，参数量较大，不利于终端设备的部署.轻量化设计可有效缓解当前阶段高计算成本的问题，这一目的主要通过使用深度可分离卷积操作来实现，以减少参数和浮点运算的数量.深度可分离卷积在计算过程中分离了输入图像的通道信息，容易丢失输入图像的细节信息，这一缺陷导致深度可分离卷积的特征提取和融合能力远低于普通卷积.然而，井筒低照度、高污染的复杂环境下，井壁裂缝细微、颜色相对背景呈暗色，特征对应的像素值小，仅使用普通卷积对井壁裂缝特征提取能力不足.为此，设计了图2所示的轻量化卷积模块ECAConv，它将输入特征F₀利用1个1×1卷积降维得到F₁，采用步长为1、卷积核为5×5的深度可分离卷积^［

13］后通过Padding操作得到特征F₂，对Concat融合F₁和F₂得到的F₃引入通道关注模块（ECA）^{［参考文献 25

百度学术}25］解决深度可分离卷积给模型带来的输入图像信息“分离”的问题，最后得到ECAConv提取的特征F₄.ECAConv的特征提取过程为：

\begin{array}{l} F_{1} = C o n v_{1 \times 1} (F_{0}), F_{2} = D W_{5 \times 5} (F_{1}), \\ F_{3} = C o n c a t (F_{1}, F_{2}), F_{4} = E C A (F_{3}) \end{array}

（1）

其中 $C o n v_{1 \times 1}$ 表示1×1卷积操作， $D W_{5 \times 5}$ 度可分离卷积， $C o n c a t$ 表示级联操作， $E C A$ 表示通道关注操作.

图2 ECAConv结构图

Fig.2 ECAConv module structure diagram

1×1卷积保留了输入图像的原始特征信息，深度可分离卷积减少模型的参数和浮点数运算，二者结合相比于仅使用深度可分离卷积对模型进行轻量化，保留了输入图像的细节信息.同时，两种卷积方式能让网络提取更丰富的特征信息.ECA模块通过考虑每个通道及其k个邻域交互捕获局部跨通道信息，通过通道间的信息交互将普通卷积获得的信息和深度可分离卷积获得的信息混合交互在一起，使提取的特征信息更加丰富但又没有引入过多的参数，符合设计的目标.同时加入ECA注意力机制，可以让网络更加关注裂缝特征信息，提高检测效果.

1.3.2 特征综合提取单元E-C3

设计的ECAConv模块通过扩展特征通道数量的方式，从浅层特征挖掘出丰富的几何信息.为了解决通道数增加引起的连接参数增加的问题，设计图3的特征综合提取单元E-C3，它以残差结构^［

26］为主体，旨在压缩输出特征通道数，同时强化浅层几何结构信息与深层语义信息的融合.

图3 E-C3模块结构图

Fig.3 E-C3 module structure diagram

E-C3由3个ECAConv和n个ECABottleNeck组成，骨干网络ECSP-Darknet53中依次包含的4个E-C3中含有ECABottleNeck的数量分别为3、6、9、3.ECABottleNeck借助跳跃连接将输入特征和经过2个ECAConv提取的特征进行Concat融合.特征综合提取单元E-C3的特征提取过程为：

\begin{array}{l} E_{1} = f_{E C A C o n v} (E_{0}) \\ E_{n} = \underset{n}{\underset{︸}{f_{E C A B o t t l e N e c k} [\cdot \cdot \cdot f_{E C A B o t t l e N e c k} (E_{1})]}} \\ E_{o u t} = f_{E C A B o t t l e N e c k} [C o n c a t (E_{1}, E_{n})] \end{array}

（2）

式中： $E_{0}$ 和 $E_{o u t}$ 分别表示E-C3模块的输入、输出特征； $E_{0}$ 表示对通过一次ECAConv映射提取的特征； $E_{n} (n = 3,6, 9,3)$ 表示n个ECABottleNeck的输出， $f_{E C A C o n v}$ 表示ECAConv模块的映射函数； $f_{E C A B o t t l e N e c k}$ 表示ECABottleNeck模块的映射函数； $C o n c a t$ 表示级联操作.

浅层残差模块的输出特征分辨率高，几何细节信息表征能力强，包含更多的目标位置信息，但缺乏语义信息，深层残差模块的输出特征经过多次卷积下采样操作，语义信息表征能力强，但缺乏空间几何特征信息.所以融合深层和浅层残差模块的特征细节有助于实现对井壁裂缝信息的全面检测.E-C3通过堆叠多个ECAConv实现裂缝特征的全面提取，同时对减少网络连接参数有推动作用.

1.3.3 空间金字塔池化SPPF

空间金字塔池化SPPF模块的结构如图4所示，由2个CBS（1×1Conv+BN+SiLU）和3个5×5最大池化层和Concat操作组成.SPPF使用1×1卷积来减少四组EBS+E-C3单元提取的互补特征的维数，然后将它们发送到串行连接的3个5×5MaxPooling层.使用Concat操作融合每个MaxPooling层和1×1卷积的输出.SPPF借助串联连接3个5×5卷积核，实现了9×9和13×13的卷积运算，可有效避免图像区域裁剪和缩放操作造成的图像失真.

图4 SPPF模块结构图

Fig.4 SPPF module structure diagram

2.4 细颈部特征融合模块E-Neck

YOLOv5s在细颈部使用普通卷积和不含跳跃连接的C3^［

18］模块采用FPN+PAN的结构进行特征融合，C3结构中BottleNeck采用普通卷积与BN、SiLU激活函数直接堆叠而成，普通卷积在对输入数据进行特征融合时，会将输入的空间信息进行压缩，从而丢失一些细节信息.同时，BN层的作用是对输入数据进行归一化，使得输出数据的分布更加稳定，但BN层可能会将一些重要的特征信息压缩到较小的范围内，导致信息冗余.此外，SiLU激活函数的作用是对输入数据进行非线性变换，但是在BottleNeck结构中，由于SiLU激活函数被直接堆叠在BN层之后，可能会导致信息的损失和冗余.YOLOv5s在细颈部特征融合C3结构中多次叠加使用BottleNeck模块来加强网络的特征融合能力，这种叠加效应容易导致细节信息的丢失和冗余重复特征信息的产生，同时大量重复的BottleNeck模块会导致网络的参数量和浮点运算很大，从而影响模型的性能和效率.

井壁裂缝的特征信息与背景较为相似，且井壁裂缝相对整幅图像属于小目标.为了有效利用骨干网络ECSP-Darknet53提取的特征信息，必须充分融合裂缝小目标的几何信息和语义信息，为此，设计了细颈部特征融合模块E-Neck，结构见图1，它由5个EBS（ECAConv+BN+SiLU）单元、4个ECACSP模块、多个上采样和拼接操作灵活构成.

特征融合模块ECACSP的结构如图5所示，它由2个CBS（1×1Conv+BN+SiLU）、2个EBS单元及跳跃连接构成.输入ECACSP模块的特征 $C_{0}$ 先利用CBS单元的1×1卷积压缩通道获取，然后将 $C_{1}$ 送入依次连接的2个EBS单元以获得 $C_{2}$ .在跳跃连接的帮助下， $C_{0}$ 跨级传输到2个EBS单元的输出端并与 $C_{2}$ 级联，最后再经过一个CBS单元扩展通道后得到ECACSP的输出结果，它的实现过程为，

\begin{array}{l} C_{1} = f_{C B S} (C_{0}); \\ C_{2} = f_{E B S} (f_{E B S} (C_{1})); \\ C_{o u t} = f_{C B S} (C o n c a t (C_{1}, C_{2})) \end{array}

（3）

式中： $C_{0}$ 和 $C_{o u t}$ 分别表示ECACSP模块的输入、输出特征； $f_{C B S}$ 表示CBS单元的映射函数； $f_{E B S}$ 表示EBS单元的映射函数； $C o n c a t$ 表示级联操作.

图5 ECACSP模块结构图

Fig.5 ECACSP module structure diagram

ECACSP模块的第一个CBS单元最大程度地保留原始特征融合信息，2个EBS模块负责捕捉更多的细节信息，同时EBS模块结构中的ECA注意力机制采用一种更有效的学习方式，通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互，提高了特征融合的质量，进一步提高了网络检测精度.将二者融合的特征信息拼接在一起后输入最后一个CBS模块.通过这种跨阶段层次结构实现更丰富的梯度组合和特征表达能力，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度.当井壁裂缝图像信息进入特征融合部分，5个EBS模块作为压缩层用来恢复输出特征的通道数，旨在融合更多的细节信息.

2 实验与结果分析

2.1 实验配置与评价指标

实验在CPU 型号为Intel Core i7-10700k @ 3.80 GHz，GPU 型号为NVDIA GeForce RTX 2080Ti，11G显存，32 G内存的PC上开展，利用Pytorch框架搭建模型，并使用Cuda10.0和Cudnn7.6.5对GPU进行加速.实验相关参数设置见表1.选取精确率（Precision， P）、召回率（Recall， R）、平均精度均值（mean Average Precision， mAP）作为网络精度的评价指标.除此之外，本文使用参数量（Parameters）、GFOLPs来评估模型的轻量化程度.

表1 实验参数

Tab.1 Experiment parameter

相关参数	设置值	相关参数	设置值
批处理尺寸	16	动量值	0.937
图片尺寸	640	初始学习率	0.000 1
训练周期	300	衰减系数	0.000 5

2.2 数据集构建

利用采集的井壁图像制作数据集，其中包含健康井壁图像和缺陷井壁图像.根据裂缝开裂程度，可将缺陷分为四种类型：严重（serious）、中等（medium）、轻微（light）和正常（normal）.在完成数据集图像的分割和压缩后，使用labelImg软件对所有图像中的上述类别目标进行标注.严重裂缝和中等裂缝有明显的裂纹，无分支裂缝.而对于轻微的裂缝，它可能包含多个裂缝并伴有分支裂缝.在标注数据集时，我们还对轻微裂缝中包含的分支裂缝进行单独标注，以便算法也能识别分支裂缝.基于此，严重裂缝和中等裂缝图像只有1个标注，而轻微裂缝图像包含1~3个标注.数据集由标注样本数据库中的3 000张图像组成，分别包括1 000张严重、中等、轻微缺陷类型的井壁裂缝图像，每张图像的分辨率为640×640.井壁裂缝数据集按8∶1∶1的比例分为训练集、验证集和测试集.训练集中有2 400张图像，验证集和测试集中分别有300张图像.

2.3 过拟合

过拟合现象表现为最终模型在训练集上效果较好，但在测试集上效果较差，模型泛化能力较弱.导致过拟合的原因包括训练集的数量级小于模型复杂度，模型记住了样本数据中的噪声特征而忽略了真实的输入输出关系.为了缓解模型可能存在的过拟合问题，采取了以下措施：

1）在设计检测模型时，在卷积神经网络的每一层之间增加了一个BN层.目的是将神经元的权重调整为标准的正态分布，使每一层的训练都从相似的起点开始.拉伸权值对应于拉伸特征，拉伸特征对应于输入层的数据增强.

2）通过翻转和平移井壁裂缝图像，扩大训练数据集，使模型尽可能多地看到异常.这样可以保证模型在训练过程中不断自我修正，从而获得更好的结果，提高模型的泛化能力.

2.4 网络训练

在YOLOv5s算法中，针对不同的数据集，都会有初始设定长宽的锚框.在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框GT进行比对，计算两者差距，再反向更新，迭代网络参数，自适应地计算不同训练集中的最佳锚框值.因此初始锚框也是比较重要的一部分，本文采用YOLOv5s官方给出的初始设定的锚框，见图6.再根据井壁裂缝数据集自适应地计算出最佳的锚框值.

图6 初始锚框信息

Fig.6 Initial anchor frame information

采用YOLOv5s的损失函数，在自制井壁裂缝缺陷数据集上开展训练，结果分别见图7至图8.图7为YOLOv5s和E-YOLOv5s的训练损失曲线图和验证损失曲线图，可以看出E-YOLOv5s网络的收敛效果更好，它的训练和验证损失的最小值比YOLOv5s分别降低了0.62和0.75.

图7 损失曲线图

Fig.7 Loss comparison chart

图8 检测准确率曲线图

Fig.8 Detection accuracy comparison chart

图8为YOLOv5s和E-YOLOv5s的准确率曲线，可见：E-YOLOv5s 的准确率在迭代150次时趋于稳定，且准确率相比于原YOLOv5s网络有明显提升.上述结果均说明，E-YOLOv5s针对YOLOv5s 做出的改进策略，可以优化网络性能，提升网络检测的准确率.

2.5 实验结果与分析

2.5.1 消融实验

为了验证骨干网络ECSP-Darknet53、细颈部特征融合模块E-Neck及E-YOLOv5s的有效性.以YOLOv5s的基础，在自制数据集上开展4个实验，分别是用ECSP-Darknet53和E-Neck不替换、依次替换和共同替换YOLOv5s中的相应部分.实验结果见表2，其中粗体表示最好指标.

表2 消融实验结果

Tab.2 Ablation experiment results

实验	模型	Parameters/M	GFLOPs	Precision/%	Recall/%	mAP_0.5/%
1	YOLOv5s	7.02	15.8	78.1	78.7	81.9
2	YOLOv5s+ECSP-Darknet53	5.32	11.6	75.4	79.2	84.3
3	YOLOv5s+E-Neck	5.57	13.1	77.0	77.9	82.5
4	E-YOLOv5s	3.87	8.9	78.6	80.1	85.2

实验1和2表明，ECSP-Darknet53对于降低参数量具有明显效果，它将YOLOv5s的模型参数量和浮点运算量GFLOPs分别降低了24.2%、26.6%，虽然Precision略有降低，但Recall和综合指标mAP均有明显增加.实验1和3表明，E-Neck使得模型参数量和浮点数运算相较于YOLOv5s，分别降低20.7%和17.1%，同时将综合指标mAP提高了0.7.实验4是文中设计的小目标缺陷检测模型E-YOLOv5s，它同时加入了ECSP-Darknet53和E-Neck，对比实验1可见，相比YOLOv5s，E-YOLOv5s的模型参数量和浮点运算量GFLOPs分别降低了44.9%、43.7%，且Precision和 Recall均有提升，尤其综合指标mAP比 YOLOv5s提升了4.0%.

综上，ECSP-Darknet53以牺牲较小的Precision为代价，大幅度降低了网络模型参数，提升了网络的检测精度，E-Neck通过捕捉更多细节信息，加强特征融合能力，同时借助更多的梯度信息丰富了特征图的语义信息.ECSP-Darknet53和E-Neck设计合理，均达到了预期的设计要求.E-YOLOv5s不仅降低了模型参数和浮点运算，还提升了模型的检测精度，对网络模型实现了轻量化，有助于推动井壁缺陷检测的实际应用.

2.5.2 ECAConv模块验证实验

消融实验充分证明了E-YOLOv5s模型的合理性.为进一步验证ECAConv模块的泛化性能，将ECAConv模块替换经典的目标检测模型YOLOv3-SPP^［

22］、YOLOv4-CSP^{［参考文献 28

百度学术}28］、YOLOv5s^{［参考文献 24

百度学术}24］和YOLOv7^{［参考文献 30

百度学术}30］的普通卷积开展对比实验，结果见表3，其中粗体为替换ECAConv模块后的客观指标.

表3 ECAConv模块验证试验

Tab.3 ECAConv module validation experiments

模型	Parameters/M	GFLOPs	Precision/%	Recall/%	mAP_0.5/%
YOLOv3-SPP	62.6	155.4	79.2	77.1	81.5
ECAConv-YOLOv3-SPP	32.2	79.5	76.0	80.2	83.2
YOLOv4-CSP	52.5	119	79.3	78.8	83.2
ECAConv-YOLOv4-CSP	25.9	54.5	75.3	81.7	84.7
YOLOv5s	7.02	15.8	77.0	78.7	81.9
ECAConv-YOLOv5s	3.96	9.1	78.6	82.1	83.5
YOLOv7	37.2	105.1	77.5	78.2	82.3
ECAConv-YOLOv7	26.7	65.4	79.3	80.1	83.4

由表3可见，ECAConv在YOLOv3-SPP和YOLOv4-CSP两个模型上虽然降低了Precision，但降参效果非常显著，将YOLOv4-CSP参数量减少50.7%，浮点运算量降低了54.2%，Recall和综合指标mAP分别提升3.7%、1.8%.ECAConv不仅降低了YOLOv5s和 YOLOv7的模型参数量和浮点运算量，还大大提高了检测精度.替换YOLOv5s的普通卷积后，Precision、 Recall和mAP分别提升了2.1%、4.3%、2.0%.替换 YOLOv7的普通卷积后，Precision、Recall和mAP分别提升了2.3%、2.4%、1.3%.上述实验表明，ECAConv对于降低模型的参数量和浮点运算成效显著，能提高模型的综合指标mAP，且有助于提高Precision和Recall.ECAConv模块的泛化性较好，可尝试推广使用.

2.5.3 E-YOLOv5s的性能验证

为了验证E-YOLOv5s的整体性能，将它与YOLOv3-SPP^［

22］、YOLOv4-CSP^{［参考文献 28

百度学术}28］、YOLOv5s^{［参考文献 24

百度学术}24］、YOLOX-s^{［参考文献 29

百度学术}29］和YOLOv7^{［参考文献 30

百度学术}30］五个经典目标检测网络在自制的数据集上进行对比实验，结果见表4，其中粗体代表最好指标.由表4可知，YOLOv3-SPP、YOLOv4-CSP和 YOLOv7网络检测精度分别为81.5%、83.2%和82 .3%，检测效果均低于E-YOLOv5s，且这3种算法模型体积与浮点运算量过于庞大不利于裂缝小目标缺陷实时检测.YOLO系列中检测精度最佳的为YOLOX-s高达84.6%，该网络在预测输出部分相较其他模型采用anchor-free、decoupled head（解耦头）、SimOTA等新技术所以具有较高的Precision和 Recall，E-YOLOv5s与其相比Precision和Recall略有差距，但参数量减少57.0%，浮点运算量减少66.8%，综合指标mAP提升0.6%.E-YOLOv5s在提升网络的检测精度的同时，模型体积仅为3.87 M相较于 YOLOv5s网络的模型体积压缩了44.9%，浮点运算降低了43.7%且Precision和Recall都略有提升.由上述实验结果可知，E-YOLOv5s网络拥有较好的鲁棒性与较低的模型复杂度，各项性能均达到令人满意的水准，更适合应用在低算力的嵌入式设备中对裂缝小目标缺陷进行检测.

表4 经典目标检测网络模型对比实验

Tab.4 Classical object detection network model comparison experiment

方法	Parameters/M	GFLOPs	Precision/%	Recall/%	mAP_0.5/%
YOLOv3-SPP	62.6	155.4	79.2	77.1	81.5
YOLOv4-CSP	52.5	119	79.3	78.8	83.2
YOLOv5s	7.02	15.8	77.0	78.7	81.9
YOLOX-s	9.0	26.8	81.9	83.4	84.6
YOLOv7	37.2	105.1	77.5	78.2	82.3
E-YOLOv5s	3.87	8.9	78.6	80.1	85.2

为了全面比较几种算法在不同背景下对裂缝小目标缺陷的检测效果，在测试集中随机选取4组小裂缝井壁缺陷图像进行检测，各类算法检测结果如图9所示，其中①、②为简单背景下的井壁小裂缝缺陷检测，E-YOLOv5s的检测精度为80%和85%，高于其他5种算法的检测结果，这是因为E-YOLOv5s挖掘出了井壁图像中包含的浅层几何信息和深层语义信息，再将几何信息表征的裂缝拓扑结构和语义信息表达的细微小目标进行充分融合.③、④井壁背景较为复杂，出现多处裂缝混合在一起且背景与裂缝信息差异较大，E-YOLOv5的检测精度为87%、82%和81%，检测效果与YOLOX-s效果接近但仍然优于其他检测算法.综合分析，E-YOLOv5s对裂缝小目标的检测效果更为精准，能实现井壁裂缝小目标缺陷特征信息的有效提取，同时在复杂背景下仍具有较高的检测精度，且在模型轻量化方面可以满足低算力嵌入式设备的应用，可以更好地应用到实际计算机视觉任务当中.

图9 经典模型检测效果对比图

Fig.9 Comparison chart of the detection effect of the classic model

2.5.4 E-YOLOv5s在公共数据集上的性能验证

上述实验充分证明了E-YOLOv5s在自制井壁裂纹数据集上的有效性.为了进一步验证E-YOLOv5s 的泛化性能，我们继续在公共数据集Aft Original Crack DataSet Second （AOCDS）^［

3］上进行实验.AOCDS由2 068张图像组成，仅包含裂缝等特征，每张图像的分辨率为1024×1024.由于图像数量有限，每张图像大小较大，计算资源有限，我们将每张图像裁剪为640×640.根据自制数据集中的筛选标准，在AOCDS数据集中选取严重缺陷、中等缺陷和轻度缺陷类别的200张图像进行测试.不同模型的结果如表5所示，其中以粗体为最佳指标.可以看出，我们的模型E-YOLOv5s除Precision和Recall略低于YOLOXs外，检测结果最好.E-YOLOv5s的综合指数mAP值达到87.2%，比原YOLOv5s网络提高3.1%.

表5 AOCDS数据集上不同模型的检测结果

Tab.5 Detection results of different models on the AOCDS dataset

方法	Parameters /M	GFLOPs	Precision /%	Recall /%	mAP_0.5 /%
YOLOv3-SPP	62.6	155.4	81.3	79.8	84.2
YOLOv4-CSP	52.5	119	79.5	80.9	85.3
YOLOv5s	7.02	15.8	82.0	81.4	84.6
YOLOX-s	9.0	26.8	83.7	85.4	86.6
YOLOv7	37.2	105.1	82.4	80.7	85.0
E-YOLOv5s	3.87	8.9	80.1	82.5	87.2

3 结论

井壁裂缝小目标的缺陷检测对煤矿安全开采至关重要，文中提出的检测网络E-YOLOv5s有助于推动裂缝缺陷的智能检测.主干网络ECSP-Darknet53中的轻量化卷积模块ECAConv和特征综合提取单元E-C3，能够减少网络模型参数量和浮点运算量，有效提取浅层信息对应的几何结构，实现对裂缝小目标缺陷的准确检测.细颈部特征融合模块E-Neck中设计的ECACSP模块，有助于加快网络推理速度.E-Neck能将几何信息表征的裂缝拓扑结构和语义信息表达的细微小目标进行充分融合，改善特征融合过程中细节信息的丢失问题.E-YOLOv5s检测井壁裂缝小目标缺陷时的综合指标mAP值达到了85.2%，相比YOLOv5s原始网络提升了4.0%，网络模型参数量和浮点运算分别下降了44.9%和43.7%，且Precision和Recall都略有提升，无论是在提升检测精度方面还是压缩模型体积都有令人满意的结果，有助于推动在嵌入式设备平台的部署.

参考文献

袁亮．煤及共伴生资源精准开采科学问题与对策［J］．煤炭学报，2019，44（1）：1-9． [百度学术]

YUAN L．Scientific problem and countermeasure for precision mining of coal and associated resources［J］．Journal of China Coal Society，2019，44（1）：1-9．（in Chinese） [百度学术]

袁亮．煤炭精准开采科学构想［J］．煤炭学报，2017，42（1）：1-7． [百度学术]

YUAN L．Scientific conception of precision coal mining［J］．Journal of China Coal Society，2017，42（1）：1-7．（in Chinese） [百度学术]

李良福，马卫飞，李丽，等．基于深度学习的桥梁裂缝检测算法研究［J］．自动化学报，2019，45（9）：1727-1742． [百度学术]

LI L F，MA W F，LI L，et al．Research on detection algorithm for bridge cracks based on deep learning［J］．Acta Automatica Sinica，2019，45（9）：1727-1742．（in Chinese） [百度学术]

彭雨诺，刘敏，万智，等．基于改进YOLO的双网络桥梁表观病害快速检测算法［J］．自动化学报，2022，48（4）：1018-1032． [百度学术]

PENG Y N，LIU M，WAN Z，et al．A dual deep network based on the improved YOLO for fast bridge surface defect detection［J］．Acta Automatica Sinica，2022，48（4）：1018-1032．（in Chinese） [百度学术]

ZOU Q，ZHANG Z，LI Q Q，et al．DeepCrack：learning hierarchical convolutional features for crack detection［J］．IEEE Transactions on Image Processing，2019，28（3）：1498-1512． [百度学术]

XU B Q，LIU C．Pavement crack detection algorithm based on generative adversarial network and convolutional neural network under small samples［J］．Measurement，2022，196：111219． [百度学术]

KANG D，BENIPAL S S，GOPAL D L，et al．Hybrid pixel-level concrete crack segmentation and quantification across complex backgrounds using deep learning［J］．Automation in Construction，2020，118：103291． [百度学术]

HOWARD A G，ZHU M L，CHEN B，et al．MobileNets：efficient convolutional neural networks for mobile vision applications［J］．ArXiv e-Prints，2017：arXiv：1704.04861． [百度学术]

CHOLLET F. Xception： deep learning with DSCs［C］//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017： 1251-1258. [百度学术]

ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，UT，USA．IEEE，2018：6848-6856． [百度学术]

HAN K Y. WANG Q. TIAN. GhostNet： more feature from cheap operations［C］， 2022， IEEE， CVPR 2020. [百度学术]

蔡逢煌，张岳鑫，黄捷．基于YOLOv3与注意力机制的桥梁表面裂痕检测算法［J］．模式识别与人工智能，2020，33（10）：926-933． [百度学术]

CAI F H，ZHANG Y X，HUANG J．Bridge surface crack detection algorithm based on YOLOv3 and attention mechanism［J］．Pattern Recognition and Artificial Intelligence，2020，33（10）：926-933．（in Chinese） [百度学术]

郝巨鸣，杨景玉，韩淑梅，等.引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法［J］. 计算机应用， 2023， 43（4）： 1284-1290. [百度学术]

HAO J M， YANG J Y， HAN S M，et，al. YOLOv4 highway pavement crack detection method introduced by Ghost module and ECA［J］. Computer Application， 2023， 43（4）： 1284-1290.（in Chinese） [百度学术]

DOĞAN G，ERGEN B．A new mobile convolutional neural network-based approach for pixel-wise road surface crack detection［J］．Measurement，2022，195：111119． [百度学术]

CHENG J R，XIONG W，CHEN W Y，et al．Pixel-level crack detection using U-Net［C］//TENCON 2018-2018 IEEE Region 10 Conference．Jeju，Korea （South）： IEEE，2018：462-466． [百度学术]

赵志宏，何朋，郝子晔. 一种道路裂缝检测的变尺度VS-UNet模型［J/OL］. 湖南大学学报（自然科学版）， 2024： 1-10. [百度学术]

ZHAO Z H， HE P， HAO Z Y. A variable-scale VS-UNet model for road crack detection［J/OL］. Journal of Hunan University （Natural Science Edition），2024： 1-10.（in Chinese） [百度学术]

MEI Q，GUL M，AZIM R．Densely connected deep neural network considering connectivity of pixels for automatic crack detection［J］．Automation in Construction，2020，110：103018． [百度学术]

KANG D H，CHA Y J．Efficient attention-based deep encoder and decoder for automatic crack segmentation［J］．Structural Health Monitoring，2022，21（5）：2190-2205． [百度学术]

CHOI W，CHA Y J．SDDNet：real-time crack segmentation［J］．IEEE Transactions on Industrial Electronics，2020，67（9）： 8016-8025． [百度学术]

REDMON J，DIVVALA S，GIRSHICK R，et al．You only look once：unified，real-time object detection［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Las Vegas， NV， USA： IEEE， 2016： 779-788． [百度学术]

REDMON J，FARHADI A．YOLO9000：better，faster，stronger［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Honolulu，HI，USA．IEEE，2017： 6517-6525． [百度学术]

REDMON J，FARHADI A. YOLOv3：an incremental improvement［EB/OL］.2018：arXiv：1804.02767.http：//arxiv.org/abs/1804. 02767. [百度学术]

BOCHKOVSKIY A，WANG C Y，LIAO H Y M．YOLOv4：optimal speed and accuracy of object detection［EB/OL］．2020：arXiv：2004.10934．http：//arxiv．org/abs/2004.10934. [百度学术]

JOCHER G. YOLOv5 release v6.1. https：//github.com/ ultralytics/yolov5/releases/tag/v6.1， 2022. [百度学术]

WANG Q L，WU B G，ZHU P F，et al．ECA-net：efficient channel attention for deep convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Seattle，WA，USA： IEEE，2020： 11531-11539． [百度学术]

WANG C Y，MARK LIAO H Y，WU Y H，et al．CSPNet：a new backbone that can enhance learning capability of CNN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）．Seattle，WA，USA．IEEE，2020：1571-1580． [百度学术]

HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA：IEEE，2016：770-778． [百度学术]

WANG C Y，BOCHKOVSKIY A，LIAO H Y M．Scaled-YOLOv4： scaling cross stage partial network［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Nashville，TN，USA： IEEE，2021：13024-13033． [百度学术]

GE Z， LIU S ，WANG F， et al. YOLOX： exceeding YOLO series in 2021［J］.2021. [百度学术]

WANG C Y ， BOCHKOVSKIY A ， LIAO H Y M .YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］. 2023， IEEE， CVPR Vancouver，BC， Canada： IEEE， 2023： 7464-7475. [百度学术]

作者稿件一经被我刊录用，如无特别声明，即视作同意授予我刊论文整体的全部复制传播的权利，包括但不限于复制权、发行权、信息网络传播权、广播权、表演权、翻译权、汇编权、改编权等著作使用权转让给我刊，我刊有权根据工作需要，允许合作的数据库、新媒体平台及其他数字平台进行数字传播和国际传播等。特此声明。

关闭

首页

期刊简介

编委会

作者中心

下载中心

学术道德

常见问题

版权声明

联系我们

English