摘要
为推动桥梁管养事业发展的数字化、智能化和精细化，保障其安全服役，提出基于无人机路径规划与深度学习的桥梁点云自动化分割方法. 首先对桥梁结构进行倾斜摄影建模，根据模型提供的空间信息，对桥面板、桥侧、桥墩和桥底四部分分别进行无人机飞行路径精细化规划，并按照新路径执行航拍任务，进行三维重建. 其次，通过实桥试验进行方法验证，根据目标分辨率确定无人机飞行高度、航向和旁向重叠率等飞行参数，编写KML文件导入无人机，经验证重建所得的桥梁三维点云模型精度达到毫米级. 最后，制作点云语义分割数据集，将点云数据划分为背景、桥面板、桥墩和盖梁四类，采用轻量高效的RandLA-Net算法进行桥梁构件语义分割，结果MIoU值为98.77%，各类别构件IoU值在95.46%以上，在桥梁点云的自动化分割上取得了良好的效果.
桥梁是国家交通基础设施之间互联互通的重要节点和枢纽工程，对国民经济的建设和人民生活的安全具有重要的保障作
无人机具有机动灵活和成本效益高的特点，能够获得高分辨率的影像数据，已经被广泛应用于测绘、交通以及防灾减灾等领域. 刘
为提高无人机倾斜摄影获取的模型精度，制定合理的路径规划方案是必须的. Martin
对点云进行有效的分割是点云应用研究的前提. 基于神经网络的分割方法日渐成熟，代表性的算法包括PointNe
本文提出一种基于无人机的桥梁点云获取和点云分割方法，针对倾斜摄影模型精度低的问题，通过规划合理的精细化飞行路径来获取桥梁结构的高精度三维点云模型；采用深度学习方法实现大规模桥梁点云的语义分割，避免传统语义分割算法速度慢、计算效率低等问题，为桥梁构件快速高效分割提供参考.
1 研究方法
本文提出的方法主要包括三部分，如
图1 研究技术路线图
Fig.1 Workflow of research methods
2 无人机精细化路径规划方法
2.1 无人机路径规划基本理论
无人机路径规划是指在满足无人机自身性能的情况下，综合考虑耗电量、飞行区域、安全性等条件，为无人机在目标飞行区域内规划从飞行起点到目标终点的最优或满意的飞行路径. 本文主要依托静态路径规划方法，根据目标桥梁的外部环境提前规划出一组航线，在保证飞行安全的前提下，根据目标精度，确定无人机的飞行高度、重叠率等参数，实现高品质的桥梁三维重建. 以下对相关参数计算方法进行介绍.
2.1.1 飞行高度计算
在选定无人机搭载的相机后，根据要达到的地面分辨率的不同，无人机航摄高度也要发生相应的变化. 两者的关系如
图2 飞行高度与地面分辨率的关系
Fig.2 The relationship between flight altitude and ground resolution
由
| （1） |
式中：为机体离目标物的航摄高度，m；为相机的真实焦距， mm；为地面分辨率，m/px，即每个像素点大小采集到地面实际距离，一般按照航拍任务由用户自定义；A为像元尺寸，μm/px.
2.1.2 重叠率计算
在无人机近景摄影测量中，为保证能重建出结构物三维模型，相邻航点获取的图像必须满足一定的重叠率. 其中，沿飞行航线方向图像之间的重叠被称为航向重叠，如
图3 航向重叠
Fig.3 Longitudinal overlap
图4 旁向重叠
Fig.4 Lateral overlap
由示意图可分别得到航向重叠率计算公式如
| （2） |
| （3） |
式中：为航向重叠率；为旁向重叠率；和分别为航向和旁向相邻图像重叠部分的长度；w、h分别表示图像像幅在地面投影的宽度和高度方向的实际大小.
2.2 基于倾斜摄影模型的无人机路径规划方法
2.2.1 桥面航线规划方法
在进行桥面航线规划时，由于无人机实际为从上空向下俯拍，因此将无人机镜头俯仰角设置为-90°，根据无人机镜头焦距、所需地面分辨大小及镜头像元尺寸，由
图5 桥面航线规划示意
Fig.5 Illustration of the bridge deck route plan
（a）桥面航线 （b）桥面航线详图
| （4） |
式中：、和为无人机前一个航点的空间坐标；、y和H为邻近航点的坐标；和分别为垂直于航向和沿航向前后航点间的距离.
2.2.2 桥侧航线规划方法
桥侧航线规划方法与桥面航线规划方法原理相似，此时无人机镜头俯仰角设置为0°，即水平拍摄. 无人机飞行时离桥侧面的距离由
图6 桥侧航线规划示意
Fig.6 Illustration of the bridge side route plan
2.2.3 桥墩航线规划方法
对于非高墩桥，由于桥面板对信号的遮挡，无人机在桥下飞行时GPS信号会发生中断，若直接规划桥底航线，无人机会因GPS信号丢失而中断飞行任务，甚至可能使无人机失控而造成飞行事故. 因此桥墩航线的主要部分仍沿桥侧布置，无人机飞行时离桥墩的距离由
图7 桥墩航线规划示意
Fig.7 Illustration of the bridge pier route plan
（a）桥墩航线 （b）桥墩航线详图
2.2.4 桥底航线规划方法
非高墩桥梁桥底航线规划同样会遇到GPS信号中断的问题，因而无法直接在桥底飞行，为保证无人机飞行安全，可只沿桥侧飞行，此时改为上置云台的方式进行拍摄. 在具体规划时，航点位置需要根据最小安全飞行高度、地面分辨率和航向重叠率来确定，桥底航线规划示意如
图8 桥底航线规划示意
Fig.8 Illustration of the bottom route plan bridge
（a）桥底航线 （b）桥底航线详图
3 桥梁点云三维重建试验
为验证基于倾斜摄影的无人机路径规划获取高精度桥梁模型方法的有效性，开展了实桥测试工作，所获取的数据也为后文研究提供数据基础. 本文数据采集对象为一座跨河的多跨连续梁桥（东经118.865 5°，北纬31.866 7°），该桥全长130 m，共计7跨，桥面宽6 m.
3.1 数据采集设备
本文桥梁数据采集设备为大疆M300-RTK无人机，带有实时动态差分模块，可实时接收GPS和北斗导航卫星系统信号，可实现无人机厘米级定位. 搭载镜头为禅思H20T，可以采集可见光与热成像画面，包含2 000万像素变焦相机（焦距6.83~119.94 mm，分辨率4 056×3 040），1 200万像素广角相机（焦距4.5 mm，分辨率5 184×3 888），电子快门速度1~1/8 000 s，相机内置激光测距仪.
3.2 基于无人机图像的三维重建原理
基于无人机图像的三维点云重建可视为成像的逆过程，实现从二维影像中重建出三维场景的几何信息. 由
图9 基于无人机图像的三维重建的传统框架
Fig.9 A traditional framework for 3D reconstruction based on drone images
3.3 建立倾斜摄影模型
在规划无人机倾斜摄影任务航线时，为提升图像获取效率，采用环形航线进行航拍，将各个航点位置和执行指令编写成KML文件并导入遥控器，对航点进行检查，确保无误后，通过遥控器将航线任务传输至无人机飞控系统，而后无人机会在各航点位置执行相应指令，采集桥梁航拍图像. 生成的环形航线示例如
图10 无人机倾斜摄影示例
Fig.10 Example of oblique drone photography
（a）倾斜摄影环形航线 （b）倾斜摄影模型
倾斜摄影模型的细部重建效果如
图11 倾斜摄影模型细部重建效果
Fig.11 Detailed reconstruction of the oblique photographic model
（a）桥墩和桥底细部 （b）桥侧和桥面细部
3.4 基于倾斜摄影模型的精细化航线规划
H20T广角镜头焦距为4.5 mm，像元尺寸为 1.55 μm. 根据目标建模的精度确定地面分辨率GSD值，将相关参数代入
本文实桥三维重建的精度设定为毫米级，在对桥面进行航线规划时，出于飞行安全考虑，设定无人机飞行高度为离桥面9 m，地面分辨率为3.1 mm/px，则画幅为12.6 m×9.4 m，设置旁向重叠率和航向重叠为80%，则垂直于航向和沿航向前后航点间的距离分别为2.5 m和1.9 m，结合桥面宽度和长度可以确定所需航点数量，桥面航线规划结果如
对比
（a） 桥面航线可视化
（b） 桥侧航线可视化
（c） 桥墩航线可视化
（d） 桥底航线可视化
图12 各部位精细化航线可视化
Fig.12 Detailed route visualization of each part
3.5 精细化三维模型重建
将采集所得的2 812张图像输入Smart3D点云建模软件中，进行空三测量计算. 由于计算机内存限制，以0.005 m的间距进行采样后开展点云重建工作，重建后的桥梁点云模型如
（a） 整体重建效果
（b） 放大的病害重建效果
图13 桥梁三维点云
Fig. 13 Bridge three-dimensional point cloud
4 基于RandLA-Net的桥梁点云构件分割
桥梁结构的管养，如变形测量、病害检查、技术状况评估、三维可视化等，大多以构件为单位来进行. 同时，点云数据的庞大和复杂性决定了依托算法实现高效与自动化处理是点云挖掘利用的必然方向，而不同构件的几何特征差异使得其无法使用同一套算法进行处理. 因此，点云的有效分割是对数据进行充分分析，进而应用于桥梁管理与养护工作的前提.
为实现对大规模点云数据集的快速高效分割，Hu等
以往RandLA-Net多用于大规模物点云的目标分割（如分离植被、建筑、道路等），处理对象较为宏观，分割细节上的误差对整体结果影响不大. 而桥梁结构更为具体，对分割细节的要求也更高.通常点云分割使用激光雷达直接获取的点云，而无人机图像重建的点云在密度、质量上均与激光点云有所差异，其对分割效果的影响有待验证. 本文以RandLA-Net模型为基础进行无人机获取的桥梁点云不同构件的语义分割.
4.1 RandLA-Net模型结构
RandLA-Net模型采用了具有跳跃连接的“编码器-解码器”结构. 编码过程采用随机采样和特征聚合模块减少点的数量的同时聚合数据特征，提升特征维度；解码过程先采用KNN算法寻找点云近邻点，然后通过最近邻插值对点云特征集合进行逐步上采样，为减少由下采样带来的特征信息丢失，通过跳跃层将上采样高维度特征与编码层产生的低维度特征进行融合，最后采用MLP结构对融合后的特征进行类别预测. 模型整体结构如
图14 RandLA-Net整体结构
Fig.14 Overall structure of RandLA-Net
4.2 数据集制作
选择本文第3节中实桥试验所采集的桥梁点云数据作为桥梁语义分割数据集. 为扩充数据集，将上述点云数据进行切分，得到共计6跨桥梁数据.
采用点云标注软件，按照Semantic3D的数据格式对数据进行标注，将数据分别标注为背景、桥面板、桥墩和盖梁4类，标注后的数据集如
（a） 桥梁1
（b） 桥梁3
（c） 桥梁4
（d） 桥梁6
（e） 桥梁2
（f） 桥梁5
图15 数据集数据划分
Fig.15 Data division of the dataset
| 桥梁编号 | 背景 | 桥面板 | 桥墩 | 盖梁 | 总数 |
|---|---|---|---|---|---|
| 桥梁1 | 2 868 764 | 10 441 873 | 734 702 | 655 804 | 14 701 143 |
| 桥梁3 | 3 661 658 | 5 905 763 | 1 254 554 | 723 683 | 11 688 398 |
| 桥梁4 | 3 841 424 | 6 018 119 | 1 328 925 | 753 447 | 12 069 560 |
| 桥梁6 | 2 619 221 | 5 622 097 | 1 072 712 | 646 445 | 9 960 475 |
4.3 试验开展
4.3.1 试验环境
本研究算法是基于Python语言实现的，试验环境为Centos7操作系统、采用显存24 GB的NVIDIA Quadro RTX 6 000 GPU，深度学习框架为Tensorflow-2.1.0. 在试验过程中使用Adam优化器来训练网络，初始学习率为0.01，训练100个世代，每个世代训练500步，全连接层的Dropout参数保留率为0.5，Xavier 优化器初始化网络参数. 考虑到输入网络结构的数据量和显卡的显存，将Batch size的值设置为4. 采用点云尺寸缩放，旋转等方式进行数据增强，设置的缩放比例分别为0.8和1.2.
对于桥梁此类构件体量存在较大差异的结构，对应点云数据中各类点的数量也会出现较大差距. 在算法中，weight值采用数据集中该类别点数除以数据集全部点的数量来计算；最终使用1/（weight+0.02）的值作为计算损失函数时各类别的权重系数.
4.3.2 评价指标
对于三维点云语义分割，常采用总体精确率（OA）和平均交并比（MIoU）值作为评价指
| （5） |
| （6） |
| （7） |
| （8） |
| （9） |
式中：TP表示原本为i类的样本且被模型正确预测i类的样本数量；TN表示原本为j类的样本且被模型正确预测j类的样本数量；FP表示原本为i类的样本但被错误预测为j类的样本数量；FN表示原本为j类的样本但被错误预测为i类的样本数量；n为数据集中的类别个数.
4.3.3 试验结果与分析
在上述桥梁数据集上验证基于RandLA-Net模型的桥梁点云构件自动识别方法的有效性. RandLA-Net模型对无人机重建的数据集整体识别效果如
| 预测结果 | 真实值 |
|---|---|
 |
 |
 背景  桥面板  桥墩  盖梁 | |
| 预测结果 | 真实值 |
|---|---|
 |
 |
 |
 |
 |
 |
 |
 |
 TP  FP  FN | |
为了定量评估RandLA-Net算法对桥梁各个构件识别的效果，在基于无人机图像重建的三维数据集上进行测试，根据测试集上的识别结果计算出各指标值分别如
| 测试数据 | 类别 | Pr | R | IoU | F1 | MIoU | OA |
|---|---|---|---|---|---|---|---|
| 桥梁5 | 背景 | 99.73 | 96.92 | 96.67 | 98.30 | 98.77 | 97.34 |
| 桥面板 | 98.02 | 99.87 | 97.89 | 98.94 | |||
| 桥墩 | 99.98 | 99.35 | 99.33 | 99.66 | |||
| 盖梁 | 98.70 | 96.67 | 95.46 | 97.68 |
5 结 论
1）本文提出了基于倾斜摄影模型的无人机精细化路径规划方法，通过将桥梁结构分部为桥面、桥侧、桥墩和桥底四个方位，综合倾斜摄影模型获取的空间位置信息，根据目标地面分辨率、无人机安全飞行高度，综合计算航线旁向重叠率和航向重叠率，确定无人机航线上各航点位置.
2）选取一座跨江多跨连续梁桥进行三维重建测试，并对模型精度进行分析. 将实际桥梁三维重建结果与普通倾斜摄影结果对比，发现经过精细化路径规划后的模型精度更高，细节效果远远优于倾斜摄影模型. 验证了该方法的有效性.
3）总结了基于深度学习模型的桥梁点云构件自动识别方法. 由于三维模型数据量大，传统分割算法效率低且精度难以保证，而常用的基于点的深度学习算法也难以一次性处理大规模点云数据， 因此采用轻量高效的RandLA-Net模型对桥梁点云进行分割，提高构件分割的效率.
4）扩展了RandLA-Net深度学习模型的应用范围，验证了该模型对于无人机图像重建得到的桥梁点云模型构件自动分割的有效性. 将基于无人机图像重建的桥梁三维点云切分后的数据作为数据集，开展模型训练试验. 数据集MIoU为98.77%，总体识别精确率达97.34%，识别效果良好.
5）在未来研究中，无人机路径规划航线的效率仍有提升空间，通过精简航线来实现以更少航点情况达到相同甚至更高的重建精度. 另外，测试结果表明RandLA-Net模型用于一般梁式桥的构件分割可以取得良好效果，但其用于更复杂的桥梁结构，如悬索桥、斜拉桥时的可靠性仍需进一步验证.
参考文献
张喜刚，刘高，马军海，等．中国桥梁技术的现状与展望［J］．中国公路，2017（5）： 40-45． [百度学术]
ZHANG X G，LIU G，MA J H，et al. Status and prospect of technical development for bridges in China［J］. China Highway，2017（5）： 40-45．（in Chinese） [百度学术]
中华人民共和国交通运输部. 2022年交通运输行业发展统计公报［EB/OL］.（2023-12-21） ［2024-03-24］. https：//www.gov.cn/lianbo/bumen/202306/content_6887539.htm. [百度学术]
Ministry of Transport of the People’s Republic of China. 2022 Statistical Bulletin on the Development of the Transportation Industry［EB/OL］.（2023-12-21）［2024-03-24］.https：//www.gov.cn/lianbo/bum en/202306/content_6887539.htm.（in Chinese） [百度学术]
刘洋. 无人机倾斜摄影测量影像处理与三维建模的研究［D］．抚州：东华理工大学，2016． [百度学术]
LIU Y. Research on image processing and three-dimensional modeling of tilt photogrammetry for UAV［D］. Fuzhou： East China Institute of Technology，2016．（in Chinese） [百度学术]
杨力龙．基于轻小型无人机的航空摄影测量技术在高陡边坡几何信息勘察中的应用研究［D］. 成都：西南交通大学，2017． [百度学术]
YANG L L．Research on application of aerial photogrammetry technology based on light and small UAV in geometric information survey of high and steep slopes［D］. Chengdu：Southwest Jiaotong University，2017．（in Chinese） [百度学术]
苟彦梅. 基于无人机倾斜摄影测量的石窟文物三维重建应用研究［D］. 西安：西安科技大学，2019． [百度学术]
GOU Y M. Application research on 3D reconstruction of grottoes cultural relics based on UAV tilt photogrammetry［D］. Xi’an： Xi’an University of Science and Technology，2019．（in Chinese） [百度学术]
庞浚疑. 路桥工程中基于BIM的3D实景建模与应用研究［D］.重庆：重庆交通大学，2018． [百度学术]
PANG J Y. Research on 3D real scene modeling and application based on BIM in road and bridge engineering［D］. Chongqing：Chongqing Jiaotong University，2018．（in Chinese） [百度学术]
MARTIN R， BLACKBURN L， PULSIPHER J，et al. Potential benefits of combining anomaly detection with view planning for UAV infrastructure modeling［J］. Remote Sensing，2017， 9（5）： 434． [百度学术]
ROBERTS M， SHAH S， DEY D， et al. Submodular trajectory optimization for aerial 3D scanning［C］//2017 IEEE International Conference on Computer Vision （ICCV）. Venice，Italy：IEEE，2017：5334-5343． [百度学术]
BIRCHER A， KAMEL M， ALEXIS K，et al．Three-dimensional coverage path planning via viewpoint resampling and tour optimization for aerial robots［J］. Autonomous Robots， 2016， 40（6）： 1059-1078． [百度学术]
CHARLES R Q，HAO S，MO K C，et al．PointNet：deep learning on point sets for 3D classification and segmentation［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE，2017：77-85． [百度学术]
QI C R， YI L， SU H，et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［EB/OL］. 2017： 1706.02413（2023-12-21）［2024-03-24］. https：//arxiv.org/abs/1706.02413v1. [百度学术]
RIVEIRO B，DEJONG M J，CONDE B．Automated processing of large point clouds for structural health monitoring of masonry arch bridges［J］. Automation in Construction，2016，72：258-268． [百度学术]
SÁNCHEZ-RODRÍGUEZ A，RIVEIRO B，CONDE B，et al．Detection of structural faults in piers of masonry arch bridges through automated processing of laser scanning data［J］. Structural Control and Health Monitoring，2018，25（3）：e2126． [百度学术]
LU R D，BRILAKIS I．Digital twinning of existing reinforced concrete bridges from labelled point clusters［J］. Automation in Construction，2019，105：102837． [百度学术]
LU R D，BRILAKIS I，MIDDLETON C R. Detection of structural components in point clouds of existing RC bridges［J］. Computer-Aided Civil and Infrastructure Engineering，2019，34（3）：191-212． [百度学术]
ZHAO Z Y， CHENG Y L， SHI X S， et al. Classification of LiDAR point cloud based on multiscale features and pointnet ［C］// 2018 Eighth International Conference on Image Processing Theory， Tools and Applications （IPTA）. Xi’an， 2018： 1-7. [百度学术]
SOILÁN M，LINDENBERGH R，RIVEIRO B，et al．PointNet for the automatic classification of aerial point clouds［J］. ISPRS Annals of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2019，IV-2/W5：445-452． [百度学术]
KIM H，YOON J，SIM S H. Automated bridge component recognition from point clouds using deep learning［J］. Structural Control and Health Monitoring，2020，27（9）：1-13． [百度学术]
KIM H，KIM C. Deep-learning-based classification of point clouds for bridge inspection［J］. Remote Sensing，2020，12（22）：3757． [百度学术]
HU Q Y，YANG B， XIE L H，et al. RandLA-Net： efficient semantic segmentation of large-scale point clouds［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 11108-11117. [百度学术]
SONG Y H，YANG C，SHEN Y J，et al．SPG-Net：segmentation prediction and guidance network for image inpainting［EB/OL］. （2023-12-21）［2024-03-24］.https：//arxiv.org/abs/1805.03356v4. [百度学术]
GUO Y L，WANG H Y，HU Q Y，et al．Deep learning for 3D point clouds：a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（12）：4338-4364． [百度学术]
