现代交通与冶金材料第1期基于可编程无人机的路面性能检测研究现状与展望

日期:2021-09-02 作者:黄若昀, 黄 怡, 黄晓明

基于可编程无人机的路面性能检测研究现状与展望*

黄若昀1, 黄 怡2 , 黄晓明2,3

(1.江苏高速公路养护技术有限公司, 江苏 南京 211106; 2.东南大学交通学院, 江苏 南京 211189; 3.道路交通工程国家级实验教学示范中心(东南大学), 江苏 南京 211189)

摘要 无人机拥有的卓越飞行性能及可视化数据采集功能,能够提升路面性能检测效率并弥补检测车在复杂作业环境中检测范围覆盖不足的问题。为了实现无人机在实际道路环境中自动精准地进行检测作业,并提升无人机在道路上空飞行的适应性,总结了无人机基于通用飞行控制软件并搭载遥感、红外仪等硬件进行道路裂缝、坑槽检测和评价方面的研究现状和不足,阐述了现阶段作业无人机的飞控系统硬件构成、飞行稳定算法及视觉避障功能的发展状况。基于此,指出结合DJI MSDK和AMAP开源库进行二次开发可得到实现无人机以路面为对象,设定范围后进行自动路径规划再调整相机进行图像采集作业,实现使用性能检测的功能程序。采集完成后可通过MATLAB平台优化无人机采集结果的拼接情况,结合图像处理技术进一步实现病害智能识别与路面性能的评价模型建立。同时配合双目相机等组件可建立针对道路上空障碍物的避障系统,提高无人机在道路工作飞行环境中的适应性。在总结无人机技术在公路工程的初步应用和联合地面检测设备研究的基础上,展望了其可以先作为一种补充手段应用于路面施工监测、道路噪声监测等方面。

关键词: 无人机; 图像采集; 路面性能检测; 路径规划; 道路环境避障

引 言

现服役的路面无损检测设备通常体积较大,在实际操作中需要封闭交通,影响公路正常运营,具有较大的局限性。此外,面对以高速公路为代表的长路段时工作量将会十分庞大。近年来,随着无人机技术的快速发展,由于体型小、可操控性好、灵活性高、作业效率高,无人机在搜救侦查、航拍测量、货物配送中成了无可替代的角色,并逐步应用于工农业生产领域。在道路使用性能检测领域中,无人机的应用也逐渐受到研究者关注,并取得了一系列研究成果。

在国内,何磊等[1]基于无人机的遥感图像对道路特征信息进行深度学习,固化生成网络参数,实现对低等级道路对象的参数主动提取。马晔等[2]通过搭载在无人机上的相机与红外热成像仪检测公路桥梁的常见病害,取得了较好的成效。许亚男等[3]通过低空遥感技术以及对道路影像的采集、处理、计算和分析,找出存在安全隐患的路面障碍物如路坑,并计算其半径大小和深度,根据不同车速预判事故风险,同时为已破坏的道路提供修复方案。在遥感数据处理上,骆磊等[4]针对已有处理法在提取道路点云数据信息迟钝的问题,提出了一种将主成分分析法,聚类算法和多项式动态拟合法与区域生长算法结合的对包含信息更为敏感的处理流程,无人机结合遥感对路面进行检测技术相对成熟。

在国外,研究者更多地将无人机技术结合实景重构软件进行裂缝,坑槽等病害检测的相关研究。Inzerillo等[5]从不同的角度拍摄了覆盖了路表某一病害点的大量照片,并在用Agisoft Photoscan处理这些照片的基础上恢复了此病害点的三维模型,并将其与真实的路面状态做了对比。更进一步地,Saad等[6]通过无人机摄影技术与Lidar以及Photoscan和Globel mapper软件探测并重建了路表的坑槽与车辙,其主要内容为采集不同水平分辨率的数据来识别车辙和坑槽。也有Dadrasjavan等[7]将无人机平台采集的道路图像通过正交影像的办法生成立体地面模型,并通过传统的图像处理和支持向量机分类方法得到病害识别结果。

然而,上述已有成果均是基于人为控制无人机手动导航拍摄,结果作业处理范围均较小。同时其在路上作业时,仍然依靠于制造厂商开发的通用飞行软件,不具备道路环境的针对性,从数据结果中提取信息极其依赖于后期研究员使用数据平滑方法和重构软件的精度,步骤繁琐,费力且准确性需要通过实际情况验证。

若要更进一步地提升无人机的路面检测作业自动化程度和效率,需要结合已有的开源算法功能接口,做一个定制性的任务执行飞控软件开发,同时解决无人机在道路上飞行时的避障问题,以及结果自动化处理问题。本文旨在提出现有研究成果及理论中所存在的问题,阐述目前无人机的结构与功能,在道路工程领域应用的研究热点,提出无人机路面检测技术的发展方向。

1 无人机飞控结构与飞控程序开发

对无人机进行针对性编程开发以实现路面使用性能检测,无人机的飞行系统硬件装配,开源算法包在软件上提供的硬件激活接口与权限是基础,同时需搭配其他开源外挂算法包实现地图获取与绘制,选择最优路径规划算法以实现自动作业采集任务。目前,国内外已对无人机飞控系统的算法进行大量改进,同时路径规划算法也得到不断优化。

1.1 飞控系统与飞行稳定性研究

1.1.1 无人机飞控硬件构成及参数

在执行任务时,无人机的飞行控制系统起到控制机身按照轨迹平稳飞行的作用,是无人机的核心,其可以感知飞行器的飞行状态、实现导航功能,并向无人机发出指令,精准地控制无人机的悬停、飞行等一系列操作[8]。一般主要由如下部件组成:

(1)惯性测量单元IMU:惯性测量单元用于无人机飞行过程中三轴姿态角(或角速率)以及加速度的测量,感知无人机在飞行过程中的姿态变化,通常情况下,一个惯性测量单元中包括有三轴陀螺仪、三轴加速度计、三轴地磁传感器和气压计 [8],可以分别计算无人机在三个坐标轴方向的倾角、加速度、地磁、以及当前海拔处的大气压强,并通过气压差的计算来获得无人机当前位置处的高度。

(2)GPS导航模块:目前大多无人机采用GPS定位,其原理为三点定位。通过GPS定位反馈给主控单位以位置信息,是进行任务路径规划导航的基础。

(3)主控单元:主控单元是飞控系统的核心,前述所有的设备通过主控与飞控系统对接。除此之外,为了追踪无人机的飞行信息,无人机的主控会对无人机飞行时的位置、姿态等数据进行记录。

本文以大疆Matrice 600 Pro无人机为例,如图1所示。其配备定制DJI A3 Pro三余度冗余飞控系统,搭配6块智能飞行电池,可实现32 min的悬停时间。具体参数如表1所示。

表1 Matrice 600 Pro 无人机参数

301.jpg
302.jpg

图1 大疆Matrice 600 Pro 无人机

1.1.2 飞行控制算法与动力学仿真

无人机在空中悬停或是执行任务时,受到风力干扰等环境因素的干扰,会相对于设定的中心位置发生晃动与偏离,如图2所示为M600在悬停时返还的位置坐标,可以看到无人机的空中三维偏移量不能忽略,同时也需从其在空中的受力角度进行分析和模拟,从而根据实际和模拟的结果不断改进飞控算法。

303.jpg

图2 无人机12.2 m高度悬停时高度曲线与水平位置变化情况

飞行控制系统作为无人机的核心,其使用何种以及如何应用控制算法以提升飞行稳定性一直以来都是研究的热点。随着控制理论的不断发展与完善,目前在飞行控制领域应用范围大的主要有以下两大类方法:

非线性控制类:其基本原理是将整体看作一个复杂的非线性系统进行控制;

智能控制类:其基本原理是利用人工智能建立控制算法

因此,根据无人机的结构及飞行原理,可以建立地面坐标系与机体坐标系并推导出两坐标系之间的变换矩阵,通过MATLAB/Simulink平台搭建了无人机的运动学与动力学模型,还原出无人机控制系统,即可对无人机的飞行姿态进行仿真模拟。

以M600为例,使用S-function建立了包含高度、俯仰角、横滚角、偏航角输入通道的六旋翼无人机飞行动力学模型,并采用PID调节器对输入信号进行调节,模拟其不同飞行姿态,输出12个动力学参数,如图3所示。同时针对其抗干扰能力设计了实地的悬停实验与飞行试验,较为全面的分析了其在空中的飞行稳定性和受力状态。

304.jpg

图3 飞行动力学模拟部分输出情况

1.2 相机对图像采集质量的影响

在进行路面图像采集的作业时,还需要获取图像的相机与调整相机姿态与拍摄角度的云台。相机的结构参数将在很大程度上影响路面图像[9],以索尼Alpha 7R III微单全画幅数码相机,搭配DJI的如影-M(X Ronin-MX)专业相机云台为例,最终视觉采集结构如图4所示。

305.jpg

图4 X Ronin-MX云台及相机

准确的对焦是获取画面清晰的图像的关键,由于车道宽度一般为已知,当其固定时,则焦距将决定无人机飞行高度。相对于无人机而言,拍摄的道路为运动物体,且为便于对检测路面的病害评价,图像不宜过暗,需得平衡快门时间,找出最佳时长。再者采集任务的最终目的是为了拼接得到完整的路面长图,故要考虑图片之间适宜的重合率,其主要与飞行高度、飞行速度及拍摄间隔有关,因此采取合适的间隔也尤为重要。另外,同一尺寸下,也需平衡清晰度和资源占有率,选取合适的像素大小。

根据相机视觉系统的基本知识[10],相机的视野尺寸与镜头焦距之间存在,传感器到被测物体的距离与传感器尺寸的乘积等于视野焦距与视野尺寸的乘积。

在无人机的飞行参数可由此计算出来。无人机在执行路面检测任务时,其飞行高度将决定检测道路在图像画面中所占比例。实地拍摄表明,对于路面照片,图像匹配算法提取的特征点往往集中在道路两旁的树木、花草、绿化带及其他路边设施上,路面本身很难提取出特征。

如图5所示,为了便于图像拼接,采集图像时道路两侧需要留出一定净宽,即视野范围大于路面范围。一般来说,一条车道的宽度为3.75 m,现设定道路两侧各留出2 m净宽,则横向视野尺寸D,无人机的飞行高度h,飞行速度v和纵向视野尺寸L的计算方法如下所示:

306.jpg

图5 横向和纵向视野尺寸示意图

D=3.75n+4

(1)

321.jpg

(2)

v=TL(1-r)

(3)

322.jpg

(4)

式中 n为车道数,f为镜头焦距,a为传感器尺寸参数,v表示无人机飞行速度,T为拍摄间隔,r为图片重合率,L为纵向视野尺寸,h为无人机飞行高度,b为传感器尺寸参数。

参考文献[11]可知,当图片重合率r∈(0.2,0.3)时,拼接效果较好。

1.3 飞控开源算法包与APP开发

为了实现无人机自动针对路面进行采集作业,针对所需功能的开发相应APP是一个有效的途径。DJI MSDK是专门为DJI设备使用者提供基于移动端的二次开发接口,其版本和功能随着无人机发展和开发者的需求不断更新。开发者只需要在其集成开发环境中导入此SDK便可以使用程序脚本完成对无人机硬件诸多组件的控制和状态信息的获取。同时,为了获取足够多的交通网络信息并给操作员提供便捷的地图操作接口,现阶段的飞控程序开发中选择使用高德Amap SDK完成此任务,其涵盖大多数商用地图软件所需要的功能。

从功能上说,MSDK涵盖了开发者可能用到的绝大部分功能[12]:①在飞行器端,有飞行姿态表层底层的控制和实时的飞行数据回传。如飞行器的速度、经纬度、高度等在自动化控制中必不可少的参数,用来时刻监督飞行器的飞行过程。②障碍物回避端,针对不同机型略有不同,对于装配具有三维空间感知系统Flight Autonomy的机型,可用此项接口进行避障功能的激活。若飞行平台M600并无硬件支持此项功能,需针对路面检测任务单独设计了避障的算法和编程接口。③在云台与下挂相机端,若为一体机系列,可直接对云台姿态的控制和图像的回传,对于不自带云台的飞行平台,需外载设备并通过图传系统结合MSDK接口控制相机完成拍摄。④航路点任务功能,为导航任务实际执行时所需要的核心功能。计算规划路径得到一系列航路点坐标后,欲使飞行平台按照此规划飞行,就需要通过MSDK将其配置为飞控硬件可识别并执行的航路点任务。

针对功能扩展的高德Amap SDK,能够提供交通网络建模的必备数据。其主要功能如下[13]

(1)地图显示功能:将交通网络信息通过数字地图的形式显示在手机端屏幕上,可以直观显示所执行任务的目标路段位置,无需额外的航拍和预操作。

(2)地图绘制和操作功能:在显示地图的基础上,完成路径规划等任务后将航路点显示到屏幕上,并定位无人机的任务执行过程的实时位置,以及操作员通过点击地图赋予路径规划的起点和终点经纬坐标。

(3)区级划分功能:可以降低算法预处理中图简化的工作量。按照任务执行的区级市确定路径规划范围,在查询到任务执行区级后重载响应接口确定路径规划范围,随后开始执行路径规划。

(4)地址描述数据返回功能:通过迭代此功能,可以得到区域内交叉路口的位置坐标,地标位置坐标,道路位置坐标等详细交通信息,同时可以通过查询接口返回各个点坐标之间的直线距离。

1.4 飞行路径规划算法研究

为了顺利实现在地图上设定起讫点后,无人机可针对之间的道路进行图像采集,需要选择高效准确的路径规划算法,其原理示意图如图6所示。

MAINI P等[14]在图规划空间的基础上使用Dijkstra算法进行算路,添加了转弯约束条件,得到的轨迹精确且正确,但过于贴合障碍,极易发生碰撞。王伟等[15]基于三维规划空间和飞行约束条件,增强垂直方向的势函数,得到了平滑可实现的轨迹方程,但开销增大,且无法衡量其算得的轨迹的代价。李世晓等[16]针对A*算法影响计算速率和算路准确性的节点表维护和启发函数选择,使用改良版的最小二叉堆,结合三层嵌套二叉堆技术降低了维护节点表的开销,提升了算路的效率。杨润洲等[17]以DTW距离作为代价计算自变量,将三维算路规划为两层,第一层进行二维规划,第二层使用粒子沉降法设定航路点高度充当第三维,最终的算路结果优于基于欧氏距离的启发函数。CRP法[18]主要可分解为三个过程:矩阵独立预处理,将交通网络拓扑图转化为辅助矩阵;特异化矩阵,对每一个矩阵进行特异化处理,将图中的一小部分切割出来进行算路;路径规划,使用前两步的结果进行算路。由于算路耗时在秒级和百毫秒级左右且开销极低,CRP法非常实用,现阶段常用于商业地图软件完成动态规划。当然现阶段更有结合智能进化算法来加快约束方程求解速度,郭世凯等[19]改进了粒子群算法过程中出现局部最优解的问题,大大提升了建模的简易程度并且使得路径的求解速度大大增加。

307.jpg

图6 路径规划算法问题抽取与计算原理示意图

1.5 飞控APP阶段性开发结果

初次尝试开发的飞控APP通过MSDK完成飞行器用户注册,电池配置和升降手动操作以及自动导航的前端配置等,使用AMAP接口绘制地图,从最经典的Dijkstra算法入手计算出最短作业路径,通过AMAP进行作业坐标点标定,实现了的无人机的自动路径规划导航功能,并再通过MSDK实现了对于云台相机拍摄行为的控制,最终成功实现路面图像的采集。APP界面与采集结果如图7所示。

308A.jpg

图7 飞行控制UAV_ROAD操作界面与地图导航定位作业界面

1.6 图像处理与性能评价技术

成功采集路面图像后应对其进行拼接处理等操作,以获得完整准确的信息,同时进行下一步的性能评价工作。

在无人机完成采集拍摄任务后,基于MATLAB平台,进行相机标定和图片几何修正工作[20-21],再对其进行灰度化处理,调整图像尺寸后,采用特征快速提取算法SURF对采集得到的一系列图片进行特征点的提取与匹配[22-23],处理结果如图8所示。此算法在MARTLAB中有相应的功能函数接口detectSURFFeatures(),extractFeatures()和matchFeatures(),直接调用即可完成相关步骤。再通过调用estimateGeometricTransform()可消除粗匹配中的错误点,此步骤处理结果如图9所示。再根据匹配点选取基准图,然后计算每幅图像相对于前一幅的坐标变换矩阵,构造函数Multiplestitch()进行仿射变换,并将图像以基准图为原点连续粘贴即可实现配准拼接,最终可得到一整条道路的图像,就可进行下一步的路面病害识别和评价工作,拼接结果如图10所示。

309.jpg

图8 图像特征提取结果

310A.jpg

图9 基于matchFeatures函数特征粗匹配与消误结果

312.jpg

图10 多幅路面图像拼接结果

以校园道路为例,展示无人机检测路面性能的相应成果。

获得路面完整图像后,对路面病害状况开展初步评价。根据图像显示,本路段病害以横向裂缝为主,如图11所示。结合江苏省多年来的研究成果,采用横向裂缝间距反映横向裂缝的严重程度。横向裂缝间距通过距离与数量的比值,反映评价单元内裂缝密度状况,裂缝间距(TCS)值越小表示裂缝越密集,计算方法如下式所示

313.jpg

图11 检测路段横向裂缝

横向裂缝间距323.jpg

(5)

经统计,在路面图像采集路段,横向裂缝总数量为5条,路段总长150 m,计算可得该路段的横向裂缝间距为30 m。参考江苏省高速公路沥青路面横向裂缝间距分级标准,该路段的评价结果为次,表明横向裂缝发展程度较为严重。需要指出的是,该分级标准适用于高速公路评价,本次试验路段为校园内的低等级道路,不能适用,评价结果仅具有参考意义。

从2000年初开始,就有研究者关注如何使用图像处理技术对路面病害进行识别和评价。提升无人机采集结果的处理识别精确程度,可大大提升无人机在性能检测上的使用空间。早期基于图像处理的路面裂缝自动识别算法大致可分为阈值分割算法和边缘检测算法。

随着神经网络的发展,现阶段学者不断将早期算法与智能算法做一些结合,提出了不少指标和评价模型:狄亚平[24]通过将所采集的数据在不同网络上各迭代8000次得出模型性能的对比结果,得出用Alex Net网络训练出的模型对路面图片具有很好的分类效果的结论。夏翔等[25]提出了一种基于二维经验模态分解和支持向量机结合的路面裂缝识别方法,可有效达到对裂缝进行分类的目的。孙瑞赟[26]针对现缺少公开裂缝图像数据集,应用无人机采集图像进行训练扩增,同时针对桥梁裂缝检测算法忽略裂缝图像背景复杂度的问题,训练出了适用于复杂背景裂缝提取的桥梁路面裂缝图像分割模型。沈照庆等[27]将裂缝的影像数据从低维度空间转到高维度空间后根据模糊原理构建识别策略,再由得到的不同特征设计二分类识别方法,并提出了基于高维处理理论的裂缝损伤评价指标。胡璠[28]研究了BP神经网络的基本模型,利用路面状况的提取特征作为BP神经网络的输入值,设计了多层神经网络对路面病害图像进行分类识别。

总上所述,路面病害图像识别的数据处理方法和评价指标与体系种类繁多。结合现阶段无人机飞控程序开发中遇到的软硬件问题及国内外研究成果,凸显出以下不足:

(1)在二次开发过程中,开发者是无法通过DJI SDK接口对飞行器的各个配件进行底层控制,如螺旋桨的转速等,即无法详细地掌控无人机飞行稳定性的细节。

(2)满足搭配飞行平台地图传设备的接口使用的相机较少,故在实现双目视觉进行测距时需要慎重选择,针对相机SDK开发也受到了阻碍。

(3)高质量原图像拼接计算过程缓慢,且占据的内存很大,压缩后图像拼接速度变快且拼接张数增加,但病害识别的正确性大大降低。

(4)Dijsktra法在复杂程度较小的路网中仍可以发挥不错的效果本身,但开销较大,很难应对城市规模下复杂交通网络的路径规划。

2 道路环境中无人机避障技术研究

无人机在道路环境中作业时要考虑到在飞行时绕避道路障碍物的解决方案。目前,国内外对于无人机避障技术的研究非常之多,照距离测量方法的不同主要分为两类——非视觉避障与视觉避障,其各有卓越之处,但因避障实验导致无人机被毁坏的概率大,资金要求高,在实际中各项技术均不是完全成熟。

2.1 无人机非视觉避障技术

非视觉避障也称为主动式测距,通过向障碍物发射红外线、超声波或激光等并接收由障碍物表面反射回来的信号来计算当下无人机与障碍物之间的距离,其中激光测距的的综合性能要好于另外两种测距方式。主动式测距的优点在于设备精度高,可靠性强,能够在大雨、浓雾等复杂环境中进行测距。其缺点也较为明显:由于信号需要在无人机与障碍物之间进行传输,其装置较为复杂,且功耗高、自重大,因此无人机难以进行长时间的飞行。

2.2 无人机视觉避障技术

对视觉避障技术研究是近些年国内外研究的重点,其也称为被动式测距,利用一定的物理特性和几何特性测算距障碍物的距离,常用的有单目视觉测距、双目视觉测距和结构光测距三种方式。考虑到结构光视觉测距受环境限制较大,其实际应用不如单目视觉测距与双目视觉测距广泛。

被动式测距中的单目视觉测距虽然在精度上不如双目视觉,但其结构简单、运算速度快,同样具有广泛的应用前景[29]

刘志强等[30]开发了基于单目视觉测距原理的车辆碰撞预警系统,自动识别车辆标线与行驶过程中的前方车辆,测量与可能障碍物之间的距离。邹斌等[31]基于单目视觉设计了前方车辆自适应视觉测距方案,作为驾驶辅助系统的补充。针对测距过程相机的俯仰角会影响到检测结果的精度问题,郭磊等[32]采用两车道边界平行的约束条件,提出一种基于单目视觉的实时测距方法检测车辆与前方障碍物的距离。张圣祥等[33]利用单目视觉原理对服务型机器人进行导航功能开发,省去相机的标定步骤,并结合迷宫机器人路径规划中的左手法则,实现机器人的避障功能。

另一方面,被动式测距中的双目视觉测距是通过模拟人眼来进行对目标物体的提取和位置测算,精确度往往较高。双目视觉是立体视觉技术的重要组成部分,与单目视觉相比,针对某一对象的信息量更大更完成,能够实现三维重建[34]

邵暖等[35]提出一种基于改进SIFT特征匹配算法的机器人双目视觉避障系统,能够有效地指导机器人躲避前进方向上的障碍物。任继昌等[36]为了提高双目视觉测距的速率,提出了一种基于角点检测的特征匹配方法,提升了双目视觉测距法的性能。对于没有角点等特征点的光滑曲面,Yabuta等[37]提出了提取光滑曲面上虚拟特征点的方法:左、右两相机主视点通过的边缘运动及活动视点配对,并提取左、右相机基线上的外极片光滑曲面与切线之间的接触点作为虚拟特征点。这种方法在以球面为对象的特征点提取实验中得到有效的实现。此种方法也是DJI系列高端无人机三维感知系统Flight Autonomy的工作原理,其准确度和可靠度均更高。

2.3 道路环境中避障问题研究

在后续针对道路障碍物的避障研究中,双目视觉法是值得进一步研究的,最为基础解决方案的是在调查路灯,绿化,门架系统,路灯,电力塔和信号灯等设备高度的基础上,在飞控程序对于路径规划时,直接调整飞行器的作业高度飞跃相关建筑物。表2为调研得出的道路上存在的各设施设备高度限制。

表2 道路上空障碍物高度调研结果

313.jpg

当然在城市道路与公路环境下,利用单目视觉原理(如图12所示)可以很好地识别并测算路径前方障碍物的位置信息。考虑到在无人机航拍道路的飞行高度上存在的障碍物条件,结合单目视觉避障技术具有的轻便、简单、快速的特点,选用单目视觉作为无人机道路病害检测任务中障碍物的识别与测距的方法。

e4660faca313a48aeb8c2b79b71189e0.png

图12 单目测距原理示意图

现阶段在自行开发的避障模块,对障碍物的识别方面,构建了道路障碍物数据集并使用YOLO网络进行训练[38],如图13所示, 以实现对于障碍物的智能识别框选。在框选障碍物的基础上,结合使用单目视觉原理,即可计算出前方物体相对于无人机的距离,以实现无人机执行任务时对所有种类的障碍物均可识别并躲避。

314A.jpg

图13 Yolo算法原理与训练识别结果

但在实际的试验过程中,结合飞行试验结果和程序运行时间,发现飞跃障碍物的避障方案与使用单目视觉进行避障时会遇到以下问题:

(1)首先是单目测距方法的误差较大。在使用文献算法处理图片测算距离时发现试验结果的误差能够达到10%以上。

(2)同时Yolo算法本身训练时所消耗的空间较大,需要的时间较长,在真正避障过程中可能无法满足时效性。

(3)飞跃障碍物方案没有从根本上解决无人机适应道路作业环境的问题,同时若遇到高电压等级的电力塔仍存在很大的碰撞风险。

3 公路工程其他方面无人机的应用

不仅在公路养护领域的病害检测方面,无人机技术在道路新建工程和改扩建工程整个流程中的其他方面也有使用的需求。

尹恒等[39]将无人机技术航测技术运用到四川省马边彝族自治县某规划新建公路中,在其地形测量、地质灾害调查、土方量复核和征地搬迁等领域中均发挥了作用,得出其精度、效率等方面完全满足复杂条件公路工程的要求。王强等[40]提及无人机搭载拍摄装置可对公路工程中的绿化工程进行快速检查和质量核实, 普查并识别未绿化或效果较差的部位。同时在公路保持水土方案的编制,评价和监管中,无人机也作为重要的信息来源[41]。在公路养护方面,建成后公路工程巡查过程也越来越多地引入了无人机遥测系统,除了运用于路面检测,严恒等[42]和李兴华[43]分别提出在道路应急抢险方面,将无人机技术与公路养管单位及应急抢险单位开发的平台相结合,若发生路边坡崩塌、滑坡等情况即刻进行实时追踪,为灾害严重程度及损失情况评估提供及时有效的图像数据资料,加快应急响应。

周英勇[44]论述了在道路工程施工中无人机应用范围在不断扩大,BIM平台建模、备料数量计算、工程复测、工程量复核、工程进度管理等方面均有了应用,提升了工程管理水平,为施工生产提供有力的数据支撑。在对施工工地的监管中,Asadi等[45]提出了一种以图像拼接技术为重点的施工现场全景图生成方法。此方法过滤掉视频的模糊帧,选择关键帧,并校正相机镜头的畸变。并将其与通过现有图像拼接技术产生的航拍全景图进行了比较,发现该方法有助于管理人员轻松识别各种施工现场条件。

在工程设备布局中,起重设施(包括起重物和起重机)作业前的布局规划是确保整个施工成功的关键。但当前大多都从平面视角进行优化,其安全性难以保证。Jiang等[46]提出了一种基于无人机的施工场地3D重构,用于提升机现场制图和布局规划。在建设武汉石化厂项目中用到了此项技术,验证了其可有效获得合适的布局位置并节省规划时间。

现阶段在路面检测中一个亟需解决的问题是在有许多障碍物的室内和混乱的场景中无人检测车导航效率低下,更有甚者在某些地方无法到达。因此也有很多研究关注无人机与无人地面车辆(UAV / UGV)相结合可在建筑施工中提高总体的自动化程度和数据收集效率。Bang等[47]就此设计了一个UAV-UGV联合系统,其集成了两个定制的设备,地面车辆利用其传感器可进行自主导航,无人机充当检测车的外部眼睛,从检测车无法到达的有利位置观察整个场景。同时了开发了具有自主导航能力的系统,可以获得无人机和检测车的定位,进行根据周围环境绘制相应地图并使用多个传感器进行有效路径规划。

综上,虽然无人机已应用于工程很多部分但是仍处于较为初步的阶段,很多只是在工程信息采集困难地点使用了其航拍技术,是作为一种辅助补充手段,与检测车,测绘设备和外搭载检测仪器相结合使用。在后续的发展中,需进一步对无人机进行有针对性地二次开发并联合不同功能平台软件在道路中更好地发挥性能。也可根据如在航空领域运用声学无人机辨识复杂多源混叠目标声源[48]等其他领域的成果,尝试将其运用于道路环境中的声场构建与噪音检测。

4 结论与展望

通过对现阶段无人机手动控制检测结果,飞控系统硬件结构分析和飞控算法,DJI MSDK的功能,路径规划算法,现有的避障技术研究进展及图像采集处理结果。现阶段,在道路使用性能检测中安排无人机进行作业仍然还存在很多问题,如无人机飞行稳定性和环境适应性仍需提高,针对复杂道路的路径规划算法需进一步优化,针对道路环境的避障技术需完善并在实际中使用,采集结果拼接进程中清晰度和处理速度需进行平衡优化,且暂时无法取代现有的自动化检测技术设备。

因此,在今后的研究中,应主要从以下几方面进行深入的研究和探讨:

(1)现阶段只实现了静态简单路径规划,对于复杂道路的处理仍需使用更为先进的算法并尝试结合智能算法规划求解。更加地,若能优化算法到实时算路的程度,便可以配合自动驾驶技术更加精确的完成任务。

(2)无人机模型精确细化。在仿真过程中建立无人机系统模型时,现阶段对实际条件进行了简化,对于无人机飞行时的气动力学影响没有深入分析,同时对于云台和相机没有建立相关模型,只是物理性的考虑其质量。因此后续无人机建模时需细化并更贴合实际条件;

(3)实际公路飞行试验。考虑到飞行安全性,现阶段开展飞行试验时选取了校内开阔路段,且所在飞行高度障碍物较少,后续试验应结合避障模块在实际运营公路上进行,实现无人机自主导航飞行。

(4)基于单目视觉的避障接口的开发只是在理论上实现,需进行实地试验验证。同时因移动端对于图片集的训练处理速度较为缓慢,单目视觉方案中基于YOLO的智能框选处理速度可能无法满足避障时效性要求。从提高获取信息完整性的角度,可以尝试考虑双目测距原理,搭载立体视觉相机进行下一步的避障功能开发工作。

(5)基于采集图像的路面病害识别可结合图像数字处理技术和神经网络训练,建立相关的评价模型并开发具有针对性的自动化处理软件,进一步与前端采集作业程序进行联合。

(6)进一步研究无人机与地面检测设备和测绘设备联合,提高联合设备在复杂环境下的作业能力,探索新型无人机辅助工程建设的新形式,如应用声学无人机构建道路声场以检测噪音等,从全寿命周期的概念上拓宽加深无人机在道路工程中的应用。

参考文献:

[1] 何 磊, 李玉霞, 彭 博, 等.基于生成对抗网络的无人机图像道路提取[J].电子科技大学学报, 2019, 48(4):580-585.

[2] 马 晔, 邹露鹏, 张理轻. 无人机加载光学摄像及红外成像系统对海上特大桥塔索质量检测的运用技术[J]. 公路交通科技, 2018, 35 (8): 89-93.

[3] 许亚男, 陈竹安, 杨 波, 等. 无人机低空遥感技术在道路安全监测及修复中的应用[J]. 东华理工大学学报(自然科学版), 2020, 43(01): 90-95.

[4] 骆 磊, 马荣贵, 薛 昊. 基于无人机的道路点云数据分割提取算法[J]. 计算机系统应用, 2020, 29(2): 169-174.

[5] Laura Inzerillo, Gaetano Di Mino, Ronald Roberts. Image-based 3D reconstruction using traditional and UAV datasets for analysis of road pavement distress[J]. Automation in Construction, 2018, 96:457-469.

[6] Azri Mat Saad, Khairul Nizam Tahar. Identification of rut and pothole by using multi-rotor unmanned aerial vehicle (UAV)[J]. Measurement, 2019, 137:647-654.

[7] Dadrasjavan F, Zarrinpanjeh N, Ameri A. Automaticcrack detection of road pavement based on aerial UAV imagery[J]. Preprints, 2019, 07.

[8] 孙小芹. 基于多传感器信息融合的行人室内定位算法研究[D]. 秦皇岛:燕山大学, 2018.

[9] 杨傅华. 数码相机的视觉系统[J].电脑新时代, 2002,(3): 56-57.

[10] 孙伟杰. 浅谈镜头焦距技术对画面造型的影响[J]. 现代电影技术, 2007, (4): 24-29+37.

[11] 裴红星, 刘金达, 葛佳隆, 等. 图像拼接技术综述[J].郑州大学学报(理学版), 2019, 51(4): 1-10.

[12] https://developer.dji.com/api-reference/android-api/Components/SDKManager/DJISDKManager.html[EB/OL].

[13] https://lbs.amap.com/api/android-sdk/summary/[EB/OL].

[14] MAINI P, SUJIT P B. Path planning for a UAV with kinematic constraints in the presence of polygonal obstacles[C]. International Conference on Unmanned Aircraft Systems. Arlington, VA, USA: IEEE, 2016: 62-67.

[15] 王 伟, 王 华. 基于约束人工势场法的弹载飞行器实时避障航迹规划[J]. 航空动力学报, 2014, 29(7): 1738-1743.

[16] 李世晓, 朱 凡, 张 健, 等. 改进A*算法的多约束航迹规划[J]. 电光与控制, 2014, 21(7): 36-40.

[17] 杨润洲, 丁 勇, 张承果. 基于 DTW 的改进A*算法在航迹规划中的应用 [J]. 电光与控制, 2016, 23(6): 5-10.

[18] Sisi Z, Aihu W, Mehmood M, et al. Animproved path optimum algorithm for container relocation problems in port terminals worldwide[J]. Journal of Coastal Research, 2018, 34(3): 752-765.

[19] 郭世凯,孙 鑫.基于改进粒子群算法的移动机器人路径规划[J].电子测量技术, 2019, 42(3): 54-58.

[20] 李铁成, 刘晶红, 周前飞. 基于相机内外参数的机载光电平台图像几何校正[J]. 压电与声光, 2016, 38(1): 32-37.

[21] 相 阳. 基于点特征的图像配准技术研究[D]. 沈阳:东北大学, 2010.

[22] Lowe D G. Object recognition from local scale-invariant features[C]. Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE, 2002.

[23] Lowe D G. Distinctiveimage features from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[24] 狄亚平. 路面裂缝识别算法研究[D]. 郑州:郑州大学,2018.

[25] 夏 翔, 宋逸君, 俞传富, 等. 基于BEMD和SVM的路面裂缝识别方法[J]. 电子器件, 2020, 43(1):224-228.

[26] 孙瑞赟. 复杂背景下桥梁路面裂缝检测与分割算法研究[D]. 西安:陕西师范大学, 2019.

[27] 沈照庆, 钟 良, 肖沙沙. 模糊核空间下高速公路路面裂缝智能识别与评价[J].公路, 2014, 59(2): 180-184.

[28] 胡 璠. 基于数字图像的高速公路路面病害识别系统的应用研究[D]. 重庆:重庆交通大学, 2013.

[29] 肖大伟, 翟军勇. 轮式移动机器人单目视觉的目标测距方法[J]. 计算机工程, 2017, 43(4): 287-291.

[30] 刘志强, 温 华. 基于单目视觉的车辆碰撞预警系统[J].计算机应用, 2007 (8): 238-240.

[31] 邹 斌,袁宇翔. 面向智能交通的单目视觉测距方法研究[J]. 交通运输系统工程与信息, 2018,(4):46-53.

[32] 郭 磊, 徐友春,李克强,等.基于单目视觉的实时测距方法研究[J]. 中国图象图形学报, 2006, 11(1): 74-81.

[33] 张圣祥,庄礼鸿.多传感器信息融合的服务机器人导航方法[J].单片机与嵌入式系统应用, 2018, 18(3):5-9.

[34] 杨雪姣. 自动驾驶场景下的实时单目测距研究[D]. 重庆:重庆理工大学, 2020.

[35] 邵 暖, 李惠光, 刘 乐. 基于特征匹配算法的双目视觉测距[J]. 燕山大学学报, 2012,36(1): 57-61.

[36] 任继昌,杨晓东.基于角点检测的双目视觉测距新方法[J].电光与控制, 2013, 20(7):93-95.

[37] Yabuta Y, Mizumoto H, Arii S. Binocularrobot vision with active viewpoint for sphere measurement[J]. Key Engineering Materials, 2012, 516:343-348.

[38] Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]. 2016 IEEE Conference on Computer Vision and Pattern Recogntion, 2016.

[39] 尹 恒, 裴尼松, 余 梨. 无人机技术在复杂公路中的应用研究[J]. 中外公路, 2018, 38(2):1-5.

[40] 王 强, 李红中. 无人机的特点及其在公路工程建管养领域中的应用研究[J].广东公路交通, 2018, 44(1): 11-19.

[41] 张玉茜.无人机摄影测量技术在水土保持学科的应用[J].科技资讯, 2015, 13(20): 191-192.

[42] 严 恒, 王嘉嘉.无人机在公路工程项目管理中的应用探讨[J].西部交通科技,2016,(8):109-112.

[43] 李兴华.无人机航测技术应用于公路崩滑陡峭地段测量分析[J].公路交通技术, 2012,(4):49-53.

[44] 周英勇. 无人机技术在道路工程施工中的应用[J]. 黑龙江交通科技, 2019, 42(5): 56-57.

[45] Asadi K, Kalkunte Suresh A, Ender A, et al. An integrated UGV-UAV system for construction site data collection[J]. Automation in Construction, 2020, 112(5):103068.

[46] Jiang W, Zhou Y, Ding L, et al. UAV-based 3D reconstruction for hoist site mapping and layout planning in petrochemical construction[J]. Automation in Construction, 2020, 113(3):103137.

[47] Bang Seongdeok, Kim Hongjo, Kim Hyoungkwan. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching[J]. Automation in Construction, 2017, 84:70-80.

[48] 马春艺,张 君,鲍 明, 等. 声场空频特征非参数融合无人机声学探测[J]. 信号处理,2019, 35(9), 1590-1598.

Research status and prospects of pavement performance measurement based on programmable UAV

HUANG Ruoyun1, HUANG Yi2, HUANG Xiaoming 2,3

(1.Jiangsu Expressway Engineering Maintenance Technology CO. LTD.Nanjing 211106, China;2.School of TransportationSoutheast UniversityNanjing 211189, China;3.National Demonstration Center for Experimental Education of Road and Traffic Engineering(Southeast University), Nanjing 211189, China)

Abstract The unmanned aerial vehicles (UAVs) have excellent flight performance and videotex data collection ability. It can improve the efficiency of road performance detection and cover the insufficient detection due to the complex environment. In order to apply the drones automatically and accurately in real road environment and improver the adaptability of drones above the road, this article summarizes current inefficiencies of drone usage on road detection based on general flight control software, and elaborates current composition of flight control system, flight stabilization algorithm, and visual obstacle avoidance function. On this basis, combine the DJI MSDK and AMAP open source library for secondary development can achieve a functional program that the UAV takes the road as the object, and then performs automatic path planning after setting the range and then adjusts the camera for image collection operations to realize the use of performance testing. Use the image processing technology combine with the image stitching optimization function through MATLAB, an intelligent road detection and evaluation model can be built after the data was collected by drones. At the same time, with binocular cameras and other components, an avoidance system for obstacles on the road can be built to improve the adaptability of the UAV on the road. Finally, based on the inquiry of UVA and its joint equipment, this article prospects UAV as a supplementary method in road construction monitoring and road acoustic detecting.

Key words unmanned aerial vehicle; image acquisition; pavement performance detection; path planning; road environment obstacle avoidance

中图分类号:V279+.2; U416.06

文献标志码:A

文章编号:2097-017X(2021)01-0014-12

*收稿日期: 2021-06-11

资助项目: 国家自然科学基金资助项目(51778139)

第一作者简介: 黄若昀(1993-),女,硕士,工程师。研究方向:厂拌热再生技术、智能化管养、无人机技术。


返回