摘要：为解决大型特种设备高空结构件远程视觉检测难以触及部位的问题，设计了一种上/下挂无人机智能巡检系统。采用全覆盖巡检路径智能规划和牛犁式自主巡检方式，对特种设备复杂结构件进行全方位无死角高质量图像采集。提出改进的YOLOv3深度神经网络分类模型，通过K均值聚类法自动生成锚框尺寸，提高模型对不同大小、形状缺陷的检测能力。开发大型设备无人机智能巡检软件，实现裂纹、腐蚀、涂层退化、螺栓脱落、损伤、变形、钢丝绳断丝、锈蚀、磨损、畸形等缺陷的智能识别和全巡检过程的数字化管理，快速处理现场巡检报告生成。实验结果表明，改进的YOLOv3算法检测准确率达94.31%，速度达17fps。研制的无人机智能巡检软硬件平台可辅助人员对大型设备进行智能视觉检查和安全状态评估，提高检测精度和效率，及时发现设备运行风险隐患，有效预防和控制事故，提高特种设备安全化、智能化水平。
关键词：特种设备 无人机 智能检测 深度神经网络 缺陷识别 智能检测路径规划
介绍
随着经济社会的发展，特种设备逐步向大型化、高速化、专业化方向发展，如振华重工22000t门式起重机、徐工2600t超级汽车起重机、中联T1200-64W超大型平头塔机、超大型过山车及摩天轮、大跨度客运索道、架空压力管道、超大型LNG储罐等。对于这些室外大型特种设备高空作业难以触及的金属结构件及钢丝绳、滑轮等部位，传统的人工检测方式存在检测盲区、高空作业危险、劳动强度大、效率低等问题。目前，大型特种设备高空结构件无人智能巡检主要包括地面高清摄像设备远距离拍摄巡检、爬壁机器人或索道机器人接触或近距离巡检、无人机智能巡检三种方式。其中无人机智能巡检具有非接触、高精度、高效率、远程可视化等特点，尤其适合超大型特种设备高空结构件远程巡检。国内外众多巡检机构、高校和用户纷纷掀起以无人机为载体的大型特种设备高空结构件智能巡检技术研究与应用的热潮。
南京特检院对起重机倒置无人机检测系统设计[1]、路径规划与自动检测[2]、裂纹[3]、腐蚀[4]、螺栓脱落[5]等缺陷识别等方面进行了深入研究。上海特检院的陈庆成[6]设计了一种基于无人机轨迹规划与三维建模的起重机高效检测方法，通过非结构化工作环境的三维建模过程，使无人机实现自主飞行、轨迹规划、避障等智能检测功能，更容易发现起重机钢结构中的焊接、裂纹等缺陷。浙江特检院的田伟等[7]构建了基于无人机的热管检测与安全管理系统平台，实现了飞行控制、自动检测、视频推送与直播，并能自动分析采集的图像数据，记录并定位过热现象。Maboudi等[8]利用无人机对集装箱起重机进行基于图像的表面损伤检测，使用朴素贝叶斯分类器对图像进行分类，识别出锈蚀等关键缺陷，检测召回率为 87%。Bobbe 等 [9] 利用基于无人机的自主航空摄影测量对轨道式龙门起重机的轨道进行检测。为了避免起重机遮挡轨道图像对摄影测量过程造成的不利影响，设计了几种智能无人机任务规划策略，并在模拟环境中进行了测试，以最小化飞行时间。
甘肃省特检院荆东等[10]利用无人机对大型起重机进行高清图片及视频拍摄，通过红外热成像快速锁定缺陷，并用动刚度试验机获取起重机工作时的振动频率。福建省特检院潘建红[11]、杨静[12]采用配备高清变焦相机、激光测距仪和GPS定位控制系统的无人机检测解决方案，使用改进的八方向Sobel算子处理裂纹图像，通过边缘分析提取裂纹位置。浙江大学的王新元等[13]根据无人机的位置和姿态信息进行坐标变换，进行塔架垂直度检测。上海交通大学的孙东晓等[14]利用搭载任务检测设备的旋翼无人机对大型起重机表面的锈蚀和裂纹进行检测。郭进等[15]利用搭载任务检测设备的旋翼无人机对大型起重机表面的锈蚀和裂纹进行检测。广东省特检院[15]利用搭载可见光相机和红外热像仪的无人机对特种设备、危化品储存容器进行巡检，不仅实现了全方位视觉检查，还能有效发现温度异常、介质泄漏、火烟等问题。武汉锅炉检测研究所卢俊等[16]提出利用搭载红外探测相机的无人机对架空敷设的在役高温、低温压力管道进行宏观检查。天津市特检院郑桂红等[17]探索了电站锅炉、垃圾焚烧锅炉的无人机巡检方案与方法。王金照等[18]探讨了无人机巡检技术在起重机械、大型游乐设施检验检测中的应用前景。
目前，已有多家检验检测机构、高校在特种设备无人机智能检测领域开展研究和应用探索，但仍存在诸多技术难点需要解决，如：室外强光、逆光、弱光、过曝、机身震动、镜头离焦等原因造成的图像对比度差、“重影”、眩光、模糊、畸变和噪声等；由于无人机及图像采集硬件厂商、图像AI识别系统开发商、检验检测业务需求方等检测系统软硬件接口不统一，图像多次压缩传输造成清晰度降低、马赛克问题；起重机、大型游乐设施等特种设备；类间差异小、背景复杂、伪缺陷多，焊接纹理、雨痕、漆膜裂纹等线状物体出现多种缺陷或无缺陷；类内差异性较大，腐蚀、裂纹缺陷的大小、形状、方向、位置等多变，进而影响模型的学习能力，且钢丝绳微裂纹、断丝等复杂背景下的小目标缺陷检测难度大，裂纹、腐蚀、变形、断裂、螺栓脱扣、钢丝绳损伤等多尺度复杂多样缺陷的检测与评价困难。因此，针对上述难点问题，本文开展特种设备高空结构件无人智能检测系统设计、检测路径智能规划与自主检测方法、多尺度复杂缺陷智能识别模型、全流程智能检测管理软件等关键技术研究，对进一步提高特种设备无人机巡检工作质量和效率具有重要意义。
无人智能检测关键技术
2.1 上下悬无人机智能检测系统设计
无人机智能检测是利用无人机平台搭载高清摄像机、红外热像仪、机载激光雷达等检测设备，获取结构件高分辨率可见光图像、红外图像或三维点云模型，通过图像处理算法，智能识别结构件表面裂纹、腐蚀、涂层退化、螺栓脱落、损伤、局部变形、钢丝绳断裂、锈蚀、磨损、畸形等缺陷（见图1），自动检测结构的整体变形、动刚度、电老化（异常发热）等。
图1 无人机图像识别的主要缺陷类型
为了方便对人员难以到达的关键受力部位进行拍摄，例如龙门起重机主梁下盖板及支腿上部、门座起重机主梁及人字架顶部、塔吊帽顶及臂架末端、储罐外立面、过山车框架及支撑结构、摩天轮线缆等，摄影云台设计为位于无人机机身上方（上置，见图2（a））或位于无人机机身下方（下置，见图2（b）），使云台垂直俯仰角度范围达到±90°，既可向下拍摄，又可向上拍摄。可对大型特种设备各类关键部位进行多方位拍摄，视野无盲区，支持六向定位避障、飞行路径规划及自动巡检功能，抗风能力可达7级，最大飞行时间可达55分钟，起飞重量7公斤，适应性良好。
图2 顶置式和底置式无人机智能检测系统
该无人机搭载了变焦主摄像头、广角摄像头、激光测距仪组成的混合传感器。变焦主摄像头图像分辨率2000万像素，支持23倍光学变焦（最大焦距120mm），通过光学无损放大与数字放大相结合，可对钢丝绳中微裂纹、断丝等微小缺陷目标进行200倍放大拍摄观察，可分辨距离目标10m处0.1mm的微裂纹；激光测距仪测量范围3～1200m，测量精度±0.2m，可实现裂纹尺寸等缺陷的定量评估；搭载1200万像素广角摄像头，可实现第一人称视角飞行功能。
2.2 无人机巡检路径智能规划及自主巡检方法
大型龙门起重机、门座起重机、塔吊、过山车、摩天轮、客运索道、压力管道、储罐等特种设备结构形式复杂多样。针对箱形梁、工字钢、桁架结构、空心圆柱结构等形式的金属结构以及拉杆、钢丝绳、管道等直线型、圆形目标，无人机采用牛犁式全覆盖巡检路径，如图3所示。结构与无人机的安全距离为无人机结构尺寸的3倍以上。
（a）箱形梁（起重机）
（b）工字钢（起重机）
（c）方形桁架（塔式起重机、过山车）
（d）三角桁架（塔吊、摩天轮）
（e）钢丝绳、拉杆、管道等（起重机、摩天轮、索道）
（f）空心圆柱形结构（储罐）
图3 特种装备典型结构件路径规划方案
根据规划的巡检路线，生成巡检轨迹的方法有两种：第一种是通过人工操控无人机进行初步巡检，采集并记录若干轨迹点的经纬度及高度数据钢结构人字t的检测方案，并根据轨迹点生成轨迹；第二种是利用无人机搭载的激光雷达以待检设备为中心进行环形扫描，获取设备三维点云模型，模拟无人机巡检场景，基于牛犁式全覆盖巡检路径解算巡检点坐标及相机云台拍摄参数，生成大型特种设备自主巡检轨迹。第二种方法巡检精度较高，适用于储罐等静态设备巡检。但对于起重机等动态作业设备，每次作业后三维点云模型的位置和角度均不同，需要通过三维建模仿真频繁生成轨迹，耗时且效率低。因此适合采用手动控制无人机生成轨迹进行自动化巡检，具有轨迹生成速度快、实际操作便捷等优点。
自主巡航时，飞行器自动沿轨迹飞行，飞行过程中可控制飞行速度，可控制飞行器悬停并拍摄待检测部位图像，当发现缺陷时，可记录拍摄点的经纬度及海拔数据，下次飞行时根据起飞点及记录的缺陷点位置生成轨迹，飞行器自动飞至缺陷部位进行进一步拍摄识别。
对于三维建模检测场景轨迹模拟生成方法，可以构建电池能耗成本与逆光避让成本最低的目标函数，如式（1）、式（2）所示，并通过改进A*混合算法进一步优化规划路径。
在哪里：
α1，α2——控制能耗和背光成本的参数，α1+α2=1；
δi——悬停时的能量消耗；
δj——相邻两轨迹点间的巡检能耗；
χk——逆光避让成本，表示太阳方向与两个相邻轨迹点所形成的线段之间的夹角；
——阳光三维矢量；
——两个相邻视点之间的线段向量。
根据结构件三维点云模型，输入检测过程中各个视点的坐标，采用改进的A*混合算法，通过设置启发式函数，求解相邻两航迹点之间的最优飞行路径，如公式（3）所示，最终输出最优检测路径。
在哪里：
h(n) ——任意两轨迹点的能量消耗之和；
δs——起始轨迹点s处的能量消耗；
i——当前轨迹点；
δt——目标悬停在视点t处的能量消耗；
δ(s,i),δ(i,t)——巡航状态的能量消耗。
2.3 基于改进YOLOv3神经网络的智能缺陷识别算法
利用搭载于无人机平台的高清摄像机获取结构件高分辨率可见光图像，提出改进的YOLOv3深度神经网络算法，实现对表面裂纹、腐蚀、涂层退化、磨损、局部变形、螺栓脱落、断裂，以及钢丝绳断裂、锈蚀、磨损、畸变等缺陷的智能识别。
为了提高模型对未知尺寸和形状缺陷的检测能力，对YOLOv3深度卷积神经网络算法进行改进，提高对多尺度复杂多样缺陷的检测能力。通过K均值聚类方法实现锚点聚类，生成锚框大小，从而正确选取锚框大小。具体步骤如下：
1) 输入所有目标边界框的实际宽高数据集T，见公式（4）：
2) 从T中随机选取9个元素作为初始聚类中心，见公式（5）：
3) 计算T中各个元素与聚类中心的并集(IOU)，见公式(6)。
设置
但
。
4）计算新的聚类中心
，在：
5）如果新的聚类中心与原来的聚类中心相同，则算法终止，输出最终的聚类中心
，否则返回步骤3）。
然后利用改进的YOLOv3算法对点蚀、晶间腐蚀、缝隙腐蚀、一般腐蚀等不同形状和尺寸的缺陷进行检测，并用腐蚀的最小外接矩形框标记缺陷位置。算法流程如图4所示，主要由Darknet-53网络、YOLOv3-Scale1网络、YOLOv3-Scale2网络和YOLOv3-Scale3网络四部分组成。
图4 基于改进的YOLOv3深度神经网络
腐蚀检测算法流程
为了提高检测速度，对YOLOv3网络进行了压缩和优化以加速检测。与原始YOLOv3网络需要检测20类目标不同，本文仅包含11类缺陷目标检测，因此减小网络规模不会明显降低检测结果的准确率。为了减小网络规模，使用Darknet-19网络代替Darknet-53网络作为改进型YOLOv3网络的骨干，并删除了YOLOv3-Scale1、YOLOv3-Scale2、YOLOv3-Scale3中的重复层以减少检测时间。最后，为了充分利用从网络中提取的特征，增加了2条特征连接路径以提高检测准确率。改进后的YOLOv3网络结构如图5所示。
图5 YOLOv3深度神经网络模型压缩与优化加速比
通过深度神经网络算法检测出裂纹缺陷及其位置后，采用最大熵阈值分割、Canny边缘检测、投影特征提取和骨架提取方法对裂纹宽度、长度、方向等相关参数进行定量识别和分析[3]。通过缺陷分类网络检测出腐蚀缺陷及其位置后，提出了一种基于腐蚀面积、形状和腐蚀速率识别的腐蚀定量检测与等级评定算法[4]。参考ASTM标准进行腐蚀等级评定，并根据相应等级推荐需要重新涂装的区域，降低腐蚀扩展和截面损失的概率。
2.4 无人机巡检流程及智能巡检软件开发
我们开发了无人机智能巡检软件，包括网页端的大型设备智能巡检管理平台和远程操控端的平台飞行调整App。飞行调整软件通过4G/5G网络将无人机采集的图像视频流高保真传输到平台，平台调用部署在远程服务器或便携式工作站上的缺陷检测识别算法，完成缺陷的智能检测与评估并自动出具检测报告，作为起重机巡检的辅助、安全评估的有效补充。无人机巡检流程如图6所示，包括巡检路径规划、在线巡检、缺陷审核、报告生成等步骤，具体步骤如下：
1) 开启并连接无人机与巡检平台，在平台上创建新的巡检任务，并根据待检设备结构及重点巡检部位，参考2.2节路径规划方案，在巡检管理平台上规划巡检路径；
2）将检测路径发送给无人机，无人机沿路径自动巡检，操作无人机摄像机云台采集被检部件图像，并通过飞控软件将图像视频流传输到平台进行处理；
3）开启平台AI识别模块，选择需要识别的缺陷类型，可以是裂纹、腐蚀、涂层退化、螺栓脱落、断裂、变形、钢丝绳断裂、生锈、磨损、畸形等缺陷中的一种、几种或者全部。调用改进的YOLOv3神经网络算法对当前帧图像中是否存在缺陷进行定性检测，若检测到缺陷，则用缺陷的最小外接矩形框标记缺陷位置；
4）对于检测到的裂纹和腐蚀缺陷，可采用2.3节中的裂纹尺寸识别和腐蚀评估分类算法进行定量评估；
5）检测任务完成后，人工审核检测出的缺陷图像，删除误检的缺陷图像，合并因视频信息冗余而产生的重复缺陷图像，审核缺陷确认后，点击生成检测报告；
6）对于疑似缺陷，可根据拍摄点GPS位置及任务中记录的相机角度参数生成轨迹，并自动飞到拍摄点进行不同角度拍摄、放大、调整清晰度、调整亮度等，对缺陷进行识别、验证和确认。
图6 无人机检测流程
实验结果与分析
3.1 缺陷智能检测算法仿真实验
实验采用Tensorflow作为深度学习框架，并使用GPU加速训练过程。所用的硬件配置为Xeon E5-2620 v4处理器，128 G内存，NVIDIA GTX1080ti GPU；软件环境为Linux系统，python3.7，GPU加速库采用CUDA 9.0.176和CUDNN 7.0.4。采用Precision，Recall和F1-Score来评估缺陷检测效果，见公式（9）至公式（11）。
在哪里：
TP ——正确检测到的标记缺陷边界框的数量；
FP——被错误地检测为缺陷的其他非缺陷区域的数量；
FN——漏检缺陷数；
精度——正确检测到的缺陷占所有检测到的缺陷的百分比；
召回率——正确检测到的缺陷占所有缺陷实际数量的百分比；
F1 分数——准确率和召回率之间的平衡。
以4000幅起重机金属结构图片作为训练集，对获取的数据集通过翻转、平移、旋转等操作对数据集进行增强处理，利用已有的带钢、磁瓦、钢轨、桥梁等表面缺陷数据集进行模型训练和迁移学习，以1000幅起重机金属结构图片作为测试集。部分图像检测结果如图7所示。在图像缺陷边界框的左上角用中文标注了缺陷类型，如裂纹、点蚀、表面腐蚀、涂层变质、螺栓脱落、断裂、变形、断丝、生锈、磨损、畸形等，后面的数字代表算法判定该区域为该类型缺陷的概率（0-1）。
从图7的检测结果可以看出，改进的YOLOv3深度神经网络检测识别算法可以准确检测出图像中各种尺度、颜色、形状、纹理的复杂多样的缺陷，能够很好地识别出微小裂纹和断丝、螺栓脱落、断裂、变形、磨损、腐蚀、涂层退化等，并准确定位缺陷区域。根据公式（9）至（11）对测试集的检测结果进行统计分析，并与原YOLOv3算法的检测结果进行比较，见表1。可以看出，改进的YOLOv3算法的准确率（精确率）和召回率（召回率）分别提高了4.04%和0.79%，检测准确率达到94.31%，召回率达到98.03%，是一种高精度、高效的缺陷检测方法。
图7 部分测试图像缺陷检测结果
表1 与原始YOLOv3算法检测精度对比
在相同的计算机硬件条件下，输入同一幅待检测的1 080p视频图像，比较Fast R-CNN、Faster R-CNN、SSD、原始YOLOv3、改进的YOLOv3等不同方法的检测速度，结果如表2所示。
表2 与其他深度学习算法的检测速度比较
从表2可以看出，改进后的YOLOv3算法的检测速度最快，约为原版YOLOv3算法的2.33倍，达到了17.00 fps。通过在软件中设置合适的帧频率，可以实现缺陷的在线实时检测，这也证明了本文提出的改进YOLOv3算法的正确性和有效性。
3.2大型设备智能巡检系统研发及应用
开发了大型设备智能巡检管理平台（简称“智眼巡检”），主界面如图8所示，在为用户提供路线规划、设备管理、在线巡检、离线巡检、系统管理等基础功能的同时，支持云端AI和本地AI部署检测、多场景数字化管理，并具备巡检过程中发现缺陷实时分级预警等特色功能。用户可通过大型设备AI巡检系统全面掌控巡检现场，精准识别设备缺陷，快速处理并生成巡检报告。
1）在线检测。变形，皮带轮损坏，绳索折断，电线绳磨损，钢丝绳生锈和钢丝绳畸形，根据用户需求发出实时警告，并显示右侧的警告信息（请参见图8）直到任务完成。
图8在线检测AI识别主界面
检查任务完成后，输入时空的大数据接口，其中包括三个子模型：历史警告，历史报告和飞行历史记录，如图9所示。在检查任务中实时弹出的警告信息是由检查任务收集的，由历史警告模块和警报级别进行了警告，并在MERGE上进行了警告，并进行了警告，并进行了警告。 ECT图片生成了检查报告。
图9在线检测任务的历史警告界面
2）离线检测模块包括三个子模型：离线警告和离线报告中的报告。确认的有缺陷的图像在离线报告接口中生成一个检测报告，用户可以自己下载或在线下载AI检测报告。
图10离线检测接口
检查报告由三个部分组成：封面，结论摘要和附录。结论摘要主要包括检测到的缺陷类型，并且所检测到的每种类型的缺陷次数是该检查的所有缺陷图像；
利用独立开发的无人机智能检测系统和智能巡逻软件，结合定期的起重机检查和安全评估，无人机检测技术已应用于检查机构和生产公司，例如jiangxi特殊检查研究所，Hangzhou Ports and Shiply and shipy and and shipy and shipy and and and shipy and and and and and and and and and and shipy and shipy and shipy and shipy and and and and and and and and shipy and and and and and shipy and and。已经检测到人员发现，为企业的日常维护和特殊设备的安全管理提供了良好的基础。
摘要和前景
1）本文设计了一个上/较低的无人机智能检测系统，并根据无人机的智能计划研究了特殊设备的表面缺陷识别技术。结构零件的编辑，断裂，局部变形，钢丝绳断裂，生锈，磨损和变形，并且可以迅速发布检查报告。
2）在下一步中，可以配备高精度激光雷达，以对设备的主要负载组件进行三维模型，对整体结构变形检测钢结构人字t的检测方案，有限的元件应力分析和模态分析进行研究，并通过对设备进行较差的型号的构造，以进行设备的热疗法，以进行较差的设备，以实现较差的设备当前，无人机检测技术主要应用于龙门/门户/塔架，以及一些大型娱乐设施和设备（例如，高空飞行）可以扩展到特殊设备，并将其扩展到超大型辊式坐着者和诸如较长的乘客式储物范围，以及超大型驾驶员的范围，以及超级储物范围的范围，超级储物范围，量身定制的运行量。这些设备的缺陷特征。
3）在特殊设备检查的领域中，目前尚无相应的国家标准，行业标准和当地标准（包括配方和修订计划）。重复性很差。
4）无人机智能检测技术可以帮助特殊设备检查和测试人员进行智能的视觉检测和安全状态评估，对大型设备的高空无法访问的结构性部分，提高检测准确性和效率，并增强具有特殊设备的大多数设备，并有效地进行设备，并有效地进行设备，并促进效率的设备，并促进效率的大多数，并有效地进行索取，并有效地进行索引。事故的兴起，并减少人员和设备财产的损失，这对于促进企业安全生产具有重要意义；
参考
