无人机用港机巡检航线规划系统及方法

技术领域

本发明涉及港机巡检领域，具体涉及一种无人机用港机巡检航线规划系统及方法。

背景技术

港口机械(港机)在物流领域应用广泛，对各种港机的安全检测一直是一项至关重要的工作。目前对港机的目检工作主要是靠人工来完成，港口机械的尺寸通常都比较高大，现场人工攀爬高空作业危险性高，而且由于港口机械设备的特点，存在很多无法到达的盲区。

将无人机技术应用到港口机械的检测是目前的研究方向，在早期研发过程中，证实通过无人机替代人工目检可取得良好的效果，特别是在高空区域优势明显。无人机在高空不依赖攀爬设备，活动空间大，视野开阔，可自由转换视角，很好地解决了人工攀爬检测高危险低效的痛点，并可以覆盖人工检测盲区。

为达到良好的检测效果，现阶段无人机检测仍需依靠飞手现场操作实现精准定位拍摄。飞手连续作业时间长，作业过程受天气及飞手自身状态等因素的影响大，而停机检测时间长同样又会对码头的正常生产活动造成影响，未能完全解决人工检测存在的问题。

发明内容

有鉴于此，本发明提供无人机用港机巡检航线规划系统及方法，能够精确地规划出无人机巡检航线，提高巡检自动化程度。

为解决上述技术问题，第一方面，本发明提供一种无人机用港机巡检航线规划系统，包括：

虚拟仿真场模块，用于提供虚拟仿真场；

三维模型导入模块，用于导入待巡检港机的三维模型，所述三维模型在所述虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应；

场景模块，用于提供待巡检港机所处的场景；

信号接入模块，用于将无人机及连接所述无人机的云台相机的信号接入所述虚拟仿真场，以通过所述无人机和所述云台相机对待巡检港机进行巡检；

仿真控制模块，用于控制所述无人机运动至待巡检港机的待检测点的位置，调节所述无人机的位置、角度和飞行参数及所述云台相机的位置、角度和拍照参数，以使得所述云台相机所采集的所述待检测点图像满足预定要求，控制所述云台相机进行拍照，此拍照位置作为所述无人机的航线点及所述云台相机的拍照点；

结果数据输出模块，用于记录所述航线点及其对应的所述无人机的角度及飞行参数，并记录所述拍照点及其对应的所述云台相机的角度及拍照参数，连接所述航线点形成航线，并将所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数输出至数据存储器。

进一步地，所述场景模块包括：

光照模拟模块，用于对所述虚拟仿真场提供预定光源，所述预定光源包括散射光源和/或平行光源，并对所述光源的亮度和入射角度调整，以模拟现实光照。

进一步地，无人机用港机巡检航线规划系统还包括：

3D轨迹模块，用于根据所述待检测点的位置和所述无人机距离所述待巡检港机的安全距离，规划出所述无人机的活动范围。

进一步地，无人机用港机巡检航线规划系统还包括：

实时显示输出模块，用于将所述云台相机的视角、及所述云台相机所采集的图像输出至显示设备。

进一步地，无人机用港机巡检航线规划系统还包括：

航线更新模块，用于基于操作人员操作所述无人机和所述云台相机在现实中巡检待巡检港机与在所述虚拟仿真场中巡检待巡检港机的差异进行的调整，更新所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数。

第二方面，本发明提供一种无人机用港机巡检航线规划方法，包括：

步骤S1，提供虚拟仿真场；

步骤S2，导入三维模型，所述三维模型用于模拟待巡检港机，所述三维模型在所述虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应；

步骤S3，提供待巡检港机所处的场景；

步骤S4，将无人机及连接所述无人机的云台相机的信号接入所述虚拟仿真场，以通过所述无人机和所述云台相机对待巡检港机进行巡检；

步骤S5，控制所述无人机运动至待巡检港机的待检测点的位置，调节所述无人机的位置、角度和飞行参数及所述云台相机的位置、角度和拍照参数，以使得所述云台相机所采集的所述待检测点图像满足预定要求，控制所述云台相机进行拍照，此拍照位置作为所述无人机的航线点及所述云台相机的拍照点；

步骤S6，记录所述航线点及其对应的所述无人机的角度及飞行参数，并记录所述拍照点及其对应的所述云台相机的角度及拍照参数，连接所述航线点形成航线，并将所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数输出至数据存储器。

进一步地，待巡检港机所处的场景包括光照场景，通过所述光照场景对所述虚拟仿真场提供预定光源，所述预定光源包括散射光源和/或平行光源，并对所述光源的亮度和入射角度调整，以模拟现实光照。

进一步地，在所述步骤S4之后且在所述步骤S5之前，还包括：

步骤S7，根据所述待检测点的位置和所述无人机距离所述待巡检港机的安全距离，规划出所述无人机的活动范围；

所述步骤S5中，控制所述无人机在所述活动范围内飞行。

进一步地，所述步骤S5中，将所述云台相机的视角、及所述云台相机所采集的图像输出至显示设备。

进一步地，所述步骤S5之后还包括：

步骤S8，基于操作人员操作所述无人机和所述云台相机在现实中巡检待巡检港机与在所述虚拟仿真场中巡检待巡检港机的差异进行的调整，更新所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数。

第三方面，本发明提供一种计算机可读存储介质，其特征在于，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器运行时，使得所述处理器执行如下步骤：

步骤S1，提供虚拟仿真场；

步骤S2，导入三维模型，所述三维模型用于模拟待巡检港机，所述三维模型在所述虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应；

步骤S3，提供待巡检港机所处的场景；

步骤S4，将无人机及连接所述无人机的云台相机的信号接入所述虚拟仿真场，以通过所述无人机和所述云台相机对待巡检港机进行巡检；

步骤S5，控制所述无人机运动至待巡检港机的待检测点的位置，调节所述无人机的位置、角度和飞行参数及所述云台相机的位置、角度和拍照参数，以使得所述云台相机所采集的所述待检测点图像满足预定要求，控制所述云台相机进行拍照，此拍照位置作为所述无人机的航线点及所述云台相机的拍照点；

步骤S6，记录所述航线点及其对应的所述无人机的角度及飞行参数，并记录所述拍照点及其对应的所述云台相机的角度及拍照参数，连接所述航线点形成航线，并将所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数输出至数据存储器。

本发明的上述技术方案至少具有如下有益效果之一：

根据本发明实施例的无人机用港机巡检航线规划系统，包括虚拟仿真场模块、三维模型导入模块、场景模型模块、信号接入模块、仿真控制模块及结果数据输出模块，通过在虚拟仿真场中预先规划出无人机巡检待巡检港机的航线，操作人员在现实中基于此航线操作无人机对待巡检港机进行巡检，能够解决现场飞手现场操作飞检时间长、效率低、高度依赖飞手等不利情况，同时也解决停机检测时间长影响码头前沿生产活动的问题，能够精确地规划出无人机巡检航线，提高巡检自动化程度。

附图说明

图1为根据本发明一实施例的无人机用港机巡检航线规划系统的示意图；

图2为根据本发明一实施例的无人机用港机巡检航线规划方法的示意图；

图3为根据本发明一具体实施例的无人机用港机巡检航线规划方法的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

如图1所示，根据本发明可选实施例的无人机用港机巡检航线规划系统包括：虚拟仿真场模块1001、三维模型导入模块1002、场景模型模块、信号接入模块1005、仿真控制模块1006及结果数据输出模块1008。

其中，虚拟仿真场模块1001用于提供虚拟仿真场。

虚拟仿真场可以通过终端设备(电脑、服务器等)提供一个虚拟仿真场，即虚拟仿真环境。

三维模型导入模块1002，用于导入待巡检港机的三维模型，三维模型在虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应。

例如，可以将待巡检港机的三维设计图纸导入虚拟仿真场，以在虚拟仿真场中显现待巡检港机。

通过三维模型导入模块1002将现有的参数化设计模型导入到虚拟仿真场中指定的位置，与坐标系成相对简单的位置关系，通常以三维模型各主要中心线与虚拟仿真场内建坐标系的坐标轴平行或重合，并保持相对位置不变。导入后在虚拟仿真场可随虚拟仿真场从各个角度转动查看。虚拟仿真场中的三维模型也可被重新导入的新模型所替换，生成新的虚拟仿真场。

场景模块1003，用于提供待巡检港机所处的场景。

根据现实中待巡检港机可能处于的场景，例如雨天、雪天、大风、大雾等场景，设置相应的虚拟场景，例如雨天场景、雪天场景、大风场景、大雾场景等，以根据现实情况去选用相应的虚拟场景。

信号接入模块1005用于将无人机及连接无人机的云台相机的信号接入虚拟仿真场，以通过无人机和云台相机对待巡检港机进行巡检。

无人机及连接无人机的云台相机的信号接入虚拟仿真场的方式可以多种多样，例如，可以建立无人机和云台相机的模型，用以模拟现实中的无人机和云台相机，并将无人机和云台相机的模型接入虚拟仿真场，通过无人机和云台相机的模型对待巡检港机进行巡检。

在虚拟仿真场中设置无人机及云台相机的信号接入模块1005，通过信号接入模块1005可将控制或调试端口开放的无人机及云台相机信号接入虚拟仿真场。信号接入后，无人机及云台的模型出现在虚拟仿真场的某一指定区域。在虚拟仿真场中，虚拟的无人机可根据实际操控指令模拟各种动作(起飞、上升下降、前进后退、转换机头、云台调整等)，虚拟相机支持虚拟拍照功能，即在仿真过程中，确定某一拍照点的位置和角度后，直接通过帧缓存，保存当前位置视角图片，同时保存当前的无人机位置信息及云台相机转角信息。信号接入模块1005支持多种端口信号格式并可扩展，确保更换无人机和云台相机后能顺利接入信号模型。

仿真控制模块1006，用于控制无人机运动至待巡检港机的待检测点的位置，调节无人机的位置、角度和飞行参数及云台相机的位置、角度和拍照参数，以使得云台相机所采集的待检测点图像满足预定要求，控制云台相机进行拍照，此拍照位置作为无人机的航线点及云台相机的拍照点。

仿真控制模块1006是虚拟仿真场中各种动作的实现模拟模块，通过连接外部的控制设备，将外部的控制设备的信号转换为对虚拟无人机及云台的指令，控制虚拟无人机及云台做出各种相应的动作(调节无人机的位置及云台相机的位置、焦距和角度)，从而使得云台相机所采集的图像的预定要求(清晰度，待检测点的拍照完整等)，当满足预定要求，控制云台相机进行拍照。

例如，虚拟仿真场中通过无人机对待检测点进行巡检的时候，需要避免无人机与待巡检港机发生碰撞，也可以根据后续的3d轨迹模块1004预先设置无人机的活动范围，以更好的避免无人机与待巡检港机发生碰撞。

可选地，通过键盘、手柄或鼠标等外部的控制设备控制无人机和云台相机运动。外部的控制设备连接进入虚拟仿真场后，可控制显示界面的大小/角度，可控制无人机模型在虚拟仿真场中的实时飞行，可控制云台相机的拍照待检测点的对焦点，是否拍照，是否保存实时记录相关位置位角信息等一系列功能。例如，根据巡检拍照需要，无人机和云台的控制包括无人机坐标(X、Y、Z)、无人机位角信息(RX1，RY1，RZ1)，云台位角信息(RX2，RY2，RZ2)。仿真控制模块1006操作可以使用键盘进行控制(例如数字123键控制无人机的上升、下降和机头旋转，上下左右键控制无人机的前进、后退和左右平移，数字789键控制云台俯仰)，也可使用通用USB手柄进行控制，以方便用户操作；可使用鼠标控制三维场景的平移、旋转和缩放。仿真控制模块1006产生的有效信息能实时储存。

结果数据输出模块1008，用于记录航线点及其对应的无人机的角度及飞行参数，并记录拍照点及其对应的云台相机的角度及拍照参数，连接航线点形成航线，并将航线、航线点、无人机的角度及飞行参数、拍照点、云台相机的角度和拍照参数输出至数据存储器。

其中，飞行参数可用包括：无人机的飞行速度，悬停转速等。拍照参数可用包括：云台相机的焦距、快门速度等。数据存储器可以为服务器的数据库等。结果数据输出模块1008通过仿真控制模块1006产生的多个无人机及云台相机的位置及位角信息(X、Y、Z)，(RX1，RY1，RZ1)，(RX2，RY2，RZ2)，形成完整的航线信息，这些航线信息会保存于虚拟仿真场承载服务器并通过特定接口转存于服务器的数据库中，供现场实际巡检时通过现场信息转换后调用。实际巡检可部分或完整调取这些航线信息。

以上的无人机用港机巡检航线规划系统，通过在虚拟仿真场中预先规划出无人机巡检待巡检港机的航线，操作人员在现实中基于此航线操作无人机对待巡检港机进行巡检，能够解决现场飞手现场操作飞检时间长、效率低、高度依赖飞手等不利情况，同时也解决停机检测时间长影响码头前沿生产活动的问题。

根据本发明一些实施例，场景模块1003包括光照模拟模块。光照模拟模块用于对虚拟仿真场提供预定光源，预定光源包括散射光源和/或平行光源，并对光源的亮度和入射角度调整，以模拟现实光照。

例如，光照模拟模块仿真环境默认支持散射光源，此外，可在仿真环境中开启或关闭平行光源，控制该光源的亮度、入射角度等，实现对太阳光的模拟，并根据射线跟踪算法实时生成阴影，以尽可能真实地模拟现实光照情况。

根据本发明一些实施例，无人机用港机巡检航线规划系统还包括3D轨迹模块1004。3D轨迹模块1004用于根据待检测点的位置和无人机距离待巡检港机的安全距离，规划出无人机的活动范围。

其中，活动范围可以是具体航线，即完全限定无人机的飞行的航线。

3D轨迹模块1004是针对无人机在虚拟仿真场中的路线，与待检测点是对应相关的。此模块主要是控制无人机的活动范围，添加此模块后可提高仿真中各种模拟动作的操作效率，更快的基于三维模型规划出针对特定设备的无人机巡检航线，同时能够避免无人机与港机发生干涉。

进一步地，无人机用港机巡检航线规划系统还包括实时显示输出模块1007。实时显示输出模块1007用于将云台相机的视角、及云台相机所采集的图像输出至显示设备。

实时显示输出模块1007主要有两个功能，实时显示功能和实时输出功能。实时显示功能，主要作用为显示虚拟云台相机的当前视角，以及虚拟拍摄时虚拟相机所拍摄到的视角图片，在虚拟仿真的界面中选择右下角约全屏的1/8大小进行显示。实时输出功能为可选项，主要将云台相机的视角实时的输出到显示设备(比如VR眼镜，三维显示器)，以增加操作体验。

进一步地，无人机用港机巡检航线规划系统还包括航线更新模块。航线更新模块用于基于操作人员操作所述无人机和所述云台相机在现实中巡检待巡检港机与在所述虚拟仿真场中巡检待巡检港机的差异进行的调整，更新所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数。

例如，航线更新模块可以从数据存储器中反向读取更新后的航线，并以此航线更新3d轨迹模块1004，通过3d轨迹模块1004限定无人机的具体的航线。

根据本发明可选实施例的无人机用港机巡检航线规划方法，如图2所示，包括如下步骤：

步骤S1，提供虚拟仿真场。

步骤S2，导入三维模型，所述三维模型用于模拟待巡检港机，所述三维模型在所述虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应。

步骤S3，提供待巡检港机所处的场景。

步骤S4，将无人机及连接所述无人机的云台相机的信号接入所述虚拟仿真场，以通过所述无人机和所述云台相机对待巡检港机进行巡检。

步骤S5，控制所述无人机运动至待巡检港机的待检测点的位置，调节所述无人机的位置、角度和飞行参数及所述云台相机的位置、角度和拍照参数，以使得所述云台相机所采集的所述待检测点图像满足预定要求，控制所述云台相机进行拍照，此拍照位置作为所述无人机的航线点及所述云台相机的拍照点。

步骤S6，记录所述航线点及其对应的所述无人机的角度及飞行参数，并记录所述拍照点及其对应的所述云台相机的角度及拍照参数，连接所述航线点形成航线，并将所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数输出至数据存储器。

进一步地，待巡检港机所处的场景包括光照场景，通过所述光照场景对所述虚拟仿真场提供预定光源，所述预定光源包括散射光源和/或平行光源，并对所述光源的亮度和入射角度调整，以模拟现实光照。

进一步地，在所述步骤S4之后且在所述步骤S5之前，还包括：

步骤S7，根据所述待检测点的位置和所述无人机距离所述待巡检港机的安全距离，规划出所述无人机的活动范围；

所述步骤S5中，控制所述无人机在所述活动范围内飞行。

进一步地，所述步骤S5中，将所述云台相机的视角、及所述云台相机所采集的图像输出至显示设备。

进一步地，无人机用港机巡检航线规划方法还包括：

步骤S8，基于操作人员操作所述无人机和所述云台相机在现实中巡检待巡检港机与在所述虚拟仿真场中巡检待巡检港机的差异进行的调整，更新所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数。

以下通过实施例，具体说明本发明的无人机用港机巡检航线规划方法。

S10，在终端机上打开虚拟仿真场。

S20，检查各外部设备与虚拟仿真的各模块的连接是否正常。

如不正常，需要检查各个接口并进行调整，直至连接正常。其中，外部设备可以是控制设备、显示设备、无人机及云台相机。

S30，导入预定的三维模型。

如果没有预定的三维模型或模型错误，则需要根据技术图纸建立合适的三维模型并导入。

S40，在虚拟仿真场中模拟操作无人机的巡检工作，切实的将航线点，拍照点与对应的检查点一一对应记录，并对数据进行结构化存储。

航线数据信息与待检测点数据信息对应相关，可供部分调取或全部调取。

S50，数据实时保存，直至虚拟巡检操作完成，并保存最新的航线数据。

S60，将最新的航线数据保存到服务器的对应数据库中，以备现场实际操作时调用航线数据。

需要检测的设备的巡检航线规划完成，如果没有新任务，可关闭虚拟软件，本次规划结束。如果有新的设备需要检测，在虚拟仿真场中新建任务，根据新的设备参数建立新的三维模型，导入到虚拟仿真场中，进行S30-S60的操作。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：

步骤S1，提供虚拟仿真场；

步骤S2，导入三维模型，所述三维模型用于模拟待巡检港机，所述三维模型在所述虚拟仿真场中的尺寸和坐标与待巡检港机在现实中的尺寸和坐标一一对应；

步骤S3，提供待巡检港机所处的场景；

步骤S4，将无人机及连接所述无人机的云台相机的信号接入所述虚拟仿真场，以通过所述无人机和所述云台相机对待巡检港机进行巡检；

步骤S5，控制所述无人机运动至待巡检港机的待检测点的位置，调节所述无人机的位置、角度和飞行参数及所述云台相机的位置、角度和拍照参数，以使得所述云台相机所采集的所述待检测点图像满足预定要求，控制所述云台相机进行拍照，此拍照位置作为所述无人机的航线点及所述云台相机的拍照点；

步骤S6，记录所述航线点及其对应的所述无人机的角度及飞行参数，并记录所述拍照点及其对应的所述云台相机的角度及拍照参数，连接所述航线点形成航线，并将所述航线、所述航线点、所述无人机的角度及飞行参数、所述拍照点、所述云台相机的角度和拍照参数输出至数据存储器。

进一步地，所述处理器还可以执行无人机用港机巡检航线规划方法中的相应步骤，在此省略其详细说明。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁盘或者光盘等各种可以存储程序代码的介质。

以上仅仅是本发明一些实施例结构，任何方法(直接制造、现有结构改造等)形成本发明的结构，都属于本发明的保护范围。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。