一种网联无人机航线规划与航线平滑方法及装置

技术领域

本发明涉及网联无人机无线通信技术领域，更具体的说是涉及一种网联无人机航线规划与航线平滑方案及装置。

背景技术

无人驾驶航空器(Unmanned Aerial Vehicle,以下简称UAV)，简称为无人机。其全球市场在过去十年中大幅增长，现在已经成为商业、基础设施建设和消费应用的重要工具。无人机能够支持诸多领域的解决方案，可以广泛应用于建筑、石油、天然气、能源、公用事业和农业等领域。无人机行业高速发展的同时，也对无人机通信链路提出了新需求，呈现出与蜂窝移动通信技术紧密结合的发展趋势，形成“网联无人机”。通过接入低空移动通信网络，网联无人机依靠蜂窝网络在全球几乎无处不在的覆盖范围以及高速光回程和先进的通信技术，可以让地面驾驶员不受距离和地形限制地远程指挥和控制。同时，可以实现设备的监视和管理、航线的规范、效率的提升，加强了无人机有效监管从而提高飞行器的飞行安全。促进空域的合理利用极大延展无人机的应用领域，产生巨大经济价值。网联无人机在电力/石油/河道巡线、公安/交通/安防巡查以及林业/消防巡检等工作中正广泛应用，无人机+行业应用”显示出蓬勃发展势头。

但目前，现阶段低空通信蜂窝网不足以全面、稳定的支持网联无人机的安全飞行和高效作业，网联无人机通信所处的地空信道与地面用户信道差异较大，视线链路概率更高、散射分量较少同时接受到的邻区信号更多，同频干扰更严重。并且网联无人机通信系统对通信质量、吞吐量和时延要求敏感，同时无人机执行不同任务时对各指标要求不同，网联无人机的安全稳定飞行与任务高效执行需要相关通信数据的支持，而且网联无人机执行任务时，多是采用导入航线路径规划自动飞行，按航线执行飞行任务。

因此，合理规划航线以达到通信增益和路径增益最大化并采用相关航线平滑处理生成最优航线，成为网联无人机实际飞行中亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种网联无人机航线规划与航线平滑方法及装置。

为了实现上述目的，本发明采用如下技术方案：

本发明一方面公开了一种网联无人机航线规划与航线平滑方法，所述方法包括：

(1)获取航线起始点与终止点以及对应的经纬度坐标，确定无人机规划航线区域；

(2)确定无人机飞行高度，获取该飞行高度无人机飞行通信质量数据；

(3)设置飞行环境数据，所述飞行环境数据包括自然环境数据和无人机飞行性能数据；

(4)根据通信质量数据和飞行环境数据建立强化学习的奖励函数，通过强化学习，输出规划航线；

(5)根据规划航线绘制贝塞尔曲线，引入权重控制对贝塞尔曲线进行改进，通过改进的贝塞尔曲线对规划航线转弯段进行平滑处理。

优选的，根据通信质量数据和飞行环境数据建立强化学习的奖励函数，具体包括通信增益参数、路径折算参数和风偏折算参数，其中所述通信增益参数根据通信质量数据得出，所述路径折算参数与风偏消耗参数由无人机实际测试与分析得出。

优选的，根据通信质量数据得出通信增益参数包括对各通信质量指标进行线性加权量化得到通信增益参数，或通过预测通信质量数据与航线吞吐量间的量化关系得到通信增益参数。

优选的，预测通信质量数据与航线吞吐量间的量化关系包括通过神经网络模型对通信质量数据与航线吞吐量间的量化关系进行预测。

优选的，所述通过改进的贝塞尔曲线对规划航线转弯段进行平滑处理具体包括：根据规划航线转弯处的入弯点、航点、出弯点，绘制贝塞尔曲线，计算贝塞尔曲线上各点的坐标，通过入弯点距离与控制点权重改变贝塞尔曲线曲率，得到转弯段平滑后的规划航线。

本发明另一方面公开了一种网联无人机航线规划与航线平滑装置，所述装置包括存储有计算机程序的计算机，通过计算机的各个应用模块执行包含上述网联无人机航线规划与航线平滑方法的计算机程序。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种网联无人机航线规划与航线平滑方法及装置，本发明通过强化学习选取通信与路径最优的无人机规划航线并根据飞行器性能不断对航线进行修正，以获取最合理最高效的飞行航线，提高了无人机工作效率，极大地推进了网联无人机向自动化、智能化方向发展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的方法流程示意图；

图2为本发明实施例提供的网联无人机航线平滑算法转弯曲线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示本发明实施例一方面公开了一种网联无人机航线规划与航线平滑方法，所述方法包括以下步骤：

(1)在地图上确定航线起始点A与终止点B以及对应的经纬度坐标，选取m行n列矩形区域作为无人机规划航线区域；

(2)确定无人机飞行高度，获取该飞行高度无人机飞行通信质量数据，无人机飞行通信质量数据包括无人机在该飞行高度上的通信信号与干扰加噪声比SINR、参考信号接收功率RSRP、参考信号接收质量RSRQ、接收信号强度指示RSSI；

(3)设置飞行环境数据，所述飞行环境数据包括风速、风向等自然环境数据和无人机剩余电量等飞行性能数据；

(4)根据通信质量数据和飞行环境数据建立强化学习的奖励函数，通过强化学习，输出规划航线；

本实施例中强化学习的奖励函数由通信增益参数α、路径折算参数β和风偏消耗参数δ加权构成，具体计算公式为reward＝ω

通信增益参数α可以通过对各通信质量指标进行线性加权量化得到，或通过预测通信质量数据与航线吞吐量间的量化关系得到。

本实施例中预测通信质量数据与航线吞吐量间的量化关系采用神经网络模型进行预测，通过神经网络深度学习得到各通信质量数据与吞吐量之间非线性的真实关系。通过大量测试数据训练，使得神经网络能最好的拟合数据同时误差较低且接近于0，训练完成后将测试通信质量数据输入神经网络，得到预测吞吐量后进行量化，量化结果作为通信增益。

实施例中路径折算参数与风偏消耗参数，分别代表无人机航线规划路径长度和风速风向对航线规划的影响。路径折算参数根据航线规划路程长度决定，航线规划路程越短路径增益越大，本例中正向航线路径折算参数设置为1。路径折算参数只与斜向航线与正向航线夹角有关，一般路径折算参数取0.73左右，此参数无确定计算方式，可根据需要进行调整。如避免转弯和对电量损耗要求较高等情况，可适当增加路径折算参数，使正向航线增益更大。避免设置过低的路径折算增益，可能会导致航线相对固定而忽略其他参考因素。风偏消耗参数表示空中风对无人飞行器航线选择的影响，由风向与风速两方面组成，风偏消耗参数由无人机机动性能与抗风性能决定。测定无人机在各个风向下，不同风力的电量消耗情况，形成风偏影响参数表，该表可咨询无人机生产厂商或实际测试得出，不同无人机参数表不同。本实施例提出一种风偏消耗参数表的测量方法，得到不同风向的风偏消耗参数。测定某高度下相对稳定的空中风的风速风向，再分别与风向夹角0°/45°/90°/135°/180°/225°/270°/315°八个方向上，测试高度不变下1km直线飞行电量消耗情况。得到当前风力下的风向对无人机电量消耗的影响，将与风向夹角为0度的电量消耗设为1，其他方向参数＝1-(该风向电量消耗/正风向消耗电量-1)*0.1。然后改变高度以获得不同风力，测量不同风力下风速对无人机的风偏消耗参数表。

统一各影响因子的取值范围，因路径折算因子和风偏消耗因子取值范围都在0～1取值，将二者乘积乘以40以与通信增益匹配得到最终的奖励函数。

(5)根据规划航线绘制贝塞尔曲线，引入权重控制对贝塞尔曲线进行改进，通过改进的贝塞尔曲线对规划航线转弯段进行平滑处理，根据规划航线转弯处的入弯点、航点、出弯点，绘制贝塞尔曲线，计算贝塞尔曲线上各点的坐标，通过入弯点距离与控制点权重改变曲线曲率，得到转弯段平滑后的规划航线。

具体的，本实施例采用改进的贝塞尔曲线进行航线平滑处理。通过设定无人机何时进入程序转弯点和控制转弯控制点权重系数确定航线曲率。在转弯处入弯点-航点-出弯点三个点绘制贝塞尔曲线，建立二阶伯恩斯坦矩阵，使航线在无人机发挥飞行机动性能的同时更能贴近通信质量和路程消耗最优点。通过改变入弯点到航点的距离与控制点权重，改变转弯曲线的曲率。越早进入入弯点且权重越低，则转弯曲率越低，飞行器动力损失越小、飞行越流畅，但同时切点距离航点越远，偏差度越高、任务完成率越低并且曲线航行路程更长。

本实施例选用绘制二阶贝塞尔曲线对上述规划航线转弯段进行平滑处理。对于二阶贝塞尔曲线，B(t)＝(1-t)

二阶贝塞尔曲线只有一个控制点，即转弯航点。当ω

二阶贝塞尔曲线曲率计算公式为

为使航线平滑算法适应不同无人机转弯性能差异，本实施例中引入控制点权重对二阶贝塞尔曲线进行优化改进，通过调节权重更精确地设计无人机转弯航线，加入控制点权重系数ω

本实施例中，根据上述航线规划模型，在飞行速度10m/s时，90度转弯选用ω＝1.5，入弯点选择距离航点4m。135度转弯选用ω＝1.0，入弯点选择距离航点2m。参数选取应综合考虑飞行器性能和环境因素。

强化学习Q-learning以最大化综合指标为优化目标，输出为规划的航线路径，本实施例中具体的强化学习包括以下步骤：

步骤1.确定航线起始点坐标，并分别作为强化学习状态起点和终点。

步骤2.设定航线规划网格(路径编号)作为强化学习状态，无人机移动方式作为强化学习action。

步骤3.执行强化学习，生成Q值表。

步骤4.从初始状态开始，搜索该状态动作奖励最大的action，执行该action将状态转移至下一状态。重复执行该步骤直至到达最终状态。强化学习结束。

步骤5.依次输出上一步骤搜索过的状态编号，根据网格模型输出状态对应经纬度坐标。

具体的，可采用如下的实施方式：

将航线起始点A作为强化学习的状态起点，将航线终止点B作为强化学习的状态终点，创建航线规划模型，并为航线规划模型创建强化学习马尔科夫决策MDP环境，指定网格状态转换，导入数据库数据、查表确定相关参数并确定分配权重，建立奖励函数矩阵。

本实施例中马尔可夫决策MDP模型的动作action分为三种，分别对应无人机左前方、正前方、右前方移动，强化学习状态为对应无人机在规划航线中的路径点编号，无人机在每个路径点执行三种行动的概率相等，即执行每个action的概率都等于1/3。无人机在规划航线区域中每个路径点向左前、正前和右前均建立路径，对于规划航线区域两侧边缘的航线路径点，下一航线路径点可设为终点且状态转移概率为0(或奖励函数为-inf)。

指定无人机初始状态始终为1，每次无人机执行完一个路径后返回到初始状态。创建强化学习的Q值表，配置epsilon-greedy贪婪策略参数，学习速率设置为1，Q值表每行代表状态state，列代表动作action。在每状态行中取最大值即代表平均每步最大化奖励。选择最大值所在列数动作，执行动作查找下一状态并记录状态数。循环此操作直到查找到最终状态。记录状态数即为输出路径点。连接输出路径点形成最优航线。记录各路径点编号与经纬坐标。

根据数据量设置强化学习训练集数，本实施例中训练集数设置为5000，因航线规划中动作始终由状态起始点到状态终点方向前进，所以航线规划中步数相对固定，平均步数近似等于Q值表中状态行数m+4，强化学习折扣因子0.9，无人机训练策略为平均奖励最大化，当平均奖励达到设定阈值或执行集数达到设定值停止训练。使用贪婪策略epsilon-greedy算法，状态动作值函数最大化的概率阈值ε＝0.9，ε最小值设置0.01，延迟率设定0.01.在每个训练时间步结束时，如果ε大于ε最小值，则使用ε＝ε*(1-ε)公式更新ε。

数据库查找各点通信指标、计算总路程长度和预计飞行时间。检查飞行任务是否满足。如不满足飞行指标，则重新设定参数变量。之后导出路径点坐标，在地图上绘制航线图层，绘制规划航线图，生成KML文件。通过人工修改对规划航线进行优化进一步满足精细实际需求。将规划航线的KML文件输入地面站系统，选择规划航线的跟踪模式协调转弯模式，对规划航线进行航线平滑处理，绘制改进的二阶贝塞尔曲线对上述规划航线转弯段进行平滑处理。

本发明实施例另一方面公开了一种网联无人机航线规划与航线平滑装置，所述装置包括存储有计算机程序的计算机终端，通过计算机终端的各个应用模块执行包含上述网联无人机航线规划与航线平滑方法的计算机程序。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。