用于通过人工操作员对机器进行远程控制的遥操作方法和人机界面

技术领域

本发明涉及一种用于使用远程控制单元由人工操作员来对机器进行远 程控制的遥操作(teleoperation)方法，特别是用于对无人机(UAV)进行 远程控制的遥操作方法。

此外，本发明涉及一种用于在前面提到的遥操作方法中使用的人机界 面(HRI)。

背景技术

在现代战争中，在侦查任务甚至是战斗任务中使用所谓的无人机 (UAV)。通常而言，这些UAV是由操作员远程控制的，操作员经由无线 电通信链路与UAV连接。然而，在这种远程控制场景中，操作员的环境感 知(situational awareness)较差可能导致错误的反应，并且在最坏的情况中， 会导致无人机的完全损失。

因此，用于对UAV进行远程控制的传统遥操作方法是不尽如人意的， 这是因为这些传统方法经常导致操作员的错误反应和相当数量的完全无人 机损失。

发明内容

因此，本发明的一个目标是改善前面提到的用于对UAV进行远程控制 的传统遥操作方法。

本发明的进一步目标是提供用于在新颖的遥操作方法中使用的人机界 面(HRI)。

这些目标是通过根据独立权利要求的新颖的遥操作方法和相应的人机 界面来实现的。

发明人已经认识到前面提到的远程控制的UAV的损失主要是由操作员 的环境感知较差所导致的。因此，本发明通过向操作员提供前庭(vestibular) 反馈来改善操作员的环境感知。

优选地，前庭反馈是通过向操作员施加与远程控制机器的运动相对应 的运动来向操作员提供的，使得操作员感受到犹如该操作员在远程控制机 器(例如，UAV)上那样的大体上相同的前庭感觉。但是，在本发明的上 下文中所使用的术语“前庭反馈”不限于其中操作员完成大体上与远程控 制机器相同的运动的这些实施例。提供给操作员的前庭反馈仅包括少于三 个自由度的操作员运动是非常有可能的。举例而言，有可能操作员经历与 俯仰角和翻转角相关的运动，而偏航角是固定的。进一步，有可能前庭反 馈仅重现远程控制机器的空间方位，而提供给操作员的前庭反馈不重现远 程控制机器的加速度。但是，优选地，前庭反馈重现与远程控制机器的真 实运动尽可能地相似的操作员运动。

优选地，新颖的遥操作方法包括：确定表示远程控制机器的真实运动 的前庭数据的步骤。随后，基于远程控制机器的前庭数据来确定前庭反馈。 接着，向操作员施加与远程控制机器的运动相对应的运动，其中，操作员 的运动提供前庭反馈，并且操作员的运动是根据远程控制机器的前庭数据 来产生的。

针对确定用于产生前庭反馈所需要的前庭数据，有若干不同的选择。

在本发明的一个实施例中，表示远程控制机器的真实运动的前庭数据 是由远程控制机器的机载传感器来测量的。举例而言，UAV上可能载有陀 螺仪和加速计，其中，这些传感器以远程控制机器的姿态(例如，俯仰角、 翻转角、偏航角和线性坐标)、UAV的速度和加速度的形式来测量前庭数据。 随后，由机载传感器测量的前庭数据经由通信链路(例如，无线电通信链 路)从远程控制机器发送到远程控制单元。

在本发明的另一个实施例中，表示远程控制机器的真实运动的前庭数 据是由固定的运动跟踪系统来远程测量的，使得不需要将前庭数据经由无 线链路从远程控制机器发送到远程控制单元。适当的运动跟踪系统在商业 上是可用的，例如，来自威康运动系统(Vicon Motion System)公司的运动 跟踪系统，使得不需要对运动跟踪系统作进一步的解释。

进一步的，前庭数据可以由前面所提到的替代物的混合来计算。举例 而言，可以通过机载传感器来测量原始数据。随后，原始数据被发送到远 程控制单元，在远程控制单元处，原始数据被用于例如更新远程控制机器 的动态模型。

在本发明的另一个实施例中，完全不测量表示远程控制机器的真实运 动的前庭数据，前庭数据是根据从远程控制单元发送到远程控制机器的运 动命令来得到的。换句话说，可以在考虑远程控制机器的行为的动态模型 的情况下基于运动命令信号来计算前庭数据。

在本发明的一个优选的实施例中，前庭反馈是通过承载操作员的自动 设备(robot)提供给操作员的。优选地，自动设备是多轴串行操纵器，后 者包括通过接合部连接的若干个连杆(link)。这种多轴自动设备在商业上 是可用的，例如，来自德国公司KUKA Roboter股份有限公司的品牌 Robocoaster但是，也可以使用来自不同厂商的其他类型自动设备来实现 本发明。或者，自动设备可以是并行操纵器，特别是所谓的Stewart平台。

在优选的实施例中，本申请额外地向操作员提供其他类型的反馈(例 如，视觉反馈、声反馈和/或触觉反馈)，以进一步增强操作员的环境感知。

对于向操作员提供视觉反馈，有不同的选择。在本发明的一个实施例 中，虚拟场景是基于远程控制机器的前庭数据来计算的。随后，将虚拟场 景显示给操作员。

在本发明的另一个实施例中，远程控制机器(例如，UAV)包括用于 从远程控制机器的视角来拍摄照片的机载相机。随后，这些图像经由通信 链路发送到远程控制单元，在远程控制单元处，将这些图像显示给操作员。

前面已经提到，优选地，远程控制机器和远程控制单元之间有通信链 路。这个通信链路优选的是无线链路(例如，无线电通信链路、红外远程 控制链路或超声远程控制链路)。但是，远程控制机器和远程控制单元之间 的通信链路也可以是有线通信链路。举例而言，远程控制机器和远程控制 单元可以通过光学纤维或电力电缆来互连。

此外，已经提到，优选地，前庭数据包括远程控制机器的姿态，特别 是远程控制机器的俯仰角、翻转角、偏航角和/或线性坐标。进一步，前庭 数据可以包括远程控制机器的速度，特别是远程控制机器的俯仰角、翻转 角和/或偏航角的时间变化。此外，前庭数据包括远程控制机器的加速度(特 别是远程控制机器的俯仰角、翻转角和/或偏航角的加速度)是可能的。换 句话说，前庭数据优选地包括远程控制机器的所有运动数据，这些数据对 于重现几乎相同的操作员运动而言是必要的。

在本发明的一个优选的实施例中，远程控制机器是无人机(UAV)，这 已经在上文中提到。但是，远程控制机器是无人地面车辆(UGV)，特别是 无人地面战斗车辆(UGCV)也是可能的。本发明的进一步应用包括对远程 操作的水下运载工具或无人宇宙飞船进行远程控制。此外，本发明在医学 技术领域中对所谓的纳米机器人进行导航以使其通过动物体而言可能是有 用的。

在本发明的优选实施例中，在基于经过滤的前庭数据来确定前庭反馈 之前，对前庭数据进行过滤，其中，前庭数据的过滤确保了提供给操作员 的前庭反馈符合安全限制和/或机械限制。举例而言，如果远程控制的UAV 与另一个飞行物或地面碰撞，则不期望在前庭反馈中重现该UAV的坠毁， 这是因为前庭反馈设备(例如，自动设备)和操作员将会由于坠毁的重现 而机械性地过度紧张。

进一步需要注意的是，本发明不限于前面所提到的新颖的遥操作方法。 本发明还包括用于在前面提到的遥操作方法中使用的相应的人机界面 (HRI)。这个新颖的人机界面的特征在于其向操作员提供前庭反馈以增强 操作员的环境感知，其中，前庭反馈表示远程控制机器的真实运动。

在本发明的优选实施例中，人机界面包括用于从远程控制物接收前庭 数据的接收机，其中，前庭数据是由上面所提到的机载传感器来确定的。 进一步，优选地，人机界面包括：用于基于经由通信链路从远程控制机器 接收的前庭数据来确定适当的前庭反馈的控制器。此外，根据本发明的人 机界面优选地包括用于向操作员提供前庭反馈的前庭反馈设备。

优选地，前庭反馈设备是自动设备(例如，串行操纵器或并行操纵器)。

前面提到的用作前庭反馈设备的自动设备承载操作员，使得自动设备 可以重现远程控制机器的真实运动。优选地，自动设备还承载视觉反馈设 备(特别是显示屏或投影系统)以向操作员提供视觉反馈，其中，视觉反 馈的产生已经在上文中进行了描述。为了进一步增强操作员的环境感知， 优选地，自动设备还承载向操作员提供声反馈的声反馈设备以及向操作员 提供触觉反馈的触觉反馈设备。操作员可以坐在自动设备承载的座位上， 其中，操作员可以操作用于产生运动命令的控制杆或类似的控制设备，这 些运动命令被发送到远程控制机器以用于控制远程控制机器的真实运动。

前面提到的系统可以用于训练运载工具(特别是飞机或宇宙飞船)的 驾驶员。但是，本发明不限于说明书中所公开的应用。

参考附图进行考虑，根据以下详细描述，本发明以及其特定的特征和 优点将变得更为清楚。

附图说明

图1是示出了包括通过无线通信链路互连的远程控制机器和远程控制 单元的遥操作系统的示图，其中，远程控制单元向操作员提供前庭反馈， 由此增强操作员的环境感知。

图2是与图1类似的遥操作系统的替代实施例，其中，提供前庭反馈 所需要的前庭数据是由固定的运动跟踪系统来测量的。

图3示出了承载操作员的多轴串行自动设备的透视图，使得自动设备 向操作员提供前庭反馈。

具体实施方式

图1示出了用于通过远程控制单元2来对无人机(UAV)1进行远程控 制的人机界面(HRI)的原理图，其中，无人机1和远程控制单元2是通过 无线电通信链路3互连的。

远程控制单元2包括输入设备4(例如，控制杆、踏板)。操作员5(参 见图3)操作输入设备4，由此产生限定无人机1的所期望运动的运动命令。

经由远程控制单元2的收发机7和天线8、无线电通信链路3和无人机 1中的天线9将运动命令发送到无人机1中的接收机6。

接收机6将运动命令转发到飞行控制器10，飞行控制器10相应地控制 若干个执行机构11，其中，执行机构11根据从远程控制单元2接收的运动 命令来调整例如无人机1的方向舵。

此外，无人机1包括若干个用于测量飞行数据(例如，姿态、空速) 的若干个机载传感器12。这些飞行数据被提供到飞行控制器10，飞行控制 器10在控制执行机构11时考虑这些飞行数据。

此外，无人机1包括用于测量无人机1的前庭数据(例如，无人机1 的俯仰角、翻转角、偏航角)的机载前庭传感器13。由机载前庭传感器13 测量的前庭数据还被提供给飞行控制器10，飞行控制器10在控制执行机构 11时考虑该前庭数据。

此外，由传感器12测量的飞行数据和由前庭传感器13测量的前庭数 据被提供给收发机14，收发机14将这些飞行数据(包含前庭数据)经由无 线电通信链路3发送到远程控制单元2中的接收机15。

前庭数据经由过滤器17被提供到控制器16，其中，过滤器17确保前 庭数据不会导致违反安全限制和机械限制的前庭反馈。

其他飞行数据被直接提供给控制器16。

控制器16控制如图3所示的多轴串行自动设备18，其中，自动设备 18承载操作员5，使得自动设备18可以向操作员5提供前庭反馈。因此， 控制器16以这样的方式来控制自动设备18：向操作员5施加与无人机1的 真实运动(如由前庭传感器13测量的前庭数据所表示的)大体上相同的运 动。因此，在无人机1的远程控制期间，自动设备18提供给操作员5的前 庭反馈显著地改善了操作员5的环境感知。

此外，控制器16以传统方式控制力反馈设备19和声反馈设备220，以 在无人机1的远程控制期间进一步增强操作员5的环境感知。

此外，远程控制单元2包括视觉反馈设备21，视觉反馈设备21也由控 制器16控制并且由自动设备18承载。在无人机1的远程控制期间，视觉 反馈设备1向操作员5提供视觉反馈。在本发明的一个实施例中，由视觉 反馈设备21提供的视觉反馈是由无人机1中的机载相机产生的图像流。在 本发明的另一实施例中，由视觉反馈设备21提供给操作员5的视觉反馈是 由控制器16基于由无人机1中的机载前庭传感器13测量的前庭数据来计 算的虚拟场景。

图2示出了与根据图1的实施例类似的替代实施例，使得参考上文的 描述，其中，对于相应的部件和细节，使用相同的附图标记。

这个实施例的一个典型特征是表示无人机1的真实运动的前庭数据不 是由机载前庭传感器13测量的，而是由与远程控制单元2相关联的运动跟 踪系统22测量的。

最后，图3示出了向操作员5提供前庭反馈的多轴自动设备18的原理 图。

自动设备18包括固定的自动设备底座23和通过接合部连接的若干个 自动设备连杆24、25和26，其中，远端连杆26承载自动设备腕部27，自 动设备腕部27上安装了平台28。平台28承载具有操作员5的座位29，其 中，操作员5可以操作控制杆形式的输入设备4。此外，视频屏幕形式的视 觉反馈设备21被布置在操作员5的视场中，使得操作员5观看视觉反馈设 备21提供的视觉反馈。

虽然，参考部件、特征等的特定布置来对本发明进行了描述，但是这 些描述并非旨在穷尽所有可能的特征安排，并且对本领域的技术人员而言， 很多其他的修改以及变形是可以确定的。

附图标记列表：

1    无人机

2    远程控制单元

3    无线电通信链路

4    输入设备

5    操作员

6    接收机

7    收发机

8    天线

9    天线

10   飞行控制器

11   执行机构

12   传感器

13   前庭传感器

14   收发机

15   接收机

16   控制器

17    过滤器

18    自动设备

19    力反馈设备

20    声反馈设备

21    视觉反馈设备

22    运动跟踪系统

23    自动设备底座

24    连杆

25    连杆

26    连杆

27    自动设备腕部

28    平台

29    座位