用于将在远程干预站点上捕获的视频流远程传输至处理站点的方法和系统

技术领域

本发明涉及用于将在远程干预站点上捕获的视频流远程传输至处理站点的方法。本发明还涉及实现所述远程传输方法的系统。

本发明的一个特定领域是远程辅助在远程干预站点执行的所有种类的操作，特别是工业操作，例如预防性或校正性维护操作或检查操作。

本发明的另一个领域是从移动平台、陆地平台、空中平台或水上平台远程传输捕获的视频流，特别是用于检查目的。

背景技术

目前，通过使用许多通信媒介——无论是经由通信网络的有线的还是使用无线或卫星通信的无线的——来执行从远程干预站点对信息的远程传输。

在远程辅助领域中，远程传输的信息通常包括从现场操作者所采用的视频捕获设备生成的视频流。

在视频远程辅助中，现场操作者装载旨在捕获将对其执行维护或操作的设备的图像流的摄像装置。远程辅助可以是同步的或异步的。视频流是通过数字通信装置例如经由卫星的IP网络或基于陆地的网络传输的。

远程专家接收该流，对其进行分析，并且将信息返回给操作者以辅助该操作者。该信息可以包括多媒体数据和/或程序指令。

因此，文献EP 2765502 A1公开了有助于向现场操作者提供增强的信息的远程辅助方法。

文献WO 2009128781也公开了远程显示方法和装置。

文献US 2017/300757 A1公开了提供对机密性和隐私的保护的图像捕获方法和系统。它没有描述在干预场景对现场操作者的远程辅助，没有从处理站点向干预场景提供信息流。

当前方法的一个缺点在于所传输的信息过于全面。所捕获和传输的信息可能包含多余的信息，其中一些信息甚至是秘密的，这可能在设施的安全性方面或者经济或技术情报方面存在风险。

本发明的目的是提出远程传输方法，该远程传输方法旨在将信息的传输减少到仅传输适当地执行干预或检查所必需且充分的数据。本发明的另一个目的是优化在远程传输操作期间传输的数据量，并且因此对所使用的通信网络的技术限制不那么敏感。

发明内容

该目的利用一种用于将在远程干预场景处捕获的视频流远程传输至处理站点的方法来实现，该方法包括：以擦除特定区域的方式处理所述视频流，然后将如此处理的所述流传输至所述处理站点，其特征在于，该方法被实现为远程地辅助现场操作者在所述远程干预场景中对具有已知几何形状的单元或对象进行操作。

因此，可以避免使在干预场景中或在单元本身上包含的敏感信息在干预站点与评估站点之间使用的通信信道上被拦截。例如，该敏感信息可以涉及地理位置、建筑物或视觉上可识别的设备。它还可以是包含在附着于经受干预的单元的标签或任何其他介质上的信息。这样的信息还可以具有上下文性质，例如自然或人工照明条件或大气或天气条件。

通过使用根据本发明的远程传输方法，可以在敏感的干预站点上提出远程辅助工具，该远程辅助工具显著地限制了在信息——特别是由在现场工作的操作者传输的图像或视频流——的远程传输期间机密数据被第三方拦截的风险。

在本发明的一个特定实现方式中，远程传输方法还包括以下步骤：

-捕获与包括所述单元或对象的干预场景有关的视频流；

-根据所述单元或对象提取有限流；

-处理所述提取的视频流以擦除特定区域；

-将如此处理的所述视频流传输至远程辅助站点；

-在所述远程辅助站点处解释所述流，以丰富所述流以及/或者生成指令；

-将所述经丰富的流和/或所述指令从远程辅助站点传输至现场操作者；以及

-经由合适的接口向现场操作者恢复所述流和/或所述指令。

将不被传输的感兴趣区域可以是先前已知的或者在干预场景处被识别的。也可以由现场操作者经由合适的图形接口来执行对将不被传输的该感兴趣区域的识别，或者对将不被传输的该感兴趣区域的识别可以自动地完成。

在本发明的一个特定形式中，处理所提取的单元的步骤还包括用于修改视频流的内容的特征的步骤，该特征对于所识别的对象或单元是外在的以及/或者所述特征携带所述对象或单元的环境所固有的语义信息。

在根据本发明的远程传输方法的另一实施方式中，从相对于干预场景能够移动的平台捕获视频流。该移动平台可以是基于陆地的、空中的或水中的，并且可以例如由无人机承载。它可以由在远程站点工作的操作者本地控制。

根据本发明的另一方面，提出了一种用于将由视频流捕获装置在远程干预场景处捕获的视频流远程传输至处理站点的系统，该系统实现根据本发明的远程传输方法，该系统包括在所述干预场景处的用于处理所述视频流以擦除特定区域的装置以及用于将如此处理的所述流传输至所述处理站点的装置，其特征在于，该系统实现了从远程辅助站点远程辅助现场操作者在本地站点对具有已知或几何形状的单元或对象进行操作。

根据本发明的远程传输系统还可以包括：

-用于识别视频流内的所述单元或对象的装置；以及

-用于根据所识别的特定单元或对象提取有限视频流的装置。

此外，可以有利地在干预场景提供图形接口装置，以使得现场操作者能够识别将不被传输的至少一个感兴趣区域。

在本发明的一个特定版本中，处理所提取的单元或对象的装置可以包括用于修改视频流的内容的特征的装置，所述特征对于所识别的单元或对象是外在的以及/或者所述特征携带所述对象或单元的环境所固有的语义信息。

在本发明的一个特定实施方式中，远程传输系统因此可以包括：

-在所述本地站点：

-用于捕获与包括所述单元或对象的干预场景有关的视频流的装置；

-用于处理所述视频流以从所述视频流擦除特定区域的装置；

-用于将如此处理的所述视频流传输至远程辅助站点的装置；

-在所述远程辅助站点：

-用于解释所述流以丰富所述流以及/或者生成指令的装置，

-用于将所述经丰富的流和/或所述指令从远程辅助站点传输至现场操作者的装置；以及

-用于经由合适接口向现场操作者恢复所述流和/或所述指令的装置。

在根据本发明的远程传输系统的另一特定版本中，用于捕获、处理和传输视频流的装置被放置在相对于干预场景能够移动的平台上。

所述移动平台可以有利地由无人机承载。

具体实施方式

本发明的其他优点和特性将从阅读对实现方式和实施方式的详细描述以及以下附图中领会到，这些实现方式和实施方式决非限制性的：

-图1示意性地示出了根据本发明的远程传输系统；

-图2示意性地示出了根据本发明的用于远程辅助操作的远程传输方法的第一实施方式；

-图3示意性地示出了利用根据本发明的远程传输方法执行的干预的场景的特定示例；

-图4示意性地示出了根据本发明的图3中表示的干预的上下文中的远程传输方法的第二实施方式；

-图5示意性地示出了根据本发明的包括视频流替代的远程传输方法的第三实施方式；以及

-图6示意性地示出了根据本发明的在检查无人机上的远程传输系统的特定应用。

由于下文描述的实施方式决非限制性的，因此本发明的变型也可以被认为仅包括对描述的特征的选择，而与其他描述的特征隔离(即使该选择在包括这些其他特征的语句内被隔离)，如果对该特征的选择足以赋予技术优点或者将本发明与现有技术区分开。该选择包括至少一个特征，其优选地为功能性的且没有结构细节，或仅具有结构细节的一部分，如果该部分单独足以赋予技术优点或者将本发明与现有技术区分开。

参照图1，远程传输系统S包括便携式设备P，该便携式设备P设置有摄像装置、数据处理单元、具有图形接口的屏幕以及无线通信模块。该便携式设备可以由常规装置例如连接的平板电脑或望远镜生产得到，或者可以为给定用途而特别设计。该便携式设备P包括被设计成处理由摄像装置捕获的视频流的软件装置。

在干预场景SI下工作的现场操作者(未示出)使用便携式设备P来产生该干预场景的视频，并且更特别地，产生位于该干预场景SI中的技术单元E的视频。如此捕获的视频流包括单元E和背景B两者。

根据本发明的远程传输方法在便携式设备P中包括的软件模块中进行实现。该方法被配置成以从流中删除在单元E上可见的感兴趣区域I1、I2、I3的方式修改所捕获的流F。然后，如此修改的流FM可以通过不一定端到端安全的通信网络传输至远处的远程处理站点ST。然后，如此接收到的经修改流FM被处理成例如通过增强现实技术进行丰富，然后以经丰富的流FE的形式返回至现场操作者的便携式设备P。

参照图2，现在将提供根据本发明的在图1的配置中实现的远程传输方法的不同步骤的描述。

由便携式设备P(潜在地为摄像装置)的传感器C捕获的流F包括单元E的图像，该单元E的图像包括感兴趣区域I1、I2、I3和背景元素B1、B2的图像两者。

不期望传输的感兴趣区域可以包括例如表示风险或特定功能的图形设计或标志I1。这些感兴趣区域还可以包括包含关键信息I2、I3的标记或标题块。

第一处理步骤T1被设计成识别干预场景内的单元E并提取它，以获得具有不再包含可用信息的中性背景NB的提取视频流FE。

在现有技术中在视频流中的若干种提取方法已经可用。特别地，可以引用文献US2013/0093788 A1，其公开了一种用于使真实对象在呈混合现实的显示中消失的方法。

图像的子集(被观察对象的背景、描述性元素或其他)的中性化包括将中性色度属性应用于组成所述子集的像素组。换言之，通常由浮点值(示例：RGB)限定的所述像素的属性被分配相同的颜色。在第二处理步骤T2中，识别感兴趣区域I1、I2、I3，然后将其从视频流FE中擦除，以获得经处理的视频流FT，在该经处理的视频流FT中如此处理的单元ET不再包含感兴趣区域，这些感兴趣区域被擦除区域EI1、EI2和EI3所替代。

视频流包括通常由以行和列排序的像素组成的一系列图像。因此，对视频流内先验已知的单元的识别在于，针对组成所述流的每个图像，确定与所述单元出现的区域(在像素的意义上)对应的一个或更多个像素子集。

如果在获取的原点处的摄像装置相对于所述单元的位置是已知的(在空间意义上)以及所述摄像装置的固有特征是已知的，则可以自动地和确定性地完成对先验已知的单元例如感兴趣区域I1、I2、I3的识别。

摄像装置相对于先验已知的单元的位置可以通过基于模型的重置来确定，该基于模型的重置在于根据旨在局部地且全局地将所观察的单元和其先验已知的几何表示并置的优化方法来确定所述位置。

定位也可以通过在可容易识别和定位的可视界标(参考数据矩阵型标记)的参考系内定位摄像装置来更平凡地完成，对于该摄像装置，所述界标的位置在要识别的单元的参考系内是已知的(在空间意义上)。

根据要擦除的感兴趣区域的类型(背景、识别板、标志或其他)，可以以不同的方式对要擦除的感兴趣区域着色。然而，也可以规定这些擦除区域在要传输的经处理的视频流中看起来是透明的。

然后，传输这个如此处理的流——具有中性背景并且感兴趣区域被擦除(T3)。如果在传输期间对修改的视频流FT的拦截IN的尝试可能成功，则信息危害必然会减少，因为拦截的流将难以用来确定干预场景的位置。

远程处理站点ST接收(T4)表示单元E的经处理图像ET的该修改的视频流。然后以通过添加信息A1、A2以及指令或命令IN来增强或丰富所接收到的视频流FR的方式来处理(T5)所接收到的视频流FR。然后，可以将如此增强的视频流FA传输(T6)至现场操作者的便携式设备P。

参照图3和图4，根据本发明的远程传输方法也可以被实现为在所传输的视频流中删除与干预场景有关的任何上下文信息。

作为非限制性示例，干预场景SI'包括安装在设置有两个窗户F1、F2的房间中的设备E'。放置在单元E附近的大尺寸对象CT由于穿过第一个窗户F1的太阳辐射而在设备E'上产生投射阴影O。位于单元E'后面的第二个窗户F2面向特有风景，其包括例如区域的植被的典型树。此外，单元E'本身包括两个感兴趣区域I4、I5，对该两个感兴趣区域I4、I5的传输是不期望的。

大尺寸对象CT例如可能被设置有指示放射性成分或材料的存在的标记NU。如果现场操作者决定产生包含该对象CT的视频流，则将以如下这样的方式来处理该视频流：擦除将被远程传输的视频流中的先前识别的标记NU的内容。

由便携式设备P的摄像装置捕获的流FI包括投射阴影O和通过窗户F2可见的背景风景的视图。该阴影和该风景可能被出于确定干预场景的位置的目的而拦截传输流的未授权的第三方使用。因此，避免这种上下文信息的传输是必要的。

第一步骤(T1')有助于从视频流FI'中提取仅单元E'的视频图像，该单元E'的视频图像然后具有中性背景。然后处理(步骤T2')提取流FE'，以擦除两个感兴趣区域I4、I5。然后，如此处理的流FT'包括单元E'的以下视频图像：该视频图像包括两个擦除区域EI4、EI5。

第三步骤(T3')的功能是例如借助于被设计成明显地衰减阴影效果或镜面反射的光学或数字滤波器来衰减或修改投射阴影O，以生成包括关于太阳照明条件的修改信息的经校正视频流FC，该经校正视频流FC对于会在处理之后拦截视频流的第三方而言，将变得难以解释。然后，可以通过通信网络传输(步骤T4')包括替代的区域EI4、EI5和经衰减的阴影O'的该经校正的视频流FC，并且由处理站点ST以接收到的视频流FR'的形式来接收。

参照图5，还可以提供根据本发明的远程传输方法的第三实施方式，其中实际传输的视频流不再包括感兴趣区域，而是包括替代的区域，并且可能包括通过光学或数字滤波器基本上衰减或修改的投射阴影。然后，期望的目标是误导可能拦截所传输的视频流的未授权的第三方。

现场操作者通过他的便携式设备P已捕获视频流FI”，该视频流FI”表示在干预场景SI”中在背景B”前面的单元E”，所述单元E”包括例如两个感兴趣区域I6、I7。

处理步骤T1”、T2”、T3”——类似于刚刚参照图4描述的T1'、T2'、T3'的处理步骤——分别并且相继地使得能够从单元E”的背景提取单元E”，擦除感兴趣区域I6、I7以及通过对单元E”上的投射阴影O的滤波进行处理。因此，获得经处理的视频流FT”——包括投射阴影的经处理版本O”。

考虑到破坏对传送的图像的部分的利用，可以使用若干常规信息图处理。通过在视频流的传输之前随机地对视频流内的图像的属性(伽马、曝光、对比度、照明)进行操作，相对于捕获上下文(自然照明与人工照明、光的取向等)对视频流进行解释的能力可以受到极大限制。

除了使图像的属性中性化之外，还可以想到应用先前基于3D渲染计算的附加纹理。因此，可以在所传输的图像中嵌入可信的但在所观察的现实中不存在的投射阴影，从而使由潜在的拦截者对所传输的图像的解释歪曲。

新的处理步骤(T4”)设计成以虚构的感兴趣区域IS6、IS7替代真实的感兴趣区域I6、I7。

例如，它可以涉及应用与一组像素结合的颜色，其中该组像素携带的语义信息将被删除。

因此，获得了替代的视频流FS，然后可以通过通信网络将其传输(T5”)至处理站点ST，该处理站点ST接收同时包括单元E”的修改图像的视频流FR”。在替代的视频流FS的传输期间发生不期望的拦截的情况下，对替代的视频流FS的使用会引起错误的解释，从而使得可以关于干预场景的实际位置而保护信息源。

如图6所示，根据本发明的远程传输系统也可以安装在由检查无人机D承载的移动平台P内。该无人机D例如被提供用于检查技术设备SP，该技术设备SP在其一个或更多个面上具有信息区域I8、I9，对信息区域I8、I9的传输是不期望的，因为第三方对其的拦截将是不利的。例如，区域I8可能是指示放射性材料或成分的存在的符号，而区域I9可能包括与该技术设备的来源有关的数据。

当检查无人机D接近技术设备SP时，检查无人机D的摄像装置C捕获与检查目标对应的视频流。并入移动平台P中的处理器MP在本地处理该视频流，将感兴趣区域I8、I9识别为与预定形状对应的形状，并且擦除这些感兴趣区域。然后，由无线传输单元MT将包括擦除区域EI8、EI9的如此处理的视频流FT6传输至通信网络R，然后路由到处理站点ST。然后，该无人机可以由在现场工作的操作者控制。

当然，本发明不仅仅限于刚刚描述的示例，并且在本发明的范围内可以设想许多其他实施方式。因此，在根据本发明的系统中实现的远程传输操作中涉及的设备可以是任何类型的。这些远程传输操作也可以被实现用于除了来自移动平台的远程监视或检查之外的目的。