确定两个传感器的传感器数据中的视差问题的方法和设备

技术领域

本发明涉及一种方法和一种设备，用于确定两个传感器的传感器数据中的视差问题。此外，本发明涉及一种机动车辆。

背景技术

现代机动车辆具有大量的辅助系统，这些辅助系统在驾驶机动车辆时支持驾驶员，或者可以自动化地或半自动化地驾驶机动车辆。为此，辅助系统需要关于机动车辆环境的信息。借助传感器检测该信息，并且以传感器数据的形式提供。传感器通常借助不同的测量原理来工作。例如，可以将相机和提供距离信息的激光扫描仪或光探测和测距(LightDetection and Ranging，LIDAR)传感器或具有高度检测装置的雷达传感器规定为传感器。

通常，传感器布置在机动车辆上或机动车辆中的不同位置处。这导致各个传感器从不同的视角检测机动车辆的环境。尤其地，在随后的传感器数据融合中，这导致视差问题，因为从不同视角检测到的对象的不同传感器的传感器数据可能不与彼此正确关联。尤其地，传感器数据的错误关联可能导致错误的距离估计。

发明内容

因此，本发明要解决的技术问题是，构造一种方法和一种设备，利用该方法和该设备可以确定两个传感器的传感器数据中的视差问题。

根据本发明，该技术问题通过具有本发明的特征的方法以及具有本发明的特征的设备来解决。本发明的有利的设计方案由本发明给出。

尤其地，提供了一种用于确定两个传感器的传感器数据中的视差问题的方法，其中，传感器布置在彼此间隔开的位置处并且至少部分地检测相同的环境，并且其中，传感器中的一个提供距离信息，包括：获得传感器的所检测到的传感器数据，获得或基于另外的传感器的所检测到的传感器数据估计传感器中的另一个的传感器可视范围信息，将一个传感器的所检测到的传感器数据中的测量值分配给另外的传感器的所检测到的传感器数据中的就此分别对应的测量值，其中，在考虑两个传感器的相应成像条件的情况下进行分配，比较在传感器数据的分别相互对应的测量值处的距离信息和所获得或所估计出的传感器可视范围信息，其中，如果基于距离量度确定的在相应的距离信息与就此对应的传感器可视范围信息之间的距离超过阈值标准，则确定视差问题，输出比较结果。

此外尤其地，构造一种用于确定两个传感器的传感器数据中的视差问题的设备，其中，传感器布置在彼此间隔开的位置处并且至少部分地检测相同的环境，并且其中，传感器中的一个提供距离信息，所述设备包括输入装置、计算装置和输出装置；其中，输入装置被构造为从传感器获得所检测到的传感器数据；其中，计算装置被构造为：获得传感器中的另一个传感器的传感器可视范围信息或者基于另外的传感器的所检测到的传感器数据估计另外的传感器的传感器可视范围信息，将一个传感器的所检测到的传感器数据中的测量值分配给另外的传感器的所检测到的传感器数据中的就此分别对应的测量值，其中，在考虑两个传感器的相应的成像条件的情况下进行分配，对在传感器数据的分别相互对应的测量值处的距离信息和所获得的或所估计出的传感器可视范围信息相互比较，并且如果基于距离量度确定的在相应的距离信息与就此对应的传感器可视范围信息之间的距离超过阈值标准，则确定视差问题；并且其中，输出装置被构造为输出比较结果。

该方法和设备能够实现确定两个传感器的所检测到的传感器数据中的视差问题，两个传感器至少部分地检测相同的环境，然而布置在不同的安装位置处。这通过将传感器的传感器数据中的各个测量值彼此分配或者对应进行，其中，这在考虑相应的传感器的相应的成像条件的情况下进行。经由比较在分别相互对应的测量值处由一个传感器所提供的距离信息与针对另外的传感器所获得的或所估计出的传感器可视范围信息，检查是否存在视差问题。如果基于距离量度确定的在相应的距离信息与就此对应的传感器可视范围信息之间的距离超过阈值标准，则在此认为，对于彼此对应的测量值存在视差问题。在最简单的情况下，所使用的距离度量是欧几里得距离。然而，也可以使用另外的距离度量，例如马氏距离(Mahalanobis-Abstand)，其中例如可以考虑传感器的测量不确定度。阈值标准例如可以被构造为简单的阈值并且位于一或几厘米与几十厘米之间的范围内。随后，输出根据比较各个测量值而获得的比较结果。

所描述的方法和设备的优点在于可以简单地实现该方法和设备，并且仅需要计算装置的低的计算能力。

尤其地，成像条件包括分别由传感器检测传感器数据的条件，诸如光学成像、张角和/或检测时间点。通过考虑相应的成像条件，可以将传感器的传感器数据彼此分配。

尤其地，一个传感器是激光扫描仪或LIDAR传感器、具有高度测量装置的雷达传感器或立体相机。另外的传感器例如可以是相机。尤其地，距离信息是关于传感器数据的所检测到的测量值距传感器有多远的信息。

尤其地，传感器可视范围信息包括关于另外的传感器的传感器数据中的测量值距另外的传感器有多远的信息。在此，尤其地可以规定，不提供测量值的距离信息，而仅提供关于最小距离的估计。例如，基于传感器数据和另外的传感器的成像条件，可以估计测量值具有相对另外的传感器的10米的最小距离。尤其地，基于所检测到的传感器数据中的特征来估计传感器可视范围信息。为此，借助计算装置，例如借助计算机视觉和机器学习的已知方法来执行特征识别。例如，可以基于所识别的纹理在所检测到的相机图像中识别前方的道路。只要道路的纹理(例如，沥青和平行延伸的车道标记)没有中断地或者没有另外的布置在其之前的对象地沿在相机图像中识别出的水平线方向继续延伸，则可以认为在所识别出的道路的区域中存在自由区域，在该自由区域之内相机可以分别检测环境。此外，为此也可以使用光流，以便确定传感器可视范围信息。还可以基于所识别出的对象来确定传感器可视范围，其中已知绝对的对象尺寸。然后，借助针对另外的传感器的已知的成像条件，可以根据绝对的对象尺寸来计算或估计相对于对象的距离以及由此计算或估计针对相关联的测量值的传感器可视范围信息。

尤其地规定，同步一个传感器和另外的传感器的传感器数据，使得传感器数据已经在时间上正确地彼此关联。尤其地这意味着，相对于时基传感器数据彼此一致。原理上，可以以各种方式在准备阶段进行这种同步。在传感器数据的图像空间中，可以借助光流和对图像空间中的三维图像点的匹配来跟踪对象(对象跟踪)。此外，可以在至少一个提供距离信息的传感器的传感器数据中跟踪对象。基于该对象跟踪，可以在另外的传感器的传感器数据中估计分别与相关联的传感器数据相对应的时间点。此外，例如通过使用公共的触发信号，可以同时地进行对传感器的传感器数据的检测。

可以规定，进行传感器数据内插，以便能够实现传感器数据彼此间的分配。

可以规定，必须达到最小数量的测量值，对于该测量值，所确定的距离超过阈值标准，由此确定视差问题。由此，可以考虑由于有错误或受噪声污染的传感器数据而引起的各个测量值中的有错误或随机的偏差。

尤其地，测量值是测量点。然而，还可以规定，测量值是从传感器数据导出的特征，例如所检测到的相机图像中的边缘点，从相机图像的更大区域确定该边缘点。

设备的部分、特别是计算装置，可以被单独地构造或组合地构造为硬件和软件的组合，例如构造为程序代码，该程序代码在微控制器或微处理器上实施。

在一种实施方式中规定，通过将一个传感器的传感器数据的测量值反投射或者回投影到由另外的传感器的传感器数据的测量值形成的图像空间中，进行对测量值的分配。这能够实现特别简单和快速地检查是否存在视差问题。如果一个传感器例如是LIDAR传感器，而另外的传感器是相机，则将LIDAR传感器的传感器数据的测量值投射到相关联的相机图像中，即，根据相应的成像条件，将LIDAR传感器的传感器数据的各个测量值分配给相机图像中的各个测量值或图像元素。

在一种实施方式中规定，至少部分地基于所估计出的自由区域来估计传感器可视范围信息，其中，为了估计自由区域，在另外的传感器的传感器数据上执行图案识别。在此尤其地，自由区域表示在另一个传感器、特别是相机之前的区域，该区域至少在预先给定的距离之内没有对象。由此，可以以简单并且计算开销小的方式估计传感器可视范围信息。由此例如可以为各个测量值分别生成传感器可视范围信息，方式是针对测量值将传感器可视范围信息定义为最小距离，在该最小距离之内另外的传感器至少可以检测环境或者具有直接的视线。另外的优点是，已经存在相机，该相机基于对所检测到的相机数据所执行的环境识别和环境解释，生成并且提供对环境中的自由区域的估计。然后可以基于由相机所提供的这种估计来估计传感器可视范围信息。

在一种实施方式中规定，在图案识别的范围内执行对象识别，并且基于环境中所识别出的对象估计自由区域。尤其地，在此规定，识别环境中的对象，估计环境中的对象位置，并且将自由区域定义为不包括对象位置的区域。由此，可以以特别简单地实现的以及计算开销小的方式估计自由区域。特别是在移动对象的情况下，这允许简化地估计自由区域，因为可以借助对象跟踪以简单的方式在相邻的时间步之间跟踪对象。

在一种实施方式中规定，基于至少一个其它传感器的传感器数据估计所述另外的传感器的传感器可视范围信息。至少一个其它传感器同样例如可以是激光扫描仪或LIDAR传感器，然而，其被布置得更靠近所述另外的传感器。例如，该其它传感器可以较小并且具有较低的分辨能力。基于由其它传感器所检测的其它传感器数据，估计传感器可视范围信息。在此，还可以规定，由于分辨的原因，为另外的传感器的传感器数据的多个相邻测量值估计公共的传感器可视范围信息。

针对设备的设计方案的另外的特征由对方法的设计方案的描述给出。在此，该设备的优点分别是如在方法的设计方案中的相同优点。

此外，还尤其地构造了一种机动车辆，包括：两个传感器，其中，传感器布置在彼此间隔开的位置处，并且至少部分地检测相同的环境，并且其中，传感器中的一个提供距离信息，并且包括按照所描述的实施方式中的任一个的设备。

在机动车辆的实施方式中规定，一个传感器是LIDAR传感器或3D雷达传感器，并且另外的传感器是相机。

附图说明

以下，参考附图，根据优选的实施例对本发明进行更详尽的阐述。附图中：

图1示出了用于确定两个传感器的传感器数据中的视差问题的设备的实施方式的示意图；

图2示出了用于说明用于确定两个传感器的传感器数据中的视差问题的方法的示意图。

具体实施方式

图1中示出了用于确定两个传感器51、52的传感器数据10、20中的视差问题的设备1的实施方式的示意图。设备1和传感器51、52布置在机动车辆50中。设备1包括输入装置2、计算装置3和输出装置4。

传感器51、52布置在彼此间隔开的位置处并且至少部分地检测相同的环境。例如，传感器51是激光扫描仪或LIDAR传感器，其提供分别具有距离信息12的三维反射点的形式的传感器数据10。例如，传感器52是相机，其提供相机图像的形式的传感器数据20。例如，传感器51、52检测图2中所示出的环境60。

输入装置2获得由传感器51、52所检测到的传感器数据10、20，并尤其地将该传感器数据同步到公共时基上。

计算装置3将传感器51的所检测到的传感器数据10中的测量值分配给另外的传感器52的所检测到的传感器数据20中的就此分别对应的测量值。在考虑两个传感器51、52的成像条件的情况下进行分配。简而言之，这意味着执行视线检查，其中，基于检测方向进行基于相互对应的视线或者说检测方向对测量值的分配，从检测方向出发检测在相应的传感器51、52的张角中的所述各个测量值。目的是，彼此对应的测量值分别成像环境中的相同区域。

尤其地规定，通过将传感器51的传感器数据10的测量值反投射到由另外的传感器52的传感器数据20的测量值形成的图像空间中，进行对测量值的分配。如果另外的传感器52是相机，则在考虑所述传感器51和相机的相应成像条件的情况下，将所述传感器51的传感器数据10的测量值投射到根据相机的传感器数据20所生成的相机图像中。

此外，计算装置2获得另外的传感器51的传感器可视范围信息22，或者基于所检测到的另外的传感器51的传感器数据20估计传感器可视范围信息22。

随后，计算装置2比较在传感器数据10、20的分别相互对应的测量值处的距离信息12和所获得的或所估计出的传感器可视范围信息22。基于该比较，如果基于距离量度确定的、在相应的距离信息12与就此对应的传感器可视范围信息22之间的距离超过阈值标准，则计算装置2确定视差问题。在此可以规定，必须达到最小数量的测量值，对于该测量值，分别确定的距离超过阈值标准，由此确定视差问题。由此，可以考虑由于有错误或受噪声污染的传感器数据10、20而引起的各个测量值中的有错误或随机的偏差。

随后，由输出装置4输出比较结果30，例如输出数字数据包的形式的比较结果，该数字数据包标明其中出现视差问题的测量值。

此外可以规定，至少部分地基于所估计出的自由区域来估计传感器可视范围信息22，其中，为了估计自由区域，在另外的传感器51的传感器数据20上执行图案识别。

改进地，可以规定，在图案识别的范围内执行对象识别，并且基于环境中所识别出的对象估计自由区域。

此外可以规定，基于至少一个其它传感器54的传感器数据40估计另外的传感器52的传感器可视范围信息22。

图2中示出了用于说明用于确定两个传感器51、52的传感器数据中的视差问题的方法的示意图。传感器51、52彼此间具有距离53，并且检测环境60的重叠区域。此外，示出了传感器51、52的视线11、21，其中，视线11、21分别与针对传感器数据中的各个测量值的检测角相对应。在所示的示例中，传感器51是LIDAR传感器，该LIDAR传感器提供具有环境60的相关联的距离信息12的三维测量值(为清楚起见，并非所有视线11都标有用于距离信息12的附图标记)。另外的传感器52是相机，该相机提供相机图像作为传感器数据。

在环境60中，存在平坦的壁61和以另外的机动车辆的形式的对象62。由于距离53，传感器51、52从不同方向检测对象62。传感器51以从对象62旁边经过的方式在区域63中检测壁61，而从传感器52(即，相机)的视线出发，壁61在该区域63中被对象62覆盖。因此存在视差问题。

为了确定视差问题，使用传感器可视范围信息22。该传感器可视范围信息或者由另外的传感器52生成和提供，或者借助计算装置基于所检测到的传感器数据中的特征估计。例如，可以基于所识别到的纹理在所检测到的相机图像中识别前方的道路。只要道路的纹理(例如，沥青和平行延伸的车道标记)没有中断地或者没有另外的布置在其之前的对象地沿在相机图像中识别出的水平线方向继续延伸，则可以认为在所识别出的道路的区域中存在自由区域。此外，为此也可以使用光流，以便确定传感器可视范围信息22。也可以基于所识别出的对象(例如，已知类型的另外的机动车辆)来确定传感器可视范围信息22，其中已知绝对的对象尺寸。然后，借助针对另外的传感器52的已知的成像条件，可以根据已知的绝对的对象尺寸计算或估计相对于对象的距离以及与此相关联的传感器可视范围信息22。

可以规定，至少部分地基于所估计出的自由区域23估计传感器可视范围信息22，其中，为了估计自由区域23，在另外的传感器52(即，相机)的传感器数据上执行图案识别。

改进地，可以规定，在图案识别的范围内执行对象识别，并且基于环境60中所识别出的对象61、62来估计自由区域23。然后，通过在该区域上没有识别出对象的区域确定自由区域23。这例如可以通过简单地构造负掩蔽(德语：negativen Maskierung)来进行，该负掩蔽通过所识别出的对象定义，并且包括所识别出的对象之外的所有区域。

在所示的示例中，传感器可视范围信息22包括针对测量值或图像元素中每一个测量值或图像元素的对相机的可视范围的估计。

在计算装置在考虑两个传感器51、52的相应的成像条件的情况下将一个传感器51的所检测到的传感器数据中的测量值分配给另外的传感器52的所检测到的传感器数据中的就此分别对应的测量值之后，计算装置执行在传感器数据的分别相互对应的测量值处的距离信息和所获得的或所估计出的传感器可视范围信息22的比较。

在此，在图2所示的示例中，给出了在测量值中基于距离量度确定的距离31(为清楚起见未为每个测量值/视线11示出)，所述测量值位于区域63中。将这些距离31与阈值标准32进行比较，该阈值标准例如由预先给定的阈值定义，为了进行说明，该阈值在所示示例中应当与所确定的距离31的10％相当。根据所使用的传感器51、52的特性，阈值标准32的阈值为几厘米至几十厘米。反之，在区域63之外的测量值中，距离信息与传感器可视范围信息22相一致。

由于位于区域63中的测量值的所确定的距离31超过阈值标准32的阈值，因此计算装置确定视差问题并且生成对应的比较结果，该比较结果由输出装置输出。

附图标记列表

1 设备

2 输入装置

3 计算装置

4 输出装置

10 传感器数据

11 视线

12 距离信息

20 传感器数据

21 视线

22 传感器可视范围信息

23 自由区域

30 比较结果

31 距离

32 阈值标准

40 传感器数据

50 机动车辆

51 传感器(LIDAR传感器)

52 传感器(相机)

53 距离

54 另外的传感器

60 环境

61 壁

62 对象

63 区域