估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法

技术领域

本发明涉及驾驶无人机，尤其是诸如直升机、四旋翼直升机之类的旋翼无人机。 

背景技术

此类无人机的典型示例是法国巴黎的鹦鹉股份有限公司(Parrot SA)生产的AR.Drone，其是装配有一系列传感器(三轴加速计和陀螺仪，高度计)的四旋翼直升机。无人机还设置有前置摄像机，其朝无人机前进的方向拍摄场景图片，并且还设置有垂直定向的摄像机，拍摄无人机所飞过地形的图片。 

无人机可由用户通过由无线电连接到无人机的远程遥控设备进行驾驶。无人机还设置有用于稳定悬停飞行的自动系统，该自动系统尤其用于使无人机能以自动方式达到平衡点，并且一旦达到所述平衡点，其用于提供保持该固定点所需的修整校正，即通过校正由于例如空气流动的外部影响和传感器的漂移引起的小的平移运动而提供修整校正。高度计是位于无人机下的超声测距仪，其提供垂直速度的测量，从而可伺服控制推力以稳定无人机的高度。此外，惯性传感器(加速计和陀螺仪)用于以一定的准确性测量无人机的角速度和姿态角，从而可用于沿与地心引力相反的方向动态伺服控制无人机的推力方向。 

为了进行悬停飞行，仍然存在消除无人机线性速度的问题。可惜的是，所采用低成本的加速计通常噪声过大，以致当来它们的信号被二次整合时无法给出令人满意的无人机速度估算。 

WO2009/109711A2(鹦鹉股份有限公司，Parrot)提出了通过分析前视相机拍摄的连续图片并识别图片中各个特征点的运动来从前视相机的图片中估算无人机的水平速度。 

然而，该技术的不足在于缺乏准确性，尤其是在最低速度情况下(当无人机以低速朝前移动时，所拍摄图片的连续图片之间的变化非常小)。它还非常依赖于相机拍摄的场景中感兴趣特征点的存在或不存在：当图片均一时，例如， 当在户外时，示出墙壁或天空，特征点的准缺失(quasi-absence)使该技术失效。 

本发明依赖于垂直定向的相机而非前视相机所传送的图片以估算无人机的水平速度。 

然而，识别由该相机拍摄的图片中的各个点的移动仍然是一项困难的任务，该任务强烈地同时依赖于i)场景的特性(或多或少的对比度，朝或大或小范围的改变)；ii)速度；和iii)限制计算复杂度的约束。 

特别地，如果要求在悬停时执行自动稳定伺服控制，适合的做法是：进行同步准确的，灵敏的(由于平衡点附近的线性速度可能非常低)，并实时可用的速度测量，从而可有效地，反应地执行伺服控制。 

然而，应注意到本发明并不限于为了稳定无人机的悬停飞行而估算速度，它可更普遍地应用于无人机的所有飞行配置中，即使移动值接近无人机的最大速度(大约5米每秒(m/s))。 

存在各种能从摄像机拍摄的场景中估算移动速度的算法。 

算法的第一种类型是所谓的“光流算法”，以下文献特别对其进行了详细描述： 

[1]LUCAS B.D.和KANADE T.，“迭代图像配准技术在立体视觉中的应用”(An Iterative Image Registration Technique with an Application to Stereo Vision)，PROC.DARPA Image Understanding Workshop，第121-130页，1981；和 

[2]HORN B.K.P.和SCHUNK B.，“确定光流”(Determining Optical Flow)，Artificial Intelligence，(17)第185-204页，1981。 

还可以参考以下文献： 

[3]MONDRAGON I.et al.，“基于对无人机控制的平面物体追踪的三维姿态估计”(3D Pose Estimation Based on Planar Object Tracking for UAVs Control)，proc.IEEE conf.On Robotics and Automation，第35-41页，2010，5月3-8，其中描述了用于无人机着陆时的驾驶的，采用不同分辨率估算光流的多分辨率技术。 

光流方法具有对场景约束少的优势(对比少，内容少)。此外，通过采用“多分辨率”方法，能够估算高速度和低速度两者。相反，该方法对旋转和姿态的变化很敏感，它不可能内在地验证给出结果的质量，即，此算法始终假设有足够点提供了大的梯度并藉此给出一结果，但即使该结果是无意义，其仍被给出。 

总而言之，光流法是一种“全地形”法，能够在非常宽范的速度范围内操作，但它给出的结果并不总是可靠的，也不非常准确，特别是在低速时。 

另一种类型的算法包括所谓“角点探测器”或“感兴趣点探测器”算法，此算法的基础在以下文献中示例给出： 

[4]ROSTEN E.和DRUMMOND T.“用于高性能跟踪的融合点和线”(Fusing Points and Lines for High Performance Tracking)，IEEE International Conference on Computer Vision，第1508-1511页，2005年，和 

[5]ROSTEN E.和DRUMMOND T.“用于高速角点探测的机器学习”(Machine Learning for High-Speed Corner Detection)，European Conference on Computer Vision，第430-443页，2006年。 

角点探测器算法准确，鲁棒性强，它考虑了旋转，并能够探测异常的估算结果并排除它们。此外，无论速度如何，其绝对精度不变(与光流法不同)，这使它可得到很好的结果，尤其是在低速时，当希望使用它的结果用于悬停飞行的稳定和伺服控制时，其优点尤其明显。 

作为对比，该方法在对比和纹理方面对场景施加了更大的约束，这意味它并不适用于所有可能遇到的情况。 

最后，在所有环境下，采用计算结果用于伺服控制无人机的特定自动驾驶控制要求数据实际上实时可用，且在任何情况下足够快以保证无人机可以以所有预期的反应度进行自动驾驶。 

该约束限制了执行传统算法的可能性，传统算法通常设计成在具有快速处理器和大内存容量的计算机上执行。 

发明内容

本发明的一个目标是提供综合上述两种技术，即光流法和角点探测法的优点的新方法，该方法尤其在检测速度以用于伺服控制悬停飞行的无人机的情况下使用，但并不限于此。 

本发明的另一个目标是能够从这些优点中受益，即使在对比度很低而噪音高的场景，或者在图像中所识别的形状能够以不可预知的方式发生外观改变的场景，例如当无人机飞过非常易变和不可预知的地形时发生的情况。 

本发明的另一个目标是提出一种测量水平速度的方法，其适于实现，从而 可通过组装在无人机中的，因此计算能力方面的性能有限的机载计算机来给出实时速度测量结果。 

为此，本发明提供估算无人机的水平平移速度的方法，所述无人机尤其是具有适合测量无人机相对无人机飞过地形高度的高度计，和适合拍摄地形场景的连续数字图像的垂直定向俯视摄像头的无人机。 

该方法通过估算摄像机拍摄的连续图像间的场景的移动，并通过将比例因子应用到所估算的移动来操作，其中比例因子是测量高度的函数。 

以一种本身已知的方式，移动的估算包括：定期和连续地更新图像类型金字塔的多分辨率表示，该多分辨率表示以不同的连续降低的分辨率建模场景的给定被拍摄图像；对每个新拍摄图像，应用光流型迭代算法到所述多分辨率表示来估算连续图像间的场景的差异移动。 

以本发明的特征方式，该方法进一步包括：从光流算法生成的数据中获取表示拍摄场景中微对比等级的至少一个纹理参数；得到无人机水平平移速度的近似值；将第一组预定标准应用于所述纹理参数和所述速度近似值；如果满足所述第一组预定标准，从光流算法转到角点探测器型算法以估算连续图像间的场景的差异移动。纹理参数是从图像梯度分量的矩阵中导出的参数： 

$>\left(\begin{array}{c}\underset{E}{\Sigma }{I}_x^2\underset{E}{\Sigma }{I}_x{I}_y\\ \underset{E}{\Sigma }{I}_x{I}_y\underset{E}{\Sigma }{I}_y^2\end{array}\right)$>

其中I_x和I_y是图像的梯度分量，E表示一点集，其中梯度对该点集的范数(norm)大于预定第一有用阈值。 

特别地，纹理参数(多个)是所述矩阵的轨迹(trace)值，以及梯度对其的范数大于第一有用阈值的点集E的基数(cardinal number)。 

特别地，用于决定是否从光流算法转到角点探测器算法的第一组预定标准可累计包括以下条件：轨迹的值大于第二给定阈值；基数的值大于第三给定阈值；和速度估算小于第四给定阈值。 

当所选算法是角探测器算法并且速度近似值小于第五阈值时，还通过为至少一些所选跟踪器修改跟踪器的搜索参数和图像中搜索区在限定方向上尺度来有利地调整角点探测器算法。有利地，还规定在这些情况下触发伺服控制无人机在原位(in position)的自动驾驶模式。 

在本发明的第二方面，该方法还包括，在转到角点探测器算法后，从角点探测器算法生成的数据中得到表示通过角点探测器算法估算连续图像间的场景的差异移动的失败风险的至少一个参数；获取无人机的水平平移速度的近似值；应用第二组预定标准到所述失败风险参数(多个)和速度近似值；以及如果满足所述第二组预定标准，转回到光流算法以估算连续图像间的场景的差异移动。特别地，失败风险参数可包括由角点探测器算法采用的锁定跟踪器的数目。 

特别地，用于决定是否转回到光流算法的第二组预定标准可包括以下任一条件：锁定跟踪器的数目小于第六给定阈值；或速度估算大于第七给定阈值。 

最后，该方法可规定：计数从作为光流算法或角点探测器算法的第一算法转到另一算法开始已被拍摄的连续图像的数目，并且以自转到其他算法开始计数了某最小数目的图像值为条件而转回到第一算法。 

附图说明

下面参考附图来描述本发明的执行。 

图1是示出了无人机和能使其被远程驾驶的相关遥控装置的透视图。 

图2是图像的金字塔图，即由垂直定向摄像机拍摄的场景的多分辨率表示。 

图3是光流型算法的各步骤的一般流程图。 

图4是角点探测器算法的各步骤的一般流程图。 

图5示出了本发明的算法的基本步骤，其用于根据从一个算法到另一个的转换的特定数目的标准来选择估算器(光流或角点探测器)。 

具体实施方式

下面是本发明如何执行的描述。 

图1中，附图标记10是无人机的整体参考图，例如四旋翼直升机，如法国巴黎Parrot SA公司生产的AR.Drone模型。无人机10具有四个共面旋翼12，它们的电机由集成的飞行和高度控制系统独立控制。 

无人机10还包括前视第一相机14，用于获取无人机前进方向场景的图片，以及俯视垂直定向的摄像机16，适于拍摄无人机所飞过地形18的连续数字图片。该相机的视角，在图中用20表示，可具有例如64°的对角线和176×144像素的分辨率(当然，这些值完全是以例示方式给出的)。 

无人机10还设置有超声波高度计22，朝向地面发射电波24用于随时确定无人机相对地面的高度。特别地，该信息用于估算将会应用于相机16所拍摄图片的比例因子，以能够将所拍摄图片中场景的移动转换成关于相对地形18的速度的信息。 

最后，无人机包括惯性传感器(加速计和陀螺仪)，用于以一定准确度测量无人机的角速度和姿态角。 

无人机10可采用遥控装置26驾驶，例如一具有触摸屏28的装置，触摸屏28显示前视相机14所拍摄图片，还显示在图片上叠置的一定数量的符号以使用户仅用手指30触摸屏幕28即可激活驾驶命令。遥控装置26还设置有倾斜传感器，能通过围绕旋转轴和俯仰轴以对应方式来倾斜遥控装置从而控制无人机的姿态角。 

无人机还设置有在没有用户施加的任何外部命令时用于稳定悬停飞行的独立系统。

系统通过发布适当的调整命令，即用于校正由于例如空气流动的外部影响和传感器的漂移引起的最小平移运动的命令，来传送在固定点保持平衡所需的校正。 

为了能够操作，自动稳定器系统需要有速度信息，特别是关于无人机平移的水平线性速度的信息。 

本发明提出使用无人机所配备的垂直观察摄像机22，以用于根据所述相机拍摄场景图像变化，从连续图片间所探测和追踪到的形状的移动来推断所述线性速度的方向和幅度。 

作出以下假定： 

首先，假定场景是“平面”场景，即地形18是水平的。机载测距仪提供从无人机到场景(地形18)的距离的测量，但所用的技术(超声波)不能在图像中确定用于估算距离的准确点。因此假定在场景中高度相对测距仪提供的数据变化很小，并假定场景中所有点位于距图像焦平面相同距离处，忽略场景深度的任何影响。特别地，只要是相机和测距仪朝向地面的，该假定通常是正确的； 

第二，假定场景的照明是不变的，即隐含地假设相机的响应是不变的； 

最后，假定监视下的场景是刚性的，从而减小了从图像序列中估算速度的困难度。 

基于恒定光流的算法

下面描述该类型算法的主要特征，该算法本身是已知的，特别可从上述提到的公开文献[1]和[2]中得知，可参考此文献以获知进一步的细节。 

特别地，假定光流局部不变，即假定由相机拍摄的场景中每个点的移动是相同的(假设场景是精确平面，假设移动与相机的焦平面平行且不相对光轴旋转，并假设场景的照明恒定时，该假定成立)，可以采用特别简单快速的Lucas-Kanade估算法。 

该方法的缺陷是它依赖于图像信号的泰勒(Taylor)近似值，从而降低了对于少量像素能够可靠探测到的最大速度。 

为了减轻该缺陷，可通过建立原始图片的一系列连续缩图以通过多分辨率方法来提高理论可探测到的最大速度。该方法，也就是公知的“图像金字塔”在图2中示出：从完整图像开始(等级0)，在该例子中像素为176×144，以因子2在连续的缩减中再用同一图像：等级1为88×72像素；等级2为44×36像素，等级3为22×18像素。 

所估算光流的准确度与所操作的缩图成反比例，但对应的最大可探测速度随着缩图等级而成比例提高。 

多分辨率法在于：估算最小分辨率(此处为等级3)处的恒定光流，随后再注入该结果作为下一分辨率(等级2)的预测。采用图像的粗略版(例如等级3)的优点是图像中仅允许非常小的移动，因此点追踪非常快。然后有可能采用以这种方式得到的移动信息来预测较低等级图像的移动。以这种方式逐个等级地连续进行直到达到足够的准确度。特别地，在等级3(三连续缩图)开始估算并在等级1(一个缩图)结束就足够了，从而能够非常快地获得准确的结果。放弃等级0(全图)使其可达到节约75％左右的计算量，从而保证计算时间和结果准确度之间的有效妥协。 

在最低等级(此处为等级1)所采用的预测值是最近的估算速度，与该缩图的比例相配。 

由于当分辨率提高时低分辨率误差引起一个更大的误差，因此，适当的做法是：当估算值大于一阈值时，通过验证每个连续估算与前次估算及一个平滑后信号在相同方向上，来验证每个预测的可能性。平滑后信号是通过指数地平滑相机的移动来得到的；若在估算速度失败的情况下它更新不够快，该信号也 衰减以趋于零；若没有这样做，该信号本身将异常。 

图3，以流程图的方式，将上述光流算法执行的各个步骤进行概括。 

在应用该算法估算恒定光流(F_x，F_y)之后，为了推导两个图片间移动的估算，可以执行参考帧的变化(为了采用参考帧而不采用相机的帧)和比例的变化(利用相机焦距Length和到场景的距离Altitude)： 

$>\left(\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right)=\frac{\mathrm{Altitude}}{\mathrm{Length}}{R}_{\mathrm{image}/\mathrm{scence}}·\left(\begin{array}{c}{F}_x\\ F_y\\ 0\end{array}\right)$>

同样适当的做法是补偿用于估算光流的图像间的任何旋转。该旋转信息由惯性单元传送，易引入的误差(旋转，其沿着图像平面和垂直于旋转轴的平面之间的相交线增加一分量)可通过将两个图像间的旋转引起的光心的移动加到所估算的流上来补偿。 

R_rotation是要补偿的旋转； 

proj是将空间内一个点映射到屏幕上的函数； 

(C_x，C_y)是图像的中心；和 

G是补偿的增益。 

该补偿可通过在一个很大基数上计算最佳增益G来最优化。由于零平移时的理想增益等于一，因此所得到的最佳增益，小于一，仅平均起来是最佳的。因此可更有效的保存零速度情况下(当悬停时伺服控制固定点)的单一增益(unity gain)。 

补偿旋转使得面对悬停时所遇到的旋转时的计算变得鲁棒，尤其是保持了线性移动模型，这使其能在计算方面(整个图像的移动相当于是移动指针)以准透明的方式应用预测值。 

基于角点探测的算法

下面描述该类型算法的主要特征，该算法本身是已知的，特别可从上述提到的公开文献[3]和[4]中得知，可参考此文献以获知进一步的细节。 

该算法通过估算图像中各个感兴趣点(“角点”)的移动来操作。为此，它 采用用于追踪感兴趣点的所谓“追踪器”结构，此结构主存在随后图像中找到该点所需的信息。当追踪器达成了自一图像到下一图像地跟踪一个点时，称该点为“锁定”；否则称该点为“丢失”。 

图像的第一次分析用于探测感兴趣点，例如采用称为“从加速段测试提取特征(FAST)”类型的角点探测器。之后，该算法在验证角点的内容有效后在这些角点上布置追踪器，或其搜索追踪器在这些点中的一个上的新位置，此处假定图像中一个感兴趣点通常在随后图像中仍是感兴趣点。由此在新图片中对于追踪器的搜索区域被限定为感兴趣位置的列表。还根据追踪器的先前移动来限定搜索区域，从而优化计算时间和鲁棒性。 

采用固定的对比度阈值和固定的路径范围，并采用在减小至50％的图像版本上执行获取，从而对FAST角点探测器进行最优化以降低存储器存取的数目。响应于探测器的位置存储在表格中并在图像中标记。该表格准许快速存取角点而不在其位置上设任何约束(用于布置新追踪器)，该图像使它们能以随机方式被存取(用于搜索已布置的追踪器)。 

以下步骤在于通过双指数平滑来预测追踪器的将来位置。当追踪器很缓慢时，它的预测的位置视为和它当前位置一样。根据预测的位置和在先图像中实际位置之间的距离来改变追踪器的搜索矩形的尺寸。当搜索范围太大时，搜索范围被减小，当它太接近实际距离时搜索范围被增大(每个新布置追踪器采用的最大范围)。 

当在图像中布置了一个追踪器时，在它位置的周围记录固定尺寸(例如7×7象素)的图像片段或“补片”，在随后的图片中搜索该补片。用于比较不同补片的距离是绝对差的总和： 

$>\mathrm{dis}\tan \mathrm{ce}(\mathrm{tracker},I_t,(x,y))=\underset{(u,v)\in {[-3,+3]}^2}{\Sigma }|\mathrm{tracker}\to \mathrm{patch}(u,v)-I_t(x+u,y+v)|$>

为了搜索追踪器，沿螺旋形路径扫描预测位置周围的位置，计算每个角点到描述符的距离，比较该距离与三个阈值： 

·高阈值，低于此阈值时允许测试当前位置的八个直接近邻，即使它们不是感兴趣点位置； 

·低阈值，低于此阈值时，在半像素搜索之后停止搜索；和 

·中阈值，此阈值允许半像素搜索以通过低阈值。 

由于角点探测器不仅对图像中的真角点有响应，因此有时不合要求的位置被分类为感兴趣点的情况也会发生。 

这些不合要求的位置其周围绝对差的总和几乎不变，且有噪声，而非像真角点那样呈现明确的最小值。因而需要最小数目的对比度，然后在每个设想作为可能描述符的补片上执行测试。二值化的路径用于通过测试确定内容是否是一维的，以及是否丢弃或接受被分析的路径补片。 

图4是概括上述角点探测器算法执行的各个步骤的流程图。 

一旦执行这些操作，在估算用于固定点伺服控制的速度的情况下，以下文描述并称为“黄金模式”的方式修改角点探测以使其适应非常低的速度是有利的。 

当速度很低时，估算更为嘈杂；追踪器准确度仍受限至半个像素，从而速度误差随着增加的高度而增加。因此可能优选在一个固定位置伺服控制相机的位置而非消减任何速度。 

换句话说，为了避免飘移(误差的累计，风，等)，优选以位置而不是以速度来伺服控制无人机，这样伺服控制与速度值(其值本身很小)是无关的。 

为了相对一位置提供伺服控制，并假定追踪器没有任何记忆(不可能找到丢失的追踪器)，必须依赖呈现出长寿命的追踪器。当相机速度很低时，这样就可能将一些追踪器转换成使它们维持更久的特定模式。采用的算法确实更为复杂，但更小的搜索区域补偿了该复杂度。 

为此，由追踪器在一限定范围内执行彻底的搜索，之后是半像素搜索。进一步地，在追踪器的参考补片上执行低通滤波，并在这些补片上和追踪器比较，从而当面对例如混淆现象(光谱重叠)和波纹图形(moire pattering)的干扰采样现象时提高鲁棒性。 

为了转到“黄金”模式，使追踪器移动的平均量低于给定阈值是必要的，然后将已经在某个最小数目的图片上被锁定的追踪器转成“黄金”追踪器，优选倾向于中心的追踪器。 

当至少一个追踪器已转换到“黄金”模式，估算附加的平移移动但不将其转换成速度。随后伺服控制尝试将相机转到“黄金”模式建立时其所观察的位置，而非补偿最近的移动。定期尝试增加“黄金”追踪器，即使增加追踪器涉及到以当前位置更新参考位置。 

通过角点探测器算法估算速度的最后步骤在于估算从一个图片到下一个图片的平移移动。 

由于追踪算法提供场景中多个点在图像中的移动，并假定场景是平面的(由于相机朝向地面因此该假定是合理的)，从这些点中丢失的是深度信息。 

通过最小化迭代重加权的最小平方反向投影误差的和(反向投影误差是最近图像中发现的位置和相机移动后的理论位置之间的距离)而从追踪器的移动中推导出相机的移动。 

作为估算瞬时速度的代替，也可估算最近图像和之前图像的获取时刻之间的移动，此时假设追踪器的移动量大于阈值。这样具有最小化可用于计算的追踪器数目的作用，但它相应的减小了关于追踪器位置的噪声的幅度，平滑了最终估算的速度。 

选择更合适的算法

如介绍中所示出的，这两个算法也就是光流和角点探测中的每个，都有它自己的优势和缺点。 

本发明的原创性在于采用这两种算法二者择一，在任何给定时刻选择它们中哪个更好地适应于各项约束(速度低或高，场景具有更大或更小的对比和纹理等级等)。 

对每个新处理的图片，产生了是否应对下个图片改变算法的问题，这可通过确定哪个算法推理地可被预期为给出更好的结果来实现。 

然而，算法间的转换在计算时间方面并不是没有附加成本，所以在转换的情况下，一旦已获得最先两个连续图片，确定采用新算法是否最优也是很重要的。 

如上所说明的，两个算法都要求一个预先被应用的预处理阶段，和一个随后被应用的更新阶段。因此： 

·基于光流的算法从相机拍摄的每个图像建立图像金字塔，在处理的结尾其更新该图像金字塔的旧版；和 

·角点探测器算法要求在预处理期间在图像缩减版中获得角点，它的更新包括在下一个图像前替换角点上的追踪器。 

因此若还没从在先图像中获取角点，角点探测器算法不能起作用：没有任何角点，就不可能放置任何追踪器，因此在下一个图像中没有追踪器要被追踪。 不可能设想保存旧追踪器，这是由于那样将涉及在太大的一个图像区域中搜索它们，还可能同时遭遇旋转。 

可惜地是，即使在缩减图像中，获取角点也是在计算时间方面很昂贵的操作，因此当非必要时(即若认为到光流算法为更适合)，必然可能避免该操作。 

作为对比，应观察到由于光流法仅交换指针即可操作，因此光流法的预处理很快，其更新在计算时间方面的消耗不多。此外，第一图片简化(从等级0到等级1)对两种算法都有利，因此它始终是很有用的。 

因此，适当的做法是：每次均执行光流算法的预处理和更新，而仅当角点探测器算法是更好的算法，尤其是由于速度很低时，方才执行角点探测器算法的预处理和更新。 

此外，默认采用的算法是光流算法，因为它更适于任何类型的场景。 

最后，给每个算法一定量的“信用”，即从一个算法转到另一个后处理的最小数目的图像，在此期间任何转到第一个算法的反转都是不允许的。典型地，用于控制从光流转到角点探测的信用是10张图像，但用于相反的转换的图像很少(这样相对冗长的角点获取预处理过程不会过分延迟计算速度)。 

参见图5，下面描述用于选择哪个估算器算法更适应的算法。 

如上所述，对每个新图片每次更新和建立图像金字塔(步骤100)。若已耗用某个最小数目的图像(信用耗尽，测试102)，并且若所选算法是光流法(测试104)，则问题是是否从光流法转到角点探测法。为此，适当的做法是确定场景和移动是否适于角点探测。 

光流算法(步骤106)已经知道估算速度的一个版本(用于预测和一致性测试)。该数据是移动趋快或趋慢的良好指示。它对于粗算法误差很可靠，且甚至可再用作为角点探测器算法的预测。 

在一个变型中，或额外地，该速度估算可从惯性单元传送的信息中获取。 

如上所述，仅角点探测器算法为了能够操作而要求特定内容。 

然而，执行场景内容估算，若其唯一目的是用于估算从光流算法转到角点探测器算法的可能优势，将会是困难的，且将在复杂度方面付出额外成本。 

替代地，利用估算光流法的“副产品”。该方法包括，在每个图片上，计算Lucas-Kanade公式： 

$>\left(\begin{array}{c}{F}_x\\ F_y\end{array}\right)={\left(\begin{array}{c}\underset{E}{\Sigma }{I}_x^2\underset{E}{\Sigma }{I}_x{I}_y\\ \underset{E}{\Sigma }{I}_x{I}_y\underset{E}{\Sigma }{I}_y^2\end{array}\right)}^{-1}·\left(\begin{array}{c}\underset{E}{\Sigma }{I}_x{I}_t\\ \underset{E}{\Sigma }{I}_y{I}_t\end{array}\right)$>

Ix和Iy是图像的梯度分量； 

E表示一点集，梯度对于该点集的的范数(模数)大于预定第一有用阈值。 

在该公式中，用于转换的中心矩形矩阵是： 

$>\left(\begin{array}{c}\underset{E}{\Sigma }{I}_x^2\underset{E}{\Sigma }{I}_x{I}_y\\ \underset{E}{\Sigma }{I}_x{I}_y\underset{E}{\Sigma }{I}_y^2\end{array}\right)$>

该矩阵是图像的梯度分量的矩阵，其在任何情况下被计算。 

应观察到，在整个图像上结果不变这种条件前提下，矩阵保有关于整个图像梯度的信息，这就是检查该矩阵的原因。 

利用该矩阵的轨迹值，轨迹值给出了E范围中梯度的平均范数的估算。 

若E包括足够的点(即若它的基数大于给定阈值)，并且若轨迹值足够大，则其构成拍摄的场景为纹理化的良好指示，即它包含足够的微对比，能使算法以满意的方式执行。 

应根据角点探测器中使用的对比度阈值来调整决策阈值。 

在数学上，并不确定陡变的平均梯度能保证存在角点，但统计上，指示器有效地工作，在其上不包含任何附加计算。 

在采用角点探测器的情况下，由于场景的“纹理指示器”自身不能测量出保证足够数目的追踪器的场景质量，很必要结合其他参数。 

下面被选择为代表性参数： 

·用于纹理指示器的点的数目(E的基数)，指示感兴趣区域是否在图像中很好地分布；和 

·速度估算(在数个图像上取平均的平滑信号给出的速度)，使得可能确定速度是“大致快”或“大致慢”。 

因此，若下面三个条件都一致(测试108)： 

·纹理指示器(矩阵的轨迹)的分值高于第一阈值； 

·使用的点的数目(基数E)大于第二阈值；和 

·所估算速度小于第三给定阈值； 

则随后决定转换(步骤110)到角点探测器算法。 

在任何情况下，当前图像的处理随着更新图像金字塔而结束(步骤112)，如上所述。 

现在假设当前选择的算法是角点探测器(步骤114)。 

因此问题是确定转回到光流算法是否是优选的，否则仍保持角点探测器算法，以及若保持角点探测器算法，为一些追踪器激活前述的“黄金”模式是否合适。 

在角点探测器算法不采用Lucas-Kanade公式的情况下，光流法采用的场景纹理指示器不再有用。 

然而，可以依赖角点探测器算法的操作来确定它是否仍适于处理当前图像。 

在处理的结尾被锁定的追踪器的数目并非估算平移移动的质量(因此也是估算速度的质量)的指示：可能采用大量追踪器时得到的是寥寥无几的估算，或仅采用一个追踪器得到完美的估算。类似地，追踪器在其移动到其上的图像区域上得到的相似性分值与定位误差无关。增加追踪器的数目只是有可能，平均而言，保证满意的结果。 

因此被锁定追踪器的数目提供了关于角点探测器算法长远来看发生失败的风险的指示，而通过直接转到光流算法(其几乎从不失败，但以错误略有增长为代价)可避免这个情形。 

因此，若满足下面两个条件的一个或另一个，系统转到光流算法(测试116) 

·经平滑的速度估算值大于一给定阈值；或 

·被锁定追踪器的数目小于任一给定阈值。 

如果满足这些条件的任一个，执行反转转换到光流算法(步骤118)。 

如前所述，图像的处理随着更新图像金字塔而结束(步骤112)，因为不管当前是哪个算法都执行该步骤。 

若在测试116，发现应维持角点探测器算法，那么验证是否激活了“黄金”模式(测试120)： 

·若如此，保持当前情况，如(步骤110)，角点探测器算法被维持； 

·否则，估算追踪器移动的平均量(测试122)，若其在给定阈值以下i)那么将已被锁定了某一最小数目的图像的追踪器转到“黄金”模式；ii)存储参考位置，和iii)算法保持为角点探测器模式(步骤124) 

再一次，图像处理随着更新图像金字塔而结束(步骤112)。