用于场景三维重建的方法及装置、三维重建系统

技术领域

本申请涉及计算机技术领域，例如涉及一种用于场景三维重建的方法及装置、三维重建系统。

背景技术

目前，基于图像的三维重建具有速度快、实时性好等优点。该类方法成本低廉，数据源获取简单，硬件依赖性小。随着所获取图像的分辨率、成像质量等因素的提高，基于图像的三维重建算法在重建质量、鲁棒性等方面进展迅速，具有重要的理论研究价值以及广阔的市场应用前景。

相关技术中的基于图像的场景三维重建的方法包括：对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM(Structure from Motion，运动恢复结构)技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

该方法能够实现场景的三维重建。但是，对于续航能力不足的迷你无人机，在一次图像采集的过程中仅能采集有限数量的图像数据。使用该方法时，难以兼顾图像检索效率和图像匹配的准确度和完整度，进而可能导致失去关键连接而使得场景三维重建的效果差。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于场景三维重建的方法及装置、三维重建系统，以通过迷你无人机采集图像时，提高场景三维重建的效果。

在一些实施例中，所述方法包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。

可选地，通过图像初步处理，构建词袋树，包括：控制无人机进行图像采集；根据采集的图像，提取特征点；通过对特征点进行聚类，构建词袋树。

可选地，控制无人机进行图像采集，包括：将场景进行区域划分；控制无人机每次采集一个区域的图像，直至采集所有区域的图像；控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。

可选地，控制无人机每次采集一个区域的图像，包括：控制无人机上升至第一设定高度；将无人机的镜头与地面的夹角调整为第一设定角度；控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集；控制无人机上升至第二设定高度；将无人机的镜头与地面的夹角调整为第二设定角度；控制无人机环绕当前区域的四周进行拍摄。

可选地，根据词袋树，进行组内图像处理，获得组内匹配信息，包括：根据特征点和词袋树，获得组内图像特征向量；根据组内图像特征向量，确定组内图像相似度；根据词袋树和组内图像相似度，获得组内候选匹配对；通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。

可选地，根据词袋树，进行组内图像处理，获得图像组特征向量，包括：根据组内匹配信息，构建特征点轨迹；根据特征点轨迹，获得图像组特征向量。

可选地，根据图像组特征向量，进行组间图像处理，获得组间匹配信息，包括：根据图像组特征向量，确定图像组相似度；根据图像组相似度，获得组间候选匹配对；通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。

可选地，根据组内匹配信息和组间匹配信息，进行模型重建，包括：根据组内匹配信息和组间匹配信息，进行初始场景重建；根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展；对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。

在一些实施例中，所述装置包括处理器和存储有程序指令的存储器，处理器被配置为在运行程序指令时，执行上述用于场景三维重建的方法。

在一些实施例中，所述三维重建系统包括上述用于场景三维重建的装置。

本公开实施例提供的用于场景三维重建的方法及装置、三维重建系统，可以实现以下技术效果：

通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息以增加关键连接。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一个用于场景三维重建的方法的示意图；

图2是本公开实施例提供的另一个用于场景三维重建的方法的示意图；

图3是本公开实施例提供的另一个用于场景三维重建的方法的示意图；

图4是本公开实施例提供的另一个用于场景三维重建的方法的示意图；

图5是本公开实施例提供的另一个用于场景三维重建的方法的示意图；

图6是本公开实施例提供的一个候选匹配对获取的对比结果图；

图7是本公开实施例提供的一个场景三维重建的结果图；

图8是本公开实施例提供的一个用于场景三维重建的装置的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个或两个以上。

本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。

基于图像的三维重建是计算机领域的一个重要研究内容。随着计算精度、效率与自动化程度的不断提高，该项技术在文物保护、无人驾驶、虚拟现实、视觉导航、医学影像等领域得到了广泛的应用。与基于深度传感器或激光扫描仪的三维重建方法相比，基于图像的三维重建具有速度快、实时性好等优点。该类方法成本低廉，数据源获取简单，硬件依赖性小。随着所获取图像的分辨率、成像质量等因素的提高，基于图像的三维重建算法在重建质量、鲁棒性等方面进展迅速，具有重要的理论研究价值以及广阔的市场应用前景。

在基于图像的三维重建领域，利用无人机航拍图像的场景三维重建是其中的一个重要组成部分。近年来，无人机技术不断发展，已经形成了品种齐全、功能多样的完备系列，其性能指标也不断提升。迷你飞行器采用成本较低的多旋翼平台，体积小而轻便，便于携带和操作。然而，由于其续航能力明显不足，在一次图像采集的过程中仅能采集有限数量的图像数据，无法一次性完成大规模场景的完整覆盖。

结合图1所示，本公开实施例提供一种用于场景三维重建的方法，包括：

S210，三维重建系统通过图像初步处理，构建词袋树。

S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。

S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。

S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。

采用本公开实施例提供的用于场景三维重建的方法，通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息以增加关键连接。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。

结合图2所示，本公开实施例提供另一种用于场景三维重建的方法，包括：

S211，三维重建系统控制无人机进行图像采集。

S212，三维重建系统根据采集的图像，提取特征点。

S213，三维重建系统通过对特征点进行聚类，构建词袋树。

S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。

S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。

S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。

采用本公开实施例提供的用于场景三维重建的方法，通过控制无人机实现场景图像的采集。根据采集的图像提取特征点，从而以聚类的方式构建词袋树，为场景三维重建做准备。

可选地，步骤S211中的三维重建系统控制无人机进行图像采集，包括：三维重建系统将场景进行区域划分。三维重建系统控制无人机每次采集一个区域的图像，直至采集所有区域的图像。三维重建系统控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。这样，由于迷你无人机具有续航短的缺陷，单次飞行时间仅20-30分钟。故在图像采集前先对大规模场景进行区域划分，以保证迷你无人机在每次飞行时可完成该区域的图像采集，并将每次飞行所采集的图像划为一个图像组。

可选地，三维重建系统控制无人机每次采集一个区域的图像，包括：三维重建系统控制无人机上升至第一设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第一设定角度。三维重建系统控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集。三维重建系统控制无人机上升至第二设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第二设定角度。三维重建系统控制无人机环绕当前区域的四周进行拍摄。这样，采用两个不同的阶段对当前区域的图像进行采集，能够提高当前区域图像采集的完整性，从而为大规模三维场景的重建做准备。

可选地，三维重建系统控制无人机每次采集一个区域连接处的图像，包括：三维重建系统控制无人机上升至第一设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第一设定角度。三维重建系统控制无人机采用往返飞行和轨迹交叉的方式对当前区域连接处进行图像采集。三维重建系统控制无人机上升至第二设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第二设定角度。三维重建系统控制无人机环绕当前区域连接处的四周进行拍摄。这样，能够使各区域间的图像有足够的重叠度，保证大规模场景所有组别的图像经处理和整合后，最终得到单个整体的三维模型。

可选地，第一设定高度小于第二设定高度。第一设定高度的取值范围为[75，85]m，优选地，第一设定高度取值为77m、80m或83m。第二设定高度的取值范围为[95，105]m，优选地，第二设定高度取值为97m、100m或103m。第一设定角度大于第二设定角度。第一设定角度的取值范围为[70，80]°，优选地，第一设定角度取值为72°、75°或78°。第二设定角度的取值范围为[40，50]°，优选地，第二设定角度取值为42°、45°或48°。这样，第一设定高度的取值能够使图像采集的清晰度高。第二设定高度能够使图像采集的范围广。第一设定角度能够采集当前区域的中心的图像。第二设定角度能够采集当前区域的外围的图像。

对于步骤S212中的三维重建系统根据采集的图像，提取特征点，是三维重建系统对采集的各组图像分别通过SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法提取特征点。

对于步骤S213中的三维重建系统通过对特征点进行聚类，构建词袋树，是三维重建系统利用k-means++算法对提取的所有特征点在其描述子空间进行聚类，并得到聚类中心。为提高词袋模型的查找效率，采用树型结构对其进行构建。具体的，是将所有特征点聚成k类，然后再将属于同一类的特征点继续聚成k类，迭代d次。这样，即可构建每层k个分支、深度为d的词袋树。

结合图3所示，本公开实施例提供另一种用于场景三维重建的方法，包括：

S210，三维重建系统通过图像初步处理，构建词袋树。

S221，三维重建系统根据特征点和词袋树，获得组内图像特征向量。

S222，三维重建系统根据组内图像特征向量，确定组内图像相似度。

S223，三维重建系统根据词袋树和组内图像相似度，获得组内候选匹配对。

S224，三维重建系统通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。

S225，三维重建系统根据组内匹配信息，构建特征点轨迹。

S226，三维重建系统根据特征点轨迹，获得图像组特征向量。

S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。

S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。

采用本公开实施例提供的用于场景三维重建的方法，根据特征点和词袋树，获得组内图像特征向量，从而获得场景三维重建所需的组内匹配信息。根据特征点匹配关系，获得图像组特征向量，从而为获得组间匹配信息做准备。

对于步骤S221中的三维重建系统根据特征点和词袋树，获得组内图像特征向量，是三维重建系统基于TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文档频率)原则，根据特征点和词袋树，获得用于描述图像之间相似度的组内图像特征向量。

对于步骤S222中的三维重建系统根据组内图像特征向量，确定组内图像相似度，是三维重建系统通过计算组内图像特征向量之间的欧氏距离即可确定图像之间的组内图像相似度。

对于步骤S223中的三维重建系统根据词袋树和组内图像相似度，获得组内候选匹配对，是三维重建系统首先对于一个图像组内的某幅图像，利用词袋树获得该图像组内与其相似度最高的n

对于步骤S224中的三维重建系统通过对组内候选匹配对进行特征点匹配，获得组内匹配信息，是三维重建系统利用FLANN(Fast Library for Approximate NearestNeighbors，相似最近邻快速库)对各组内候选匹配对进行特征点匹配，获得每一幅图像的组内匹配信息。

对于步骤S225中的三维重建系统根据组内匹配信息，构建特征点轨迹，是三维重建系统根据组内匹配信息，获得每一幅图像的特征点匹配关系，将特征点匹配关系采用并查集的方法构建特征点轨迹。其中，每个特征点轨迹均对应其所在图像组内多幅图像公共可见的一个场景点以及该点在其可见图像中的可见性信息(可见图像序号、特征图像坐标等)。特征点轨迹的长度等于其可见图像数量，因此长度越长的特征点轨迹越能够代表该组图像所覆盖的场景信息。

对于步骤S226中的三维重建系统根据特征点轨迹，获得图像组特征向量，是三维重建系统首先确定各图像组内的长度不小于3的特征点轨迹。然后，对于某图像组，计算其各满足长度条件的特征点轨迹的描述子平均值。其中，每一个特征点轨迹对应一个描述子平均值。最后，基于TF-IDF原则，根据描述子平均值，获得图像组的图像组特征向量。

结合图4所示，本公开实施例提供另一种用于场景三维重建的方法，包括：

S210，三维重建系统通过图像初步处理，构建词袋树。

S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。

S231，三维重建系统根据图像组特征向量，确定图像组相似度。

S232，三维重建系统根据图像组相似度，获得组间候选匹配对。

S233，三维重建系统通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。

S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。

采用本公开实施例提供的用于场景三维重建的方法，根据图像组特征向量，确定相似度，进而获得组间候选匹配对。由于组间候选匹配对以相似度为依据，组间候选匹配的精确性高，从而提高了组间匹配信息的精确性。由于场景三维重建依赖于组间匹配信息，从而提高场景三维重建的效果。

对于步骤S231中的三维重建系统根据图像组特征向量，确定图像组相似度，与步骤S222中的相同，此处不再赘述。

对于步骤S232中的三维重建系统根据图像组相似度，获得组间候选匹配对，是三维重建系统首先以各图像组为顶点，图像组相似度为边上的权重，建立图像组的初步加权图结构。然后根据初步加权图结构，采用克鲁斯卡尔算法获得其最大生成树。按照初步加权图结构的剩余边的权重由大到小、每次一条，依次加入最大生成树中。每次加边后，利用基于社区的图强化算法计算当前图结构的模块度及模块度与边数的乘积，以此来判断当前图结构是否紧密连接且边数较少。其中，当模块度与边数的乘积达到最大时，便建立了满足连接较为紧密且边数最少的图结构。该图结构的各条边连接的图像组对即为候选图像组匹配对。最后根据候选图像组匹配对，获得组间候选匹配对。

具体的，对于获得的某一候选图像组匹配对，将其对应的两个图像组分别记为A组和B组。三维重建系统利用词袋树，计算A组和B组所有图像的特征向量，得到A组所有图像与B组所有图像之间的相似度。对于A组中的每一幅图像，将其与B组的每幅图像的相似度从大到小进行排序，选取相似度最高的前n

结合图5所示，本公开实施例提供另一种用于场景三维重建的方法，包括：

S210，三维重建系统通过图像初步处理，构建词袋树。

S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。

S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。

S241，三维重建系统根据组内匹配信息和组间匹配信息，进行初始场景重建。

S242，三维重建系统根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展。

S243，三维重建系统对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。

采用本公开实施例提供的用于场景三维重建的方法，由于场景三维重建的过程中，包含有图像组特征向量，场景的还原度提高。由于在初始场景重建的基础上，根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展，提高了场景三维重建的还原度。由于对相机的内外参数和场景点的三维坐标进行优化，提高了场景三维重建的效果。

对于步骤S240中的三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建，是三维重建系统根据已获得的组内匹配信息和组间匹配信息，采用传统的增量式SfM方法实现大规模场景的三维重建。

对于步骤S241中的三维重建系统根据组内匹配信息和组间匹配信息，进行初始场景重建，具体的，三维重建系统首先从用于重建的图像集合中选取若干幅图像(例如2幅)作为种子图像。然后通过估计并分解本质矩阵的方式恢复种子图像之间的相对旋转与相对平移。最后通过三角测量对获得种子图像覆盖场景区域进行初始重建。

对于步骤S242中的三维重建系统根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展，是三维重建系统采用基于PnP(Perspective n Point，透视n点)算法的相机位姿估计与三角测量实现。

对于步骤S243中的三维重建系统对相机的内外参数和场景点的三维坐标进行优化，是在所有相机添加完成后，三维重建系统采用BA(Bundle Adjustment，捆绑调整)进行全局优化。

结合图6所示，由于大规模场景三维重建依赖于候选匹配对，为验证候选匹配对的效果，采用F值(F-Measure)指标进行评测。具体的，通过某种方式获得某组图像数据的图像匹配对真值集合

基于上述评测指标以及真值获得方法，对候选匹配对的获得方法与传统方法进行对比。此处的传统方法指的是对于每幅图像，通过已构建的词袋树检索其在采集的整个图像集合中相似度最高的n

结合图7所示，采用本公开实施例提供的用于场景三维重建的方法，能够通过迷你无人机采集图像时，将大规模场景进行三维重建。由于采用稀疏重建的方法，图中的清晰度低。在采用后续处理之后，能够提高大规模场景的清晰度。由于后续处理属于现有技术，不再进行赘述及效果的说明。

结合图8所示，本公开实施例提供一种用于场景三维重建的装置，包括处理器(processor)41和存储器(memory)42。可选地，该装置还可以包括通信接口(CommunicationInterface)43和总线44。其中，处理器41、通信接口43、存储器42可以通过总线44完成相互间的通信。通信接口43可以用于信息传输。处理器41可以调用存储器42中的逻辑指令，以执行上述实施例的用于场景三维重建的方法。

此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器42作为一种存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于场景三维重建的方法。

存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种三维重建系统，包含上述的用于场景三维重建的装置。

本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于场景三维重建的方法。

上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。