测试用例生成方法及装置、问题场景自动复现方法及装置

技术领域

本发明涉及软件测试领域，具体涉及一种测试用例生成方法及装置、还涉及一种问题场景自动复现方法及装置。

背景技术

图形用户界面(Graphical User Interface，简称GUI)是指采用图形方式显示的计算机操作用户界面，是一种人与计算机通信的界面显示格式，允许用户使用鼠标等输入设备操纵屏幕上的图标或菜单选项，以选择命令、调用文件、启动程序或执行其它一些日常任务。

现有的针对GUI的测试通常需要人工根据界面控件类型及布局去设计测试用例，对被测对象、测试方式、预期结果等内容进行界定，然后由测试终端执行该测试用例完成对GUI测试。即使采用自动化测试，即由机器模拟用户针对GUI的操作进行测试，也需要依赖人工提前设计好的测试用例并指定操作元素进行执行，或者是通过分析程序源码来获取元素并执行测试用例。由于GUI软件包含大量窗口，而每个窗口中又包含有很多元素，这些窗口和其中的元素的不同组合构成了软件不同的功能，GUI软件中窗口和元素的多样性以及组合的复杂性，使得人工编写测试用例往往需要花费大量时间，效率低。

发明内容

本发明实施例一方面提供一种测试用例生成方法及装置，以提高测试用例生成效率。

本发明实施例另一方面提供一种问题场景自动复现方法及装置，可以自动实现对问题场景的复现。

为此，本发明提供如下技术方案：

一种测试用例生成方法，所述方法包括：

获取待测软件的用户界面截图；

利用预先训练的界面元素识别模型对所述用户界面截图进行识别，得到所述用户界面截图中的各控件及所述控件的相关信息；所述控件的相关信息包括所述控件的坐标和所属类型；

根据所述用户界面截图中的各控件及其相关信息生成界面测试用例集。

可选地，所述方法还包括训练界面元素识别模型的步骤包括：

确定界面元素识别模型拓扑结构；

收集大量软件的界面截图作为训练界面截图；

对所述训练界面截图中的控件进行标注，标注信息包括所述控件的坐标及类型；

利用所述界面截图及其标注信息训练得到界面元素识别模型。

可选地，所述标注信息还包括：所述控件对应的操作集合。

可选地，所述界面测试用例集包括对应各控件的独立测试用例子集及对应控件组合的组合测试用例子集；

生成对应各控件的独立测试用例子集包括：

获取所述用户界面截图中各控件所属类型对应的操作集合，并根据每个控件所属类型对应的操作集合及所述控件的坐标生成对应所述控件的独立测试用例；

将所述独立测试用例添加到对应各控件的独立测试用例子集中；

生成对应控件组合的组合测试用例子集包括：

对所述用户界面截图中的所有控件进行全排列组合，得到各组合；

确定各组合中对不同控件的操作顺序；

根据所述操作顺序依序调用对应每个控件的独立测试用例子集，生成所述组合下对应所述操作顺序的组合测试用例；

将所述组合测试用例添加到对应控件组合的组合测试用例子集中。

可选地，所述根据每个控件所属类型对应的操作集合及所述控件的坐标生成对应所述控件的独立测试用例包括：

获取所述控件所属类型对应的操作集合中各操作对应的可执行脚本模板，将所述控件的坐标填充到所述可执行脚本模板中，生成对应所述控件的独立测试用例。

可选地，所述方法还包括：

利用所述界面测试用例集中的各测试用例对用户界面进行测试，得到测试结果；

获取所述测试结果的截图；

建立并保存每个测试用例与测试结果的截图的对应关系。

一种问题场景自动复现方法，所述方法包括：

获取用户提供的问题场景的截图作为问题截图；

利用预先训练的界面元素识别模型对所述问题截图进行识别，得到所述问题截图中的各控件及所述控件的相关信息；所述控件的相关信息包括所述控件的坐标和所属类型；

根据所述问题截图中的各控件及所述控件的相关信息生成问题测试用例集；

利用所述问题测试用例集对所述问题场景进行复现。

可选地，所述利用所述问题测试用例集对所述问题场景进行复现包括：

利用所述问题测试用例集中的各测试用例对所述问题场景进行测试，得到问题场景测试结果的截图；

从所述问题场景测试结果的截图中选出问题复现场景截图；

获取所述问题复现场景截图对应的测试用例。

可选地，所述从所述问题场景测试结果的截图中选出问题复现场景截图包括：

计算各问题场景测试结果的截图与所述问题截图的相似度；

将相似度大于设定阈值的问题场景测试结果的截图作为问题复现场景截图；或者

依相似度由大到小选定设定数量的问题场景测试结果的截图作为问题复现场景截图。

一种测试用例生成装置，所述装置包括：

截图获取模块，用于获取待测软件的用户界面截图；

识别模块，用于利用预先训练的界面元素识别模型对所述用户界面截图进行识别，得到所述用户界面截图中的各控件及所述控件的相关信息；所述控件的相关信息包括所述控件的坐标和所属类型；

界面测试用例生成模块，用于根据所述用户界面截图中的各控件及其相关信息生成界面测试用例集。

可选地，所述装置还包括模型训练模块，用于训练界面元素识别模型；所述模型训练模块包括：

结构确定单元，用于确定界面元素识别模型拓扑结构；

信息收集单元，用于收集大量软件的界面截图作为训练界面截图；

标注单元，用于对所述训练界面截图中的控件进行标注，标注信息包括所述控件的坐标及类型；

训练单元，用于利用所述界面截图及其标注信息训练得到界面元素识别模型。

可选地，所述标注信息还包括：所述控件对应的操作集合。

可选地，所述界面测试用例集包括对应各控件的独立测试用例子集及对应控件组合的组合测试用例子集；

所述界面测试用例生成模块包括：用于生成对应各控件的独立测试用例子集的第一子集生成模块和用于生成对应控件组合的组合测试用例子集的第二子集生成模块；

所述第一子集生成模块包括：

独立测试用例生成单元，用于获取所述用户界面截图中各控件所属类型对应的操作集合，并根据每个控件所属类型对应的操作集合及所述控件的坐标生成对应所述控件的独立测试用例；

独立测试用例添加单元，将所述独立测试用例添加到对应各控件的独立测试用例子集中；

所述第二子集生成模块包括：

组合单元，用于对所述用户界面截图中的所有控件进行全排列组合，得到各组合；

操作顺序确定单元，用于确定各组合中对不同控件的操作顺序；

调用单元，用于根据所述操作顺序依序调用对应每个控件的独立测试用例子集，生成所述组合下对应所述操作顺序的组合测试用例；

组合测试用例添加单元，用于将所述组合测试用例添加到对应控件组合的组合测试用例子集中。

可选地，所述独立测试用例生成单元，具体用于获取所述控件所属类型对应的操作集合中各操作对应的可执行脚本模板，将所述控件的坐标填充到所述可执行脚本模板中，生成对应所述控件的独立测试用例。

可选地，所述装置还包括：测试用例执行模块和对应关系生成模块；

所述测试用例执行模块，用于利用所述界面测试用例集中的各测试用例对用户界面进行测试，得到测试结果；

所述截图获取模块，还用于获取所述测试结果的截图；

所述对应关系生成模块，用于建立并保存每个测试用例与测试结果的截图的对应关系。

一种问题场景自动复现装置，所述装置包括：

问题场景获取模块，用于获取用户提供的问题场景的截图作为问题截图；

识别模块，用于利用预先训练的界面元素识别模型对所述问题截图进行识别，得到所述问题截图中的各控件及所述控件的相关信息；

问题测试用例生成模块，用于根据所述问题截图中的各控件及所述控件的相关信息生成问题测试用例集；

场景复现模块，用于利用所述问题测试用例集对所述问题场景进行复现。

可选地，所述场景复现模块包括：

测试单元，用于利用所述问题测试用例集中的各测试用例对所述问题场景进行测试，得到问题场景测试结果的截图；

场景筛选单元，用于从所述问题场景测试结果的截图中选出问题复现场景截图；

测试用例获取单元，用于获取所述问题复现场景截图对应的测试用例。

可选地，所述场景筛选单元包括：

相似度计算子单元，用于计算各问题场景测试结果的截图与所述问题截图的相似度；

筛选子单元，用于将相似度大于设定阈值的问题场景测试结果的截图作为问题复现场景截图；或者依相似度由大到小选定设定数量的问题场景测试结果的截图作为问题复现场景截图。

一种电子设备，包括：一个或多个处理器、存储器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现前面所述的方法。

一种可读存储介质，其上存储有指令，所述指令被执行以实现前面所述的方法。

本发明实施例提供的测试用例生成方法及装置，基于图像检测与识别技术，利用预先训练的界面元素识别模型自动识别用户界面截图中的控件及所述控件的相关信息，然后利用所述控件及其相关信息生成界面测试用例集，大大提高了测试用例生成效率。

进一步地，所述界面测试用例集包括对应各控件的独立测试用例子集及对应控件各种不同组合的组合测试用例子集，从而可以使生成的界面测试用例集既包含对应合理操作的测试用例，也包含对应异常操作的测试用例，打破人工设计测试用例时的惯性思维。利用这些测试用例可更好地测试软件系统的健壮性。

进一步地，还可以利用这些界面测试用例集中的各测试用例对用户界面进行测试，得到测试结果，并获取所述测试结果的截图，建立并保存每个测试用例与测试结果的截图的对应关系。将所述对应关系提供给测试人员，可以帮助测试人员快速地确定每个测试结果是否正确。

本发明实施例提供的问题场景自动复现方法及装置，针对用户提供的问题场景，利用预先训练的界面元素识别模型自动对问题场景的截图进行识别，根据识别结果生成问题测试用例集，进而可以使测试人员根据所述问题测试用例集中的测试用例进行问题场景复现，实现问题回溯。相比于人工多次无头绪的问题查找，可以快速、有效地发现问题，进而解决问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例中界面元素识别模型的训练流程图；

图2是本发明实施例测试用例生成方法的一种流程图；

图3是本发明实施例问题场景自动复现方法的一种流程图；

图4是本发明实施例中进行问题场景复现的流程图；

图5是本发明实施例测试用例生成装置的一种结构框图；

图6是本发明实施例测试用例生成装置的另一种结构框图；

图7是本发明实施例问题场景自动复现装置的一种结构框图；

图8是本发明实施例中场景复现模块的一种结构框图；

图9是根据一示例性实施例示出的一种用于测试用例生成方法的装置的框图；

图10是本发明实施例中服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对现有技术中图形用户界面生成效率低的问题，本发明实施例提供一种测试用例生成方法及装置，利用预先训练的界面元素识别模型对待测软件的用户界面截图进行识别，得到所述用户界面截图中的各控件及所述控件的相关信息；根据所述用户界面截图中的各控件及其相关信息生成界面测试用例集，利用该界面测试用例集中的各测试用例可以对用户界面进行全面有效地测试，提高软件系统的健壮性。

另外，本发明实施例还提供一种问题场景自动复现方法及装置。

所述界面元素识别模型可以采用神经网络结构，如CNN(Convolutional NeuralNetwork，卷积神经网络)等结构，具体训练过程如图1所示，包括以下步骤：

步骤101，确定界面元素识别模型拓扑结构。

步骤102，收集大量软件的界面截图作为训练界面截图。

步骤103，对所述训练界面截图中的控件进行标注，标注信息包括所述控件的坐标及类型。

比如，对训练界面截图中的搜索框、按钮、文字链接等控件进行标注，标注各控件的坐标及类型。

进一步地，所述标注信息还可包括：所述控件对应的操作集合。

控件是对数据和方法的封装，每个控件的内容及样式可以由软件开发人员自行设定，但是每种类型的控件其对应的操作集合是固定的。比如：Button对应的操作集合是click；Link对应的操作集合是click；Text对应的操作集合是input和delete。因此，在每个控件的类型确定后，即可得到该控件的操作集合。

步骤104，利用所述界面截图及其标注信息训练得到界面元素识别模型。

具体训练方式与现有的神经网络的训练方式类似，在此不再详细描述。

利用上述预先训练的界面元素识别模型对待测软件的用户界面截图进行识别，可以得到所述用户界面截图中的各控件及所述控件的相关信息，进而结合各控件类型对应的操作集合自动生成相应的测试用例。

如图2所示，是本发明实施例测试用例生成方法的流程图，包括以下步骤：

步骤201，获取待测软件的用户界面截图。

所述用户界面截图可以通过现有的截图工具或者拍照工具来得到，并将所述用户界面截图保存为图片格式，比如，BMP格式、TIF格式、GIF格式、JPEG格式等，对此本发明实施例不做限定。

步骤202，利用预先训练的界面元素识别模型对所述用户界面截图进行识别，得到所述用户界面截图中的各控件及所述控件的相关信息。

在利用所述界面元素识别模型对所述用户界面截图进行识别时，可以将所述用户界面截图输入所述界面元素识别模型，根据所述界面元素识别模型的输出得到所述用户界面截图中的各控件及所述控件的相关信息。

在本发明实施例中，利用所述界面元素识别模型识别的控件可以包括图形用户界面中使用的任何控件，比如文本控件、链接控件、滑动条控件、分页控件等。

所述控件的相关信息包括但不限于控件的坐标和所属类型等信息。

步骤203，根据所述用户界面截图中的各控件及其相关信息生成界面测试用例集。

在本发明实施例中，所述界面测试用例集可以包括对应各控件的独立测试用例子集及对应控件组合的组合测试用例子集。

其中，对应各控件的独立测试用例子集可以按照以下方式生成：

获取所述用户界面截图中各控件所属类型对应的操作集合，例如，button对应的操作为click、文本框对应的操作为input、delete等，并根据每个控件所属类型对应的操作集合及所述控件的坐标生成对应所述控件的独立测试用例；然后，将所述独立测试用例添加到对应各控件的独立测试用例子集中。

对应不同类型的控件，可以根据其对应的操作预先设置相应的可执行脚本模板。相应地，在得到所述用户界面截图中各控件及其坐标信息后，获取所述控件所属类型对应的操作集合中各操作对应的可执行脚本模板，将所述控件的坐标填充到所述可执行脚本模板中，即可生成对应所述控件的独立测试用例。

其中，对应控件组合的组合测试用例子集可以包括根据软件设计对应每个组合的正常操作的测试用例。进一步地，为了实现对用户界面的全面测试，提高软件系统的健壮性，可以对所述用户界面截图中的所有控件进行全排列组合，针对每种组合中的操作顺序下的所有操作生成相应的测试用例。具体地，生成对应控件组合的组合测试用例子集的过程如下：

(1)对所述用户界面截图中的所有控件进行全排列组合，得到各组合；

(2)确定各组合中不同控件的操作顺序；

(3)根据所述操作顺序依序调用对应所述控件的独立测试用例子集，生成所述组合下对应所述操作顺序的组合测试用例；

(4)将所述组合测试用例添加到对应控件组合的组合测试用例子集中。

例如，在一种组合中包括控件buttonA和输入框B，在该组合下的操作顺序有：buttonA-->输入框B，分别调用对应buttonA和输入框B对应的独立测试用例子集，得到该组合下对应上述操作顺序的测试用例包括：

click A-->input B；

click A-->delete B；

click A-->input B-->delete B；

click A-->delete B-->input B。

本发明实施例提供的测试用例生成方法，基于图像检测与识别技术，利用预先训练的界面元素识别模型自动识别用户界面截图中的控件及所述控件的相关信息，然后利用所述控件及其相关信息生成界面测试用例集，大大提高了测试用例生成效率。

进一步地，所述界面测试用例集包括对应各控件的独立测试用例子集及对应控件各种不同组合的组合测试用例子集，而且从上面的示例可以看出，不仅对用户界面截图中的所有控件进行全排列组合，而且对于每种组合，依照各控件的操作顺序，调用对应每个控件的独立测试用例子集，生成对应所述操作顺序的组合测试用例。也就是说，每个组合下的测试用例涵盖了所述操作顺序下的所有操作情况，从而使生成的界面测试用例集既包含对应合理操作的测试用例，也包含对应异常操作的测试用例，打破人工设计测试用例时的惯性思维，使针对用户界面的测试用例更丰富、全面，从而利用这些测试用例可更好地测试软件系统的健壮性。

进一步地，在本发明测试用例生成方法另一实施例中，还可以利用这些界面测试用例集中的各测试用例(包括对应各控件的独立测试用例子集中的各测试用例及对应控件组合的组合测试用例子集中的各测试用例)对用户界面进行测试，得到测试结果，并获取所述测试结果的截图，建立并保存每个测试用例与测试结果的截图的对应关系，将所述对应关系提供给测试人员，可以帮助测试人员快速地确定每个测试结果是否正确。

相应地，本发明实施例还提供一种问题场景自动复现方法，可以针对用户提供的问题场景，实现对问题场景复现。

如图3所示，是本发明实施例问题场景自动复现方法的一种流程图，包括以下步骤：

步骤301，获取用户提供的问题场景的截图作为问题截图。

所述问题场景是指软件运行时用户图形界面出现的异常情况，即不是设计时所希望得到的界面。

步骤302，利用预先训练的界面元素识别模型对所述问题截图进行识别，得到所述问题截图中的各控件及所述控件的相关信息。

步骤303，根据所述问题截图中的各控件及所述控件的相关信息生成问题测试用例集。

上述对问题截图进行识别及根据识别结果生成问题测试用例集的方式与前面图2所示的生成针对用户界面的界面测试用例集的过程类似，在此不再详细描述。

步骤304，利用所述问题测试用例集对所述问题场景进行复现。

在利用所述问题测试用例集对所述问题场景进行复现时，需要利用所述问题测试用例集中的各测试用例对所述问题场景进行测试，从测试结果中找出可能的问题复现场景，获取与所述问题复现场景对应的测试用例，从而利用这些测试用例即可对所述问题场景进行复现。

如图4所示，是本发明实施例中进行问题场景复现的流程图，包括以下步骤：

步骤401，利用根据问题场景生成的问题测试用例集中的各测试用例对问题场景进行测试，得到问题场景测试结果的截图。

对应问题测试用例集中的每个测试用例，可以得到一个问题场景测试结果。

步骤402，从所述问题场景测试结果的截图中选出问题复现场景截图。

具体地，可以计算各问题场景测试结果的截图与所述问题截图的相似度；将相似度大于设定阈值的问题场景测试结果的截图作为问题复现场景截图；或者依相似度由大到小选定设定数量的问题场景测试结果的截图作为问题复现场景截图。

在实际应用中，可以按照上述方式选出一个或多个问题复现场景截图，对此本发明实施例不做限定。

步骤403，获取所述问题复现场景截图对应的测试用例。

由于每个问题场景测试结果对应一个测试用例，因此，根据该对应关系，可以直接得到所述问题复现场景截图对应的测试用例，利用该测试用例，即可自动实现对问题场景的复现。进一步地，可以保存问题复现场景截图与对应的测试用例的对应关系，将该对应关系提供给测试人员，使测试人员可以尽快发现问题，进而解决问题。需要说明的是，是实际应用中，在上述步骤402可以选择一个或多个符合上述条件的问题复现场景截图。如果选择多个问题复现场景截图，则需要针对每个问题复现场景截图获取其对应的测试用例。

本发明实施例提供的问题场景自动复现方法，针对用户提供的问题场景，利用预先训练的界面元素识别模型对问题场景的截图进行识别，自动识别出问题场景截图中的控件及所述控件的相关信息，生成针对该问题场景的问题测试用例集，并利用所述问题测试用例集自动对该问题场景进行复现，相比于人工多次无头绪的问题查找，可以快速、有效地发现问题，进而解决问题。

相应地，本发明实施例还提供一种测试用例生成装置，如图5所示，是该装置的一种结构框图。

在该实施例中，所述测试用例生成装置包括以下各模块：

截图获取模块51，用于获取待测软件的用户界面截图；

识别模块52，用于利用预先训练的界面元素识别模型对所述用户界面截图进行识别，得到所述用户界面截图中的各控件及所述控件的相关信息；所述相关信息包括但不限于所述控件的坐标和类型等信息；

界面测试用例生成模块53，用于根据所述用户界面截图中的各控件及其相关信息生成界面测试用例集。

其中，所述截图获取模块51可以通过现有的截图工具或者拍照工具来获取待测软件的用户界面截图，并将所述用户界面截图保存为图片格式。

所述界面元素识别模型可以采用神经网络结构，由相应的模型训练模块来构建，该模型训练模块可以作为本发明测试用例生成装置的一部分，也可以独立于该测试用例生成装置，对此本发明实施例不做限定。

所述模型训练模块的一种具体结构可以包括以下各单元：

结构确定单元，用于确定界面元素识别模型拓扑结构；

信息收集单元，用于收集大量软件的界面截图作为训练界面截图；

标注单元，用于对所述训练界面截图中的控件进行标注，标注信息包括所述控件的坐标及类型；

训练单元，用于利用所述界面截图及其标注信息训练得到界面元素识别模型。具体训练方式与现有的神经网络的训练方式类似，在此不再详细描述。

需要说明的是，在所述界面元素识别模型中，所述标注单元还可根据所述控件的类型获取所述控件对应的操作集合，也就是说，所述控件对应的操作集合也可作为一个标签参与所述界面元素识别模型的训练，对此本发明实施例不做限定。

在本发明实例中，所述界面测试用例集可以包括对应各控件的独立测试用例子集及对应控件组合的组合测试用例子集。其中，对应控件组合的组合测试用例子集可以包括所述用户界面截图中的所有控件的全排列组合中每种组合下的各种可能操作，也就是说，既包含该组合下对应合理操作的测试用例，也包含该组合下对应异常操作的测试用例。

相应地，如图5所示，所述界面测试用例生成模块53具体可以包括：用于生成对应各控件的独立测试用例子集的第一子集生成模块531和用于生成对应控件组合的组合测试用例子集的第二子集生成模块532。其中：

所述第一子集生成模块531可以包括以下各单元：

独立测试用例生成单元，用于获取所述用户界面截图中各控件所属类型对应的操作集合，并根据每个控件所属类型对应的操作集合及所述控件的坐标生成对应所述控件的独立测试用例；具体地，获取所述控件所属类型对应的操作集合中各操作对应的可执行脚本模板，将所述控件的坐标填充到所述可执行脚本模板中，生成对应所述控件的独立测试用例；

独立测试用例添加单元，将所述独立测试用例添加到对应各控件的独立测试用例子集中；

所述第二子集生成模块532可以包括以下各单元：

组合单元，用于对所述用户界面截图中的所有控件进行全排列组合，得到各组合；

操作顺序确定单元，用于确定各组合中对不同控件的操作顺序；

调用单元，用于根据所述操作顺序依序调用对应每个控件的独立测试用例子集，生成所述组合下对应所述操作顺序的组合测试用例；

组合测试用例添加单元，用于将所述组合测试用例添加到对应控件组合的组合测试用例子集中。

需要说明的是，对于上述测试用例生成装置各实施例而言，由于各模块、单元的功能实现与相应的方法中类似，因此对所述测试用例生成装置各实施例描述得比较简单，相关之处可参见方法实施例的相应部分说明。

本发明实施例提供的测试用例生成装置，基于图像检测与识别技术，利用预先训练的界面元素识别模型自动识别用户界面截图中的控件及所述控件的相关信息，然后利用所述控件及其相关信息生成界面测试用例集，大大提高了测试用例生成效率。

进一步地，所述界面测试用例集包括对应各控件的独立测试用例子集及对应控件各种不同组合的组合测试用例子集，而且从上面的示例可以看出，不仅对用户界面截图中的所有控件进行全排列组合，而且对于每种组合，依照各控件的操作顺序，调用对应所述控件的独立测试用例子集，生成对应所述操作顺序的组合测试用例，也就是说，每个组合下的测试用例涵盖了所述操作顺序下的所有操作情况，从而使生成的界面测试用例集既包含对应合理操作的测试用例，也包含对应异常操作的测试用例，打破人工设计测试用例时的惯性思维，使针对用户界面的测试用例更丰富、全面，从而利用这些测试用例可更好地测试软件系统的健壮性。

如图6所示，是本发明实施例测试用例生成装置的另一种结构框图。

与图5所示实施例的区别在于，在该实施例中，所述测试用例生成装置还包括：测试用例执行模块54和对应关系生成模块55。

在该实施例中，所述测试用例执行模块54用于利用所述测试用例生成模块53生成的界面测试用例集中的各测试用例对用户界面进行测试，得到测试结果；所述截图获取模块51获取所述测试结果的截图；所述对应关系生成模块54用于建立并保存每个测试用例与测试结果的截图的对应关系。

该实施例提供的测试用例生成装置，不仅可以根据利用预先训练的界面元素识别模型自动识别用户界面截图中的控件及所述控件的相关信息，然后利用所述控件及其相关信息生成界面测试用例集，而且还可以利用这些界面测试用例集中的各测试用例对用户界面进行测试，得到测试结果，并获取所述测试结果的截图，建立并保存每个测试用例与测试结果的截图的对应关系。将所述对应关系提供给测试人员，可以帮助测试人员快速地确定每个测试结果是否正确。

相应地，本发明实施例还提供一种问题场景自动复现装置，可以针对用户提供的问题场景，实现对问题场景复现。

如图7所示，是该问题场景自动复现装置的一种结构框图。

在该实施例中，所述问题场景自动复现装置包括以下各模块：

问题场景获取模块71，用于获取用户提供的问题场景的截图作为问题截图；

识别模块72，用于利用预先训练的界面元素识别模型对所述问题截图进行识别，得到所述问题截图中的各控件及所述控件的相关信息；

问题测试用例生成模块73，还用于根据所述问题截图中的各控件及所述控件的相关信息生成问题测试用例集；

场景复现模块74，用于利用所述问题测试用例集对所述问题场景进行复现。

需要说明的是，所述界面测试用例集可以是由上述测试用例生成装置生成的，也就是说，基于图像检测及识别技术生成的，也可以是基于其它装置或采用其它方式生成的，对此本发明实施例不做限定。

相应地，上述识别模块72和问题测试用例生成模块73分别与前面图5所示测试用例生成装置实施例中的识别模块52和界面测试用例生成模块53原理相同，如果采用包含上述测试用例生成装置及上述问题场景自动复现装置的一体化系统，则这两个装置中的上述相应模块可以各自独立，也可以集成于一体，对此本发明实施例不做限定。

需要说明的是，在实际应用中，所述问题场景可能会有多个，在本发明实施例中，需要针对每个问题场景，生成与该问题场景对应的问题测试用例集。也就是说，每个问题场景对应有一个问题测试用例集，场景复现模块74利用所述问题场景对应的问题测试用例集对该问题场景进行复现。

所述场景复现模块74在利用所述问题测试用例集对所述问题场景进行复现时，需要利用所述问题测试用例集中的各测试用例对所述问题场景进行测试，从测试结果中找出可能的问题复现场景，获取与所述问题复现场景对应的测试用例，从而利用这些测试用例即可对所述问题场景进行复现。

相应地，所述场景复现模块74的一种具体结构如图8所示，可以包括以下各单元：

测试单元741，用于利用问题测试用例集中的各测试用例对相应的问题场景进行测试，得到问题场景测试结果的截图；

场景筛选单元742，用于从所述问题场景测试结果的截图中选出问题复现场景截图；

测试用例获取单元743，用于获取所述问题复现场景截图对应的测试用例。

所述场景筛选单元742可以通过对所述问题场景测试结果的截图与所述问题场景的载图的比较，选出问题复现场景截图。相应地，所述场景筛选单元742的一种具体结构可以包括以下各子单元：

相似度计算子单元，用于计算各问题场景测试结果的截图与所述问题截图的相似度；

筛选子单元，用于将相似度大于设定阈值的问题场景测试结果的截图作为问题复现场景截图；或者依相似度由大到小选定设定数量的问题场景测试结果的截图作为问题复现场景截图。

需要说明的是，由于问题场景可能有多个，所述场景复现模块68需要针对每个问题场景，利用对应该问题场景的问题测试用例集中的测试用例对所述问题场景进行复现。

对于上述问题场景自动复现装置各实施例而言，由于各模块、单元的功能实现与相应的方法中类似，因此对所述问题场景自动复现装置各实施例描述得比较简单，相关之处可参见方法实施例的相应部分说明。

本发明实施例提供的问题场景自动复现装置，针对用户提供的问题场景，利用预先训练的界面元素识别模型对问题场景的截图进行识别，自动识别出问题场景截图中的控件及所述控件的相关信息，生成针对该问题场景的问题测试用例集，并利用所述问题测试用例集自动对该问题场景进行复现，相比于人工多次无头绪的问题查找，可以快速、有效地发现问题，进而解决问题。

图9是根据一示例性实施例示出的一种用于测试用例生成方法的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类别的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述按键误触纠错方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述本发明方法实施例中的全部或部分步骤。

图10是本发明实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

显然，上面所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。