一种基于AR的翻译方法以及AR设备

技术领域

本发明属于增强现实(Augmented Reality)技术领域，具体涉及一种辅助翻译的措施。

背景技术

目前有多种翻译软件，这些翻译软件主要以翻译整个文档或者整页文档为主。然而有时用户只是不知道整页文档中部分词语的意思，这种情况下并不需要翻译整页文档。为此，提出了局部翻译的需求。如何实现局部翻译是目前亟需解决的技术问题。

发明内容

本发明提供了一种基于AR的翻译方法以及AR设备，能够实现整页文档的局部翻译，更加满足用户的翻译需求，提升用户体验。

第一方面，本发明实施例提供了一种基于AR的翻译方法，该方法可以通过AR设备执行，也可以通过设置在设备中的AR芯片执行。该方法包括： AR设备确定用户输入的目标手势操作，根据所述目标手势操作，确定第一待翻译区域，以及将第一待翻译区域所包括的文字进行翻译，并输出翻译结果；其中，第一待翻译区域为第一区域的部分区域或全部区域，所述第一区域为第一文档的全部区域。

可选的，在AR设备确定用户输入的目标手势操作之前，所述方法还包括：

周期性地采集多张第一图像，所述多张第一图像中的部分图像或全部图像包括用户进行的目标手势操作；

将所述多种第一图像分别与预先设置的多个手势操作进行匹配，并从所述多张第一图像中帅选出至少一张目标图像，所述目标图像包括的目标手势操作与预先设置的手势操作的匹配度大于或等于第一预设阈值。

可选的，AR设备根据所述目标手势操作，确定第一待翻译区域，包括：

提取所述目标图像中的所述目标手势操作所在的第一区域；

确定所述AR设备的工作模式是否为关联模式；

若所述AR设备的工作模式为关联模式，确定所述第一待翻译区域大于所述第一区域；否则，确定所述第一待翻译区域为所述第一区域。

可选的，在AR设备根据所述目标手势操作，确定第一待翻译区域之后，所述方法还包括：

输出并显示所述第一待翻译区域；

接收用户针对所述第一待翻译区域的缩放操作；

根据所述缩放操作，确定第二待翻译区域，其中，所述第二待翻译区域是所述第一待翻译区域经过所述缩放操作得到的。

可选的，在确定所述AR设备的工作模式是否为关联模式之前，所述方法还包括：接收用户输入的选择指令，所述选择指令用于选择进入所述关联模式。

第二方面，提供一种AR设备，所述AR设备包括摄像头，所述AR设备还包括：

第一确定模块，用于确定用户输入的目标手势操作；

第二确定模块，用于根据所述目标手势操作，确定第一待翻译区域，其中，第一待翻译区域为第一区域的部分区域或全部区域，所述第一区域为第一文档的全部区域；

翻译模块，用于将第一待翻译区域所包括的文字进行翻译，并输出翻译结果。

可选的，所述摄像头用于周期性地采集多张第一图像，其中，所述多张第一图像中的部分图像或全部图像包括用户进行的目标手势操作；

所述第一确定模块具体用于将所述多种第一图像分别与预先设置的多个手势操作进行匹配，并从所述多张第一图像中帅选出至少一张目标图像，其中，所述目标图像包括的目标手势操作与预先设置的手势操作的匹配度大于或等于第一预设阈值。

可选的，所述第二确定模块具体用于：

提取所述目标图像中的所述目标手势操作所在的第一区域；

确定所述AR设备的工作模式是否为关联模式；

若所述AR设备的工作模式为关联模式，确定所述第一待翻译区域大于所述第一区域；否则，确定所述第一待翻译区域为所述第一区域。

可选的，所述第二确定模块还用于：

输出并显示所述第一待翻译区域；

接收用户针对所述第一待翻译区域的缩放操作；

根据所述缩放操作，确定第二待翻译区域，其中，所述第二待翻译区域是所述第一待翻译区域经过所述缩放操作得到的。

可选的，所述第一确定模块还用于：接收用户输入的选择指令，所述选择指令用于选择进入所述关联模式。

第二方面提供的AR设备的技术效果可以参见上述第一方面的各个实现方式的技术效果，此处不再赘述。

第三方面，提供了一种AR设备，该AR设备包括：

至少一个处理器，以及

与所述至少一个处理器连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面任一项所述的方法。

本发明实施例提供的AR设备的技术效果可以参见上述第一方面的各个实现方式的技术效果，此处不再赘述。

第四方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。

本发明实施例可基于AR设备定位的需要翻译内容进行翻译，即进行局部翻译，可满足用户实际的翻译需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的应用场景示意图；

图2为本发明实施例提供的基于AR设备的翻译方法的流程示意图；

图3为本发明实施例提供的一种手势说明示意图；

图4为本发明实施例提供的一种手势说明示意图；

图5为本发明实施例提供的一种手势说明示意图；

图6为本发明实施例提供的AR设备的结构示意图；

图7为本发明实施例提供的AR设备的另一种结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

随着越来越多的翻译软件的出现，为用户阅读文件提供了便利。但是多数翻译软件翻译的是整个文档或者整页文档，无法根据用户的需求实现局部翻译。例如用户在阅读文档时，影响用户阅读的可能只有一小部分词汇或语句，此时全文翻译显然浪费时间，而且没有必要。或者全文翻译后，需要用户从翻译后的文档查找用户需要翻译的部分，即需要进一步筛选，较为繁琐。

进一步地，目前的翻译软件进行局部翻译需要用户将需要翻译的内容输入到翻译软件提供的界面上的特定位置(也可以称为翻译框)。但是如果用户需要翻译的内容位于纸质材料，需要将待翻译的内容手动输入到翻译框，或者将扫描该纸质文件，并通过其他电子设备将其转换成电子文件供用户使用，同样繁琐。

鉴于此，本发明实施例提出一种基于AR技术的翻译方法，该方法可根据用户定位的需要翻译内容进行翻译，满足用户实际的翻译需求。

下面结合附图介绍本发明实施例提供的技术方案。

请参见图1，为本发明实施例提供的翻译方法适用的一种应用场景。该场景中包括AR设备和待翻译的文档的载体。其中，AR设备可以对待翻译的文档进行扫描，可扫描待翻译的文档的全部区域，也可以扫描待翻译的文档的局部区域。应理解，需要翻译待翻译文件的哪个区域，AR设备就可以扫描对应的区域，从这个角度来说，可将AR设备扫描待翻译的文档的区域称为待翻译区域，该待翻译区域可以是待翻译的文档的整个区域，也可以是待翻译的文档的局部区域。

在一些实施例中，AR设备可以是AR眼镜，AR头盔等设备，在下文的介绍中，以AR设备是AR眼镜为例。需要说明的是，本发明实施例中的AR 设备不限于AR眼镜，只要用户通过AR设备能够观看到待翻译文档即可。应理解，AR设备可设置有图像采集装置，例如摄像头，还可设置显示屏，以显示待翻译的文档。

请参见图2，为本发明实施例提供的翻译方法的流程示意图，该方法可以由AR眼镜执行，该方法的具体流程描述如下。

S201、AR设备接收用户输入的手势操作，该手势操作可用于指示第一文档中的翻译区域。

在本发明实施例中，翻译区域可能是第一文档的整个区域，也可能是第一文档的局部区域。AR眼镜可扫描第一文档，这样用户就可以通过AR眼镜观看到整个第一文档。若用户需要翻译第一文档中的部分内容，可以对第一文档进行手势操作，从第一文档中指定需要翻译的内容(翻译区域)。

具体来讲，用户可开启AR设备观看待翻译的文档，在观看第一文档时，如果想要从中选择翻译区域，则用户可以通过AR设备对第一文档进行手势操作，该手势操作可用于指示翻译区域。AR设备根据用户所进行的手势操作生成识别指令，并执行该识别指令，就可以识别出手势操作所对应的翻译区域。

用户选择翻译区域的手势操作方式可以有多种。例如，请参见图3，用户可通过大拇指结合其他手指直接圈定某个区域(图3采用加粗云线圈示意)。该区域所在区域可以认为是翻译区域，则用户圈定某个区域的操作就是选择翻译区域的手势操作。或者，请参见图4，用户也可通过两个手指执行相对远离的滑动操作，那么两个手指形成的滑动轨迹(图3采用加粗云线圈示意) 所在的区域位于翻译翻译内，则用户执行的滑动操作就是选择翻译区域的手势操作。又或者，用户也可通过某个手指执行滑动操作，该滑动操作形成的滑动轨迹可以圈定某个区域(图5采用加粗云线圈示意)，该区域位于翻译区域内，则用户执行的滑动操作就是选择翻译区域的手势操作。

又例如，用户也可以点击第一文档的某个位置，如果该用户点击某个位置停留的时长大于或等于预设时长，可以认为是用户需要翻译整页第一文档，此时，翻译区域就是整页第一文档的全部区域，用户执行的点击操作就是选择翻译区域的手势操作。其中，预设时长可以是预设的固定值，如5S，或者也可以是其他可能的值。

S202、AR设备确定用户输入的目标手势操作。

应理解，用户通过AR设备观看第一文档的过程中，用户可能进行各种手势操作，也就是用户除了进行翻译的手势操作，还可能进行其他的手势操作，例如翻页的手势操作等。

为此，本发明实施例中，AR设备可周期性地采集多张第一图像，那么这多张第一图像中，有的第一图像包括用于翻译的手势操作，有的第一图像可能包括除翻译之外的手势操作。为了便于描述，在文本中，将用于翻译的手势操作称为目标手势操作。AR设备可从这多张第一图像中选择具有目标手势操作的图像。

示例性的，本发明实施例可预先设置多个手势操作，这多个手势操作可以认为是用于翻译的手势操作，例如图3-图5所示的加粗云线圈示意的手势操作。AR设备可提取每张第一图像包括的手势操作，并将该手势操作与预设的手势操作进行匹配，如果匹配度大于或等于预设阈值，那么可认为第一图像包括的手势操作是目标手势操作。相反，如果匹配度小于预设阈值，那么该第一图像包括的手势操作不是目标手势操作。这样AR设备可从多张第一图像中筛选出包括目标手势操作的第一图像。

S203、根据目标手势操作在所述第一文档中定位待翻译区域。

应理解，待翻译区域通常是规则的区域，例如矩形区域等。但是用户执行的手势操作通常圈定的是不规则的区域。为此，本发明实施例中，AR设备可根据识别的目标手势操作在第一文档中定位待翻译区域。

例如，请继续参见图3-图5，用户执行的目标手势操作圈定的区域是加粗云线圈示意的区域，AR设备可确定待翻译区域大于或等于加粗云线圈示意的区域，这样可避免丢失要翻译的信息。

作为一种示例，可预先等于水平增量和垂直增量，其中，水平增量为沿第一方向的增量，垂直增量为沿第二方向的增量，第一方向和第二方向垂直。 AR设备可提取目标手势操作的运动轨迹，并根据运动轨迹圈定第一区域。在第一区域的基础上沿第一方向按照水平增量扩展，并沿第二方向按照垂直增量扩展，将在第一方向和第二方向扩展后的第一区域确定为待翻译区域。

进一步地，AR设备可输出并显示待翻译区域。具体而言，AR设备可在目标手势操作所在的区域输出待翻译区域，用户可确定该待翻译区域是否合适。如果该待翻译区域不合适，那么用户可针对该待翻译区域进行缩放操作。该缩放操作例如可以是沿某个方向进行滑动的操作等，AR设备接收该缩放操作，对待翻译区域进行缩放，并确定最终的待翻译区域。为了便于描述，在本文中，将AR设备通过目标手势操作确定的待翻译区域称为第一待翻译区域，将最终确定的待翻译区域称为第二待翻译区域。

又或者，通常来说，第一待翻译区域较小，那么可能会遗漏一些需要翻译的内容。为此，本发明实施例可设置关联模式，该关联模式可以认为是除翻译待翻译区域的内容之外，会额外位于翻译第一待翻译区域周围的内容。例如可预先设置多个范围，每个范围可根据距离第一待翻译区域中心的距离来确定。AR设备输出根据目标手势操作确定的第一待翻译区域之后，用户可向AR设备输入选择指令，以进入关联模式。AR设备接收到该选择指令，可输出多个范围，用户从这多个范围中选择一个范围。也可以理解为，AR设备在根据目标手势操作确定的待翻译区域时，如果检测到AR设备的工作模式为关联模式，那么AR设备可根据关联模式所选择的范围以及初始确定的第一待翻译区域确定的最终的第二待翻译区域。

S204、对第二待翻译区域的内容进行翻译，并输出翻译结果。

AR设备确定第二待翻译区域之后，可对第二待翻译区域的内容进行翻译。具体来讲，AR设备可对第二待翻译区域对应的待翻译图像进行截取，并将获取的图像传输给AR设备设置的光学字符识别(optical character recognition， OCR)模块。应理解，OCR模块可对待翻译图像进行处理，获得该待翻译图像包括的文字等内容。OCR模块将获得的文字内容发送给翻译模块，该翻译模块可对接收的文字内容进行翻译。

示例性的，翻译模块在对接收的文字内容翻译之前，可输出提示信息，用于提示用户选择翻译的目标语言，例如英汉翻译、汉英翻译、英法翻译、英德翻译等等。用户可选择目标语言之后，翻译模块根据用户的选择对接收的文字内容进行翻译，并输出翻译结果。

AR设备可显示翻译结果。具体而言，AR设备可在预设的目标区域显示翻译结果。应理解，预设的目标区域可尽量避免遮挡观看区域，例如预设的目标区域可以位于AR设备的显示屏的角落区域，可尽量减少对第一文档的遮挡，提升用户体验。

本发明实施例中，可基于AR设备定位的需要翻译内容进行翻译，即进行局部翻译，可满足用户实际的翻译需求。

下面结合附图介绍本发明实施例提供的设备。

请参见图6，基于同一发明构思，本发明实施例提供一种AR设备，该 AR设备包括摄像头等传感器和OCR模块，该VR设备可以包括第一确定模块601、第二确定模块602和翻译模块603。其中，第一确定模块601、第二确定模块602和翻译模块603可以通过硬件处理器(hardware processor)来实现相关功能单元。其中，

第一确定模块601，用于确定用户输入的目标手势操作；

第二确定模块602，用于根据所述目标手势操作，确定第一待翻译区域，其中，第一待翻译区域为第一区域的部分区域或全部区域，所述第一区域为第一文档的全部区域；

翻译模块603，用于将第一待翻译区域所包括的文字进行翻译，并输出翻译结果。

可选的，所述摄像头用于周期性地采集多张第一图像，其中，所述多张第一图像中的部分图像或全部图像包括用户进行的目标手势操作；

所述第一确定模块601具体用于将所述多种第一图像分别与预先设置的多个手势操作进行匹配，并从所述多张第一图像中帅选出至少一张目标图像，其中，所述目标图像包括的目标手势操作与预先设置的手势操作的匹配度大于或等于第一预设阈值。

可选的，所述第二确定模块602具体用于：

提取所述目标图像中的所述目标手势操作所在的第一区域；

确定所述AR设备的工作模式是否为关联模式；

若所述AR设备的工作模式为关联模式，确定所述第一待翻译区域大于所述第一区域；否则，确定所述第一待翻译区域为所述第一区域。

可选的，所述第二确定模块602还用于：

输出并显示所述第一待翻译区域；

接收用户针对所述第一待翻译区域的缩放操作；

根据所述缩放操作，确定第二待翻译区域，其中，所述第二待翻译区域是所述第一待翻译区域经过所述缩放操作得到的。

可选的，所述第一确定模块601还用于：接收用户输入的选择指令，所述选择指令用于选择进入所述关联模式。

该AR设备可以用于执行图2所示的实施例所提供的方法，因此关于 AR设备中的各功能单元所能够实现的功能等可参考图2所示的实施例中的相关介绍，不多赘述。

请参见图7，基于同一发明构思，本发明一实施例提供一种AR设备，该AR设备可以包括：至少一个处理器701，处理器701用于执行存储器中存储的计算机程序时实现本发明实施例提供的如图2所示的方法的步骤。

处理器701具体可以是中央处理器、特定应用集成电路(英文： ApplicationSpecific Integrated Circuit，简称：ASIC)，可以是一个或多个用于控制程序执行的集成电路，用于对AR设备的动作进行控制管理，支持AR设备执行如图2所示的方法步骤。

可选的，该AR设备还包括与至少一个处理器连接的存储器702，存储器702可以包括只读存储器(英文：Read Only Memory，简称：ROM)、随机存取存储器(英文：RandomAccess Memory，简称：RAM)和磁盘存储器。存储器702用于存储处理器701运行时所需的数据，即存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，执行如图2所示的方法。其中，存储器702的数量为一个或多个。其中，存储器702在图7中一并示出，但需要知道的是存储器 702不是必选的功能模块，因此在图7中以虚线示出。

其中，第一确定模块601、第二确定模块602和翻译模块603所对应的实体设备均可以是前述的处理器701。该烹饪电器可以用于执行图2所示的实施例所提供的方法。因此关于该设备中各功能模块所能够实现的功能，可参考图2所示的实施例中的相应描述，不多赘述。

本发明实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如图 1所述的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如只读存储器(read-only memory，ROM)/随机存取存储器 (Ramdom Access Memory，RAM)、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。