基于MR虚拟现实技术的线上购物虚拟交互方法及存储介质

技术领域

本发明涉及虚拟现实技术领域，特别是一种基于MR虚拟现实技术的线上购物虚拟交互方法、电子设备及存储介质。

背景技术

目前，随着科技的进步，MR虚拟现实(Mediated Reality)技术越来越完善。MR虚拟现实技术包括AR增强现实(Augmented Reality)、VR虚拟现实(Virtual Reality)两种不同的技术，其囊括计算机、电子信息、仿真技术于一体，其基本实现方式是将AR技术与VR技术相结合，从而给人以更加真实且持久的环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对MR技术的需求日益旺盛，MR技术也取得了重大进步，并逐步成为一个新的科学技术领域。

随着电商平台的发展，线上购物已经成为我们新的生活方式。然而，用户在线上购物中将多件商品加入购物车后，无法真实地感受到商品搭配后的效果，仅凭借凭空想象，体验欠佳，还经常出现购买后搭配翻车，漏买补买等问题，使得商品交易转化率低。

发明内容

本发明的主要目的是提供一种基于MR虚拟现实技术的线上购物虚拟交互方法、电子设备及存储介质，以解决现有技术中用户在线上购物时无法真实地感受到商品搭配效果的问题，提高了用户体验度的同时提高了商品交易成交率。

第一方面，本发明提供一种基于MR虚拟现实技术的线上购物虚拟交互方法，包括：

响应用户的添加商品的指令，从线上购物平台获取所述商品的商品信息，所述商品信息包括商品图像和商品类别；

采集与所述商品类别相对应的背景图像；

基于所述背景图像建立虚拟背景模型；

基于所述商品图像建立虚拟商品模型；

将所述虚拟商品模型在所述虚拟背景模型中进行搭配展示。

可选的，所述商品类别为服装类，所述背景图像为人体图像，所述虚拟背景模型为虚拟三维人体模型。

可选的，所述背景图像为有关多人的人体图像信息，所述虚拟背景模型为有关多人的虚拟三维人体模型。

可选的，采集与所述商品类别相对应的背景图像，包括：分别从不同地点采集多人的人体图像。

可选的，所述商品类别为家装类，所述虚拟背景模型为虚拟三维环境模型。

可选的，上述基于MR虚拟现实技术的线上购物虚拟交互方法还包括：响应所述用户的删除所述商品的指令，禁止所述虚拟商品模型展示在所述虚拟背景模型中。

可选的，上述基于MR虚拟现实技术的线上购物虚拟交互方法还包括：响应所述用户的将所述商品更新为新商品的指令，从所述线上购物平台获取所述新商品的商品信息，所述商品与所述新商品的商品类别相同；

基于所述新商品的商品图像建立新商品的虚拟商品模型；

代替所述商品的虚拟商品模型，将所述新商品的虚拟商品模型在所述虚拟背景模型中进行搭配展示。

可选的，所述商品信息还包括商品链接，

上述基于MR虚拟现实技术的线上购物虚拟交互方法还包括：响应所述用户的查看指令，显示正在搭配展示的商品的商品链接。

可选的，上述基于MR虚拟现实技术的线上购物虚拟交互方法还包括：将所述搭配展示的结果保存成图片或视频进行共享。

可选的，上述基于MR虚拟现实技术的线上购物虚拟交互方法还包括：响应用户的标记商品的指令对所述商品进行标记。

第二方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上述第一方面任意一项所述的基于MR虚拟现实技术的线上购物虚拟交互方法。

第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序可以被一个或多个处理器执行，以实现如上述第一方面任意一项所述的基于MR虚拟现实技术的线上购物虚拟交互方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明分别构建虚拟背景模型和虚拟商品模型，并将虚拟商品模型在虚拟背景模型中进行搭配展示，使得用户在线上购物过程中能够真实地感受到商品搭配后的效果，解决了仅凭借凭空想象，体验欠佳，还经常出现购买后搭配翻车，漏买补买等问题，提高了用户体验度的同时提高了商品交易成交率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，在附图中：

图1为根据本发明一示例性实施方式的基于MR虚拟现实技术的线上购物虚拟交互方法的流程图；

图2为根据本发明实施例一的具体实施方式的基于MR虚拟现实技术的线上购物虚拟交互方法的流程图；

图3为根据本发明实施例二的具体实施方式的基于MR虚拟现实技术的线上购物虚拟交互方法的流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

如图1所示，本发明的实施方式提供一种基于MR虚拟现实技术的线上购物虚拟交互方法，包括以下步骤S110至S150。

在步骤S110中，响应用户的添加商品的指令，从线上购物平台获取所述商品的商品信息，所述商品信息包括商品图像和商品类别。

其中，从线上购物平台获取所述商品的商品信息的方式为通过网络或蓝牙等类似数据传输方式从互联网中获取商品信息，所述商品图像涉及商品的长度、商品的宽度、商品的高度、商品的外观图像等，商品信息包括商品的详情信息链接等信息，商品类别分为服装类或家装类，商品类别将决定采集的背景图像信息的类别。

在步骤S120中，采集与所述商品类别相对应的背景图像。

其中，若所述商品类别为服装类，则采集人体三维图像信息，例如，人体的形态特征，包括：身高、三维等形态特征信息，以用于构建虚拟三维人体模型。若所述商品类别为家装类，则采集空间环境图像信息，例如，房间内的环境图像，包括：房间内已有的家具布局，房间的空间大小等特征，以用于构建虚拟三维环境模型。本步骤的采集功能通过MR虚拟现实设备中的图像采集模块实现，例如，通过智能眼镜采集其视线内的图像信息，采集后的图像信息将用于构建虚拟背景模型。

在步骤S130中，基于所述背景图像建立虚拟背景模型。

其中，所述背景图像为由S120步骤采集到的人体三维图像信息或空间环境图像信息，通过MR虚拟现实设备中的虚拟成像模块基于所述背景图像信息建立虚拟背景模型。例如，基于人体三维图像信息建立虚拟三维人体模型，所述虚拟三维人体模型的身高、三维等形态特征与被采集人的形态特征是一致的。或者，基于空间环境图像信息建立虚拟三维环境模型，所述虚拟三维环境模型的空间体积大小和布局与被采集的空间环境也是一致的。所述虚拟背景模型用于与虚拟商品模型进行搭配。

在步骤S140中，基于所述商品图像建立虚拟商品模型。

其中，所述商品图像由步骤S110从互联网中获得，所述商品图像包括商品的长度、商品的宽度、商品的高度、商品的外观图像等，通过MR虚拟现实设备中的虚拟成像模块基于所述商品图像信息建立虚拟商品模型，所述虚拟商品模型用于在虚拟背景模型中进行搭配。

在步骤S150中，将所述虚拟商品模型在所述虚拟背景模型中进行搭配展示。

其中，所述虚拟商品模型由步骤S140建立，所述虚拟背景模型由步骤S130建立。为解决目前用户在线上购物中将多件商品加入购物车后，无法真实地感受到商品搭配后的效果的问题，将所述虚拟商品模型在所述虚拟背景模型中进行搭配展示，可以使用户更直观的体会到商品的效果。例如，用户在网上购买服装类商品时，无法像在商场里一样亲自试穿，从而导致在网上购买的服装类商品到货后，与用户并不搭配，在本发明中，用户基于从网上得到的服装类商品如大衣、西装、皮鞋、球衣等服装类商品的商品信息建立虚拟商品模型，基于用户本人的形态特征建立虚拟三维人体模型，用户可将虚拟的服装类商品在用户本人的虚拟三维人体模型中搭配，能够直观地感受到服装类商品的搭配效果。

实施例一

如图2所示，本发明的实施方式提供一种基于MR虚拟现实技术的线上购物虚拟交互方法，包括以下步骤S210至S260。

在步骤S210中，响应用户的添加商品的指令，从线上购物平台获取服装类商品的商品图像信息。

其中，线上购物平台获取服装类商品的商品信息，例如，通过网络从电商平台获得大衣、西装、皮鞋、球衣等服装类商品的商品信息，所述商品图像信息包括商品的长度、商品的宽度、商品的高度、商品的外观图像、商品的详情信息链接等信息，例如，大衣的长度、宽度、高度、外观图像、详情信息链接，所述商品图像信息将用于构建虚拟商品模型。

在步骤S220中，采集人体图像信息。

其中，所述人体图像信息包括人体的身高、三维等形态特征信息，通过MR虚拟现实设备中的图像采集模块将所述人体图像信息采集至MR虚拟现实设备中，例如，通过智能眼镜扫描其视线内的人体形态特征，采集到的人体图像信息用于构建虚拟三维人体模型。

在步骤S230中，基于人体图像信息建立虚拟三维人体模型。

其中，基于人体图像信息建立虚拟三维人体模型的具体实施方式为通过MR虚拟现实设备中的虚拟成像模块将由步骤S220采集到的人体图像信息在MR虚拟现实设备中建立虚拟三维人体模型，所述虚拟三维人体模型的形态特征与被采集人的身高、三维等形态特征是一致的，所述虚拟三维人体模型用于与虚拟商品模型进行搭配。

在步骤S240中，基于服装类商品图像信息建立虚拟商品模型。

其中，基于服装类商品图像信息建立虚拟商品模型的具体实施方式为通过MR虚拟现实设备中的虚拟成像模块将由步骤S210采集到的商品图像信息在MR虚拟现实设备中建立虚拟商品模型。例如，将一件从线上购物平台获得的大衣的商品信息通过MR虚拟现实设备中的虚拟成像模块在MR虚拟现实设备中建立一件大衣的虚拟模型。所述虚拟商品模型用于在虚拟三维人体模型中搭配。

在步骤S250中，将服装类虚拟商品模型在虚拟三维人体模型中进行搭配展示。

其中，所述服装类虚拟商品模型由步骤S140建立，所述虚拟背景模型由步骤S130建立。为解决目前用户在线上购物中将多件商品加入购物车后，无法真实地感受到商品搭配后的效果的问题，将所述虚拟商品模型在所述虚拟背景模型中进行搭配展示，可以使用户更直观的体会到商品的效果。例如，用户在网上购买服装类商品时，无法像在商场里一样亲自试穿，从而导致在网上购买的服装类商品到货后，与用户并不搭配，在本实施例中，用户基于从网上得到的服装类商品如大衣、西装、皮鞋、球衣等服装类商品的商品信息建立虚拟商品模型，基于用户本人的形态特征建立虚拟三维人体模型，用户可将虚拟的服装类商品模型在用户本人的虚拟三维人体模型中搭配，能够直观地感受到服装类商品的搭配效果，例如，用户将西装、领带、皮鞋等虚拟商品模型在虚拟三维人体模型中搭配后，可以直观地看到搭配后的效果，如颜色是否恰当、大小是否合身等。

在本发明一优选的实施例中，作为虚拟背景的还可以是多人的人体模型。在步骤S220和S230中，采集多人的人体图像信息，建立多人的虚拟三维人体模型。

例如，采集一个家庭中父亲、母亲、孩子共3人的人体图像信息，基于上述3人的人体图像信息建立包含3人的虚拟三维人体模型，用户可将多件服装类虚拟商品模型在所述多人虚拟三维人体模型中进行搭配，例如，用户将亲子装虚拟商品模型在所述包含父亲、母亲、孩子的3人的虚拟三维人体模型中进行搭配。

基于建立多人的虚拟三维人体模型用户可同时对多人进行整体搭配，相比于对用户个人单独进行商品搭配，同时对多人进行整体搭配会使用户有更加直观且整体的体验效果。

特别地，在作为采集对象的多个不在同一地点时，可以分别从不同地点采集多人的人体图像。

例如，在北京采集第一被采集人的人体图像信息，在上海采集第二被采集人的人体图像信息，通过网络将第二被采集人的人体图像信息传输至第一被采集人的MR虚拟现实设备中，基于第一被采集人的虚拟人体图像信息和第二被采集人的人体图像信息建立多人的虚拟三维人体虚拟模型。

分别从不同地点采集多人的人体图像可以解决地域限制的问题，使用户可采集其在异地的朋友、家人等的人体图像信息，操作更灵活。

在本发明一优选的实施例中，用户除了能够添加搭配的对象，还能够对正在展示的模型进行删除。这里，

响应所述用户的删除所述商品的指令，禁止所述虚拟商品模型展示在所述虚拟背景模型中。

例如，当用户在虚拟三维人体模型中搭配虚拟商品模型时，发现某一件商品并不恰当，即可在所述虚拟三维人体模型中删除此商品并禁止其展示在所述虚拟三维人体模型中。

在本发明一优选的实施例中，用户除了能够添加、删除搭配的对象，还能够对正在展示的模型进行更替。这里，首先，响应所述用户的将所述商品更新为新商品的指令，从所述线上购物平台获取所述新商品的商品信息，所述商品与所述新商品的商品类别相同。其次，基于所述新商品的商品图像建立新商品的虚拟商品模型。最后，代替所述商品的虚拟商品模型，将所述新商品的虚拟商品模型在所述虚拟背景模型中进行搭配展示。

例如，用户将一件新商品建立为虚拟商品模型，并加入到已有的虚拟三维人体模型中进行搭配展示。

用户在搭配商品模型时，可在虚拟背景模型中对正在展示的虚拟商品模型进行更替，相比于添加、删除操作，更替操作会让用户的操作更加便捷，操作性更强。在本发明的一优选的实施例中，所述商品信息还包括商品链接。基于MR虚拟现实技术的线上购物虚拟交互方法还包括，所述方法还包括：响应所述用户的查看指令，显示正在搭配展示的商品的商品链接。

例如，用户在虚拟三维人体模型中搭配虚拟商品模型时，想查看所述商品的详细信息，即可通过所述商品的商品链接获得所述商品的详细信息。这样，用户在满意搭配效果后输入查看指令，并利用系统反馈的商品链接转移至记录商品详细信息的链接，进而方便购买，大大提高了系统的可操作性，提高了用户满意度。

特别地，响应用户的标记商品的指令对所述商品进行标记。

例如，用户在对大衣，皮鞋，西裤进行搭配时，用户对当前搭配的大衣满意时，则标记为“喜欢”，对当前搭配的皮鞋不满意时，则标记为“不喜欢”，对当前搭配的西裤没有意见时，则标记为“待定”，由此，用户在进行多种商品搭配后，可以找到自己标记为“喜欢”的商品，对标记为“待定”的商品进行重新选择。

特别地，用户在虚拟三维人体模型中搭配服装类虚拟商品时，MR虚拟现实设备会根据当前使用者的个人信息，如身高、体重、三维等信息、历史购物信息、最近浏览的商品信息等，向用户推荐相适应的服装类商品，帮助用户进行更恰当的搭配。例如，用户在购买黑色西装时，为用户推荐与所选西装价格相适应的黑色皮鞋。

在步骤S260中，将搭配展示的结果保存成图片或视频进行共享。

例如，用户在虚拟三维人体模型中搭配虚拟商品模型时，可将搭配展示的结果保存成图片或视频，将所述图片或视频通过网络共享至其他电子设备，以便展示结果的备份以及供他人参考。

实施例二

如图3所示，本发明的实施方式提供一种基于MR虚拟现实技术的线上购物虚拟交互方法，包括以下步骤S310至S360。

在步骤S310中，响应用户的添加商品的指令，从线上购物平台获取家装类商品的商品图像信息。

其中，线上购物平台获取家装类商品的商品信息，例如，通过网络从电商平台获得冰箱、洗衣机、电视、空调等服装类商品的商品信息，所述商品图像信息包括商品的长度、商品的宽度、商品的高度、商品的外观图像、商品的详情信息链接等信息，例如，冰箱的长度、宽度、高度、外观图像、详情信息链接，所述商品图像信息将用于构建虚拟商品模型。

在步骤S320中，采集空间环境图像信息。

其中，所述空间环境图像信息包括空间的体积、布局等信息，通过MR虚拟现实设备中的图像采集模块将所述空间环境图像信息采集至MR虚拟现实设备中，例如，通过智能眼镜扫描其视线内的空间环境图像信息，采集到的空间环境图像信息用于构建虚拟三维环境模型。

在步骤S330中，基于空间环境图像信息建立虚拟三维环境模型。

其中，基于空间环境图像信息建立虚拟三维环境模型的具体实施方式为通过MR虚拟现实设备中的虚拟成像模块将由步骤S320采集到的空间环境图像信息在MR虚拟现实设备中建立虚拟三维环境模型，所述虚拟三维环境模型的形态特征与被采集空间环境的体积、布局等特征是一致的，所述虚拟三维环境模型用于与虚拟商品模型进行搭配。

在步骤S340中，基于家装类商品图像信息建立虚拟商品模型。

其中，基于家装类商品图像信息建立虚拟商品模型的具体实施方式为通过MR虚拟现实设备中的虚拟成像模块将由步骤S310采集到的商品图像信息在MR虚拟现实设备中建立虚拟商品模型，例如，将一个从线上购物平台获得的冰箱的商品信息通过MR虚拟现实设备中的虚拟成像模块在MR虚拟现实设备中建立一个冰箱的虚拟商品模型。所述虚拟商品模型用于在虚拟三维环境模型中搭配。

在步骤S350中，将家装类虚拟商品模型在虚拟三维环境模型中进行搭配展示。

其中，所述家装类虚拟商品模型由步骤S340建立，所述虚拟背景模型由步骤S330建立，为解决目前用户在线上购物中将多件商品加入购物车后，无法真实地感受到商品搭配后的效果的问题，将所述虚拟商品模型在所述虚拟背景模型中进行搭配展示，可以使用户更直观的体会到商品的效果，例如，用户在网上购买家装商品时，无法在用户所处的环境中进行真实的搭配，看不到搭配后的效果，从而导致在网上购买的家装商品到货后，与用户所处的环境并不搭配，在本实施例中，用户基于从网上得到的家装类商品如冰箱、洗衣机、电视、空调等家装类商品的商品信息建立虚拟商品模型，基于用户所处的空间环境特征建立虚拟三维环境模型，用户可将虚拟的家装商品模型在所述虚拟三维环境模型中搭配，能够直观地感受到家装类商品的搭配效果，例如，用户将冰箱、空调、电视等家装虚拟商品模型在虚拟三维环境模型中搭配后，可以直观地看到搭配后的效果，如颜色是否恰当、空间是否拥挤。

特别地，用户在虚拟三维环境模型中搭配家装类虚拟商品时，MR虚拟现实设备会根据当前空间的布局信息、历史购物信息、最近浏览的商品信息等，向用户推荐相适应的家装类商品，帮助用户进行更恰当的搭配。例如，用户在购买黑色电视时，为用户推荐与所选电视价格相适应的黑色音箱。

在步骤S360中，将搭配展示的结果保存成图片或视频进行共享。

例如，用户在虚拟三维环境模型中搭配虚拟商品模型时，可将搭配展示的结果保存成图片或视频，将所述图片或视频通过网络共享至其他电子设备。

本发明的实施方式提供一种电子设备，该电子设备可以是智能眼镜、智能头盔等，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述实施例中所述的基于MR虚拟现实技术的线上购物虚拟交互方法。

其中，处理器用于执行如实施例一中的基于MR虚拟现实技术的线上购物虚拟交互方法中的全部或部分步骤。存储器用于存储各种类型的数据，这些数据例如商品模型的体积参数，环境模型的体积参数等。

所述处理器可以是专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogicDevice，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一中的基于MR虚拟现实技术的线上购物虚拟交互方法。

所述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序校验码的介质。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明的实施方式例如能够除了在这里图示或描述的那些以外的顺序实施。

应当理解的是，本说明书中的示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。提供这些实施方式是为了使得本发明的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，而不应当理解为对本发明的限制。