首页> 中国专利> 在元宇宙交互场景下的图像AI处理方法及元宇宙互动系统

在元宇宙交互场景下的图像AI处理方法及元宇宙互动系统

摘要

本申请实施例提供一种在元宇宙交互场景下的图像AI处理方法及元宇宙互动系统,涉及元宇宙和人工智能技术领域,基于第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征依据预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,计算每个图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,由此提高交互渲染图像资源的优化速度,并且提高后续用户交互偏好分析和虚拟组件推送配置的有效性。

著录项

  • 公开/公告号CN116188914A

    专利类型发明专利

  • 公开/公告日2023-05-30

    原文格式PDF

  • 申请/专利权人 烟台雪寻梅信息咨询有限公司;

    申请/专利号CN202310288209.1

  • 发明设计人 付勇;陈志权;

    申请日2023-03-23

  • 分类号G06V10/774(2022.01);G06V10/40(2022.01);G06V10/762(2022.01);G06V10/75(2022.01);

  • 代理机构

  • 代理人

  • 地址 264003 山东省烟台市莱山区黄海路街道迎春大街133号

  • 入库时间 2023-06-19 19:40:14

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-08-22

    发明专利申请公布后的撤回 IPC(主分类):G06V10/774 专利申请号:2023102882091 申请公布日:20230530

    发明专利申请公布后的撤回

  • 2023-06-16

    实质审查的生效 IPC(主分类):G06V10/774 专利申请号:2023102882091 申请日:20230323

    实质审查的生效

  • 2023-05-30

    公开

    发明专利申请公布

说明书

技术领域

本申请涉及元宇宙和人工智能技术领域,具体而言,涉及一种在元宇宙交互场景下的图像AI处理方法及元宇宙互动系统。

背景技术

元宇宙(Metaverse)是利用科技手段进行链接与创造的,与现实世界映射和交互的虚拟世界,具备新型社会体系的数字生活空间,元宇宙本质上是对现实世界的虚拟化、数字化过程,需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。但元宇宙的发展是循序渐进的,是在共享的基础设施、标准及协议的支撑下,由众多工具、平台不断融合、进化而最终成形。它基于扩展现实技术提供沉浸式体验,基于数字孪生技术生成现实世界的镜像,基于区块链技术搭建经济体系,将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合,并且允许每个用户进行内容生产和世界编辑。

当前,在元宇宙交互场景中,需要实时分析用户在单轮交互过程中产生的交互渲染流数据(由多个交互渲染图像资源构成的序列进行渲染组成),以便于分析出用户在交互过程中的偏好,进而便于精准地向特定用户推送广告其在元宇宙交互场景中可能所需的虚拟组件。然而,在相关技术,在进行用户交互偏好分析之前缺少图像资源优化的考虑,进而导致分析数据量过大,影响实时分析速度并且也容易引入不必要的噪声数据,从而难以保证用户交互偏好分析和虚拟组件推送配置的有效性。

发明内容

为了至少克服现有技术中的上述不足,本申请的目的在于提供一种在元宇宙交互场景下的图像AI处理方法及元宇宙互动系统。

第一方面,本申请提供一种在元宇宙交互场景下的图像AI处理方法,应用于元宇宙互动系统,所述方法包括:

基于满足模型部署条件的图像语义特征提取模型提取元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征;

基于所述第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征,依据预置的图像资源聚类规则将所述第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,不同的所述图像资源聚类簇包括的任一交互渲染图像资源均不同;

针对每个所述图像资源聚类簇,计算该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,获得完成图像资源优化后的第二交互渲染图像资源序列;

对所述第二交互渲染图像资源序列进行用户交互行为还原,获得目标交互渲染流数据,基于预先训练完成的目标用户交互偏好决策网络对所述目标交互渲染流数据进行用户交互偏好决策,生成所述目标用户在本轮交互过程的用户交互偏好数据,并基于所述用户交互偏好数据对所述目标用户进行虚拟组件推送配置。

在第一方面的一种可能的实施方式中,针对每个所述图像资源聚类簇,所述基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,包括:

基于预置的门限匹配值,从所述图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值中确定出内容匹配值不小于所述门限匹配值的一个或多个目标内容匹配值;

针对每个所述目标内容匹配值,从该目标内容匹配值对应的两个交互渲染图像资源中选择冗余交互渲染图像资源,并移除该冗余交互渲染图像资源。

在第一方面的一种可能的实施方式中,所述依据预置的图像资源聚类规则将所述第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,包括:

计算标定交互渲染图像资源对应的图像语义特征与所述第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征之间的第一特征代价值;

确定多个特征代价值区间,不同的所述特征代价值区间不存在重叠的特征代价值;

针对所有所述第一特征代价值,确定每个所述第一特征代价值所关联的特征代价值区间,并将每个所述第一特征代价值对应的交互渲染图像资源分类至其所关联的特征代价值区间所对应的图像资源聚类簇,获得多个图像资源聚类簇;或者

对于所述第一交互渲染图像资源序列中的每个交互渲染图像资源,基于注意力机制将该交互渲染图像资源对应的图像语义特征进行代表性特征提取,获得该交互渲染图像资源对应的代表性特征,并对该交互渲染图像资源对应的代表性特征进行分桶,获得该交互渲染图像资源对应的多个代表性分桶特征;

针对当前确定的待聚类第一交互渲染图像资源序列中每个待聚类交互渲染图像资源,基于该待聚类交互渲染图像资源对应的所有代表性分桶特征以及所述待聚类第一交互渲染图像资源序列中每个其它待聚类交互渲染图像资源对应的所有代表性分桶特征,从所有其它待聚类交互渲染图像资源中确定与该待聚类交互渲染图像资源对应的所有交互渲染图像资源,并将该待聚类交互渲染图像资源以及该待聚类交互渲染图像资源关联的所有交互渲染图像资源确定为一个图像资源聚类簇,并从所述待聚类第一交互渲染图像资源序列中移除该待聚类交互渲染图像资源以及与该待聚类交互渲染图像资源关联的所有交互渲染图像资源,进而调整所述待聚类第一交互渲染图像资源序列,并遍历执行所述的针对当前确定的待聚类第一交互渲染图像资源序列中每个待聚类交互渲染图像资源,基于该待聚类交互渲染图像资源对应的所有代表性分桶特征以及所述待聚类第一交互渲染图像资源序列中每个其它待聚类交互渲染图像资源对应的所有代表性分桶特征,从所有其它待聚类交互渲染图像资源中确定与该待聚类交互渲染图像资源对应的所有交互渲染图像资源,并将该待聚类交互渲染图像资源以及该待聚类交互渲染图像资源关联的所有交互渲染图像资源确定为一个图像资源聚类簇,并从所述待聚类第一交互渲染图像资源序列中移除该待聚类交互渲染图像资源以及与该待聚类交互渲染图像资源关联的所有交互渲染图像资源,直至所述待聚类第一交互渲染图像资源序列中不存在待聚类交互渲染图像资源;

其中,初始确定出的所述待聚类第一交互渲染图像资源序列为所述第一交互渲染图像资源序列,所述第一交互渲染图像资源序列中的每个交互渲染图像资源对应的每个代表性分桶特征存在对应的图像分块位置,同一所述图像资源聚类簇中的每个交互渲染图像资源对应的所有代表性分桶特征中,所述图像分块位置相同的代表性分桶特征相同。

在第一方面的一种可能的实施方式中,在所述基于满足模型部署条件的图像语义特征提取模型提取元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征之前,所述方法还包括:

对预置的初始化特征提取模型进行模数权重参数更新直至满足模型部署条件,获得满足模型部署条件的图像语义特征提取模型;

其中,所述对预置的初始化特征提取模型进行模数权重参数更新直至满足模型部署条件,获得满足模型部署条件的图像语义特征提取模型,包括:

获取先验搜集的样本第一交互渲染图像资源序列,所述样本第一交互渲染图像资源序列包括多个样本交互渲染图像资源组合,每个所述样本交互渲染图像资源组合包括相应的第一样本交互渲染图像资源及该第一样本交互渲染图像资源对应的第二样本交互渲染图像资源,该第一样本交互渲染图像资源对应的第二样本交互渲染图像资源是对该第一样本交互渲染图像资源执行图像特征衍生和扩展获得的;

将所有所述样本交互渲染图像资源组合分别加载至预置的初始化特征提取模型以对所述初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型;

评估所述完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件,当满足模型部署条件时,将所述完成本轮知识学习的图像语义特征提取模型确定为满足模型部署条件的图像语义特征提取模型。

在第一方面的一种可能的实施方式中,所述评估所述完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件,包括:

计算所述完成本轮知识学习的图像语义特征提取模型的误差评估指标,并基于所述误差评估指标评估所述完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件;

其中,所述计算所述完成本轮知识学习的图像语义特征提取模型的误差评估指标,包括:

针对每个所述样本交互渲染图像资源组合,基于该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一语义特征提取结果与该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二语义特征提取结果之间的特征损失值,确定每个所述样本交互渲染图像资源组合所对应的子误差评估指标;

基于所有所述样本交互渲染图像资源组合所对应的子误差评估指标,计算所述完成本轮知识学习的图像语义特征提取模型的误差评估指标;

其中,针对每个所述样本交互渲染图像资源组合,该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一语义特征提取结果包括将该样本交互渲染图像资源组合中的第一样本交互渲染图像资源加载到所述初始化特征提取模型之后得到的语义特征提取结果再加载到预置的全连接网络单元之后得到的语义特征提取结果,该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二语义特征提取结果包括该样本交互渲染图像资源组合中的第二样本交互渲染图像资源加载到所述初始化特征提取模型之后得到的语义特征提取结果。

在第一方面的一种可能的实施方式中,所述将所有所述样本交互渲染图像资源组合分别加载至预置的初始化特征提取模型以对所述初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型,包括:

针对每个所述样本交互渲染图像资源组合,分别对该样本交互渲染图像资源组合中的第一样本交互渲染图像资源及该样本交互渲染图像资源组合中的第二样本交互渲染图像资源执行图像分块,获得该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一图像分块数据以及该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二图像分块数据;

针对每个所述样本交互渲染图像资源组合,基于图像语义编码网络生成所述第一图像分块数据对应的图像语义向量以及所述第二图像分块数据对应的图像语义向量;

针对每个所述样本交互渲染图像资源组合,将所述第一图像分块数据对应的图像语义向量以及所述第二图像分块数据对应的图像语义向量成对加载到确定出的初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型。

在第一方面的一种可能的实施方式中,所述图像特征衍生和扩展至少包括图像特征替换、图像特征融合、图像特征剪切中的至少一种;

其中,对于任一所述第一样本交互渲染图像资源,所述图像特征替换用于将该第一样本交互渲染图像资源中目标图像元素类别的图像元素替换为同图像元素类别的衍生图像元素;

对于任一所述第一样本交互渲染图像资源,所述图像特征融合用于将该第一样本交互渲染图像资源与确定出的一个或多个成员交互渲染图像资源进行融合,每个所述成员交互渲染图像资源均包含目标图像元素类别的图像元素且每个所述成员交互渲染图像资源均包含的目标图像元素类别的图像元素与该第一样本交互渲染图像资源中包含的所述目标图像元素类别的图像元素场景相同,且所述成员交互渲染图像资源为其它第一样本交互渲染图像资源或者从确定出的融合用第一交互渲染图像资源序列中确定出的交互渲染图像资源;

对于任一所述第一样本交互渲染图像资源,所述图像特征剪切用于对该第一样本交互渲染图像资源中目标图像元素类别的图像元素前后的交互渲染图像资源进行截断得到该第一样本交互渲染图像资源对应的至少两个子交互渲染图像资源,并从该第一样本交互渲染图像资源对应的所有子交互渲染图像资源中选择其中一个交互渲染图像资源。

在第一方面的一种可能的实施方式中,所述目标用户交互偏好决策网络的训练步骤,包括:

确定携带先验用户偏好数据的至少一个第一训练用交互渲染流数据;

在每个所述第一训练用交互渲染流数据的设定渲染节点添加该第一训练用交互渲染流数据匹配的参考交互渲染流数据,获得至少一个用于网络收敛优化的第二训练用交互渲染流数据,其中,所述参考交互渲染流数据包括用于表征模糊用户交互偏好的目标渲染帧数据;

将每个所述第二训练用交互渲染流数据加载至初始化权重参数的用户交互偏好决策网络中,以使所述用户交互偏好决策网络对每个所述第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个所述第二训练用交互渲染流数据对应的用户交互偏好输出数据,每个所述第二训练用交互渲染流数据对应的用户交互偏好输出数据包括该第二训练用交互渲染流数据中的目标渲染帧数据的输出数据,所述输出数据为相应第二训练用交互渲染流数据的偏好输出数据;

基于所有所述第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有所述第一训练用交互渲染流数据对应的先验用户偏好数据,判断所述用户交互偏好决策网络是否达到训练终止要求;

当未达到训练终止要求时,更新所述用户交互偏好决策网络的网络权重配置信息,并返回实施所述的将每个所述第二训练用交互渲染流数据加载至初始化权重参数的用户交互偏好决策网络中,以使所述用户交互偏好决策网络对每个所述第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个所述第二训练用交互渲染流数据对应的用户交互偏好输出数据的执行步骤以及执行所述基于所有所述第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有所述第一训练用交互渲染流数据对应的先验用户偏好数据,判断所述用户交互偏好决策网络是否达到训练终止要求的执行步骤,直到输出达到所述训练终止要求的目标用户交互偏好决策网络,所述目标用户交互偏好决策网络用于分析所述目标交互渲染流数据的用户交互偏好。

由此,在用于网络收敛优化的第一训练用交互渲染流数据中添加参考交互渲染流数据,以引导初始化权重参数的用户交互偏好决策网络对第一训练用交互渲染流数据进行分析并决策参考交互渲染流数据中模糊渲染流数据所指代的交互偏好,也即采用结合参考交互渲染流数据进行训练的方案对用户交互偏好决策网络进行优化,提高了用户交互偏好决策网络用户交互偏好决策网络的网络收敛性能和深度,进而提高用户交互偏好决策的可靠性。

譬如,在第一方面的一种可能的实施方式中,所述基于所有所述第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有所述第一训练用交互渲染流数据对应的先验用户偏好数据,判断所述用户交互偏好决策网络是否达到训练终止要求,包括:

针对每个所述第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据对应的用户交互偏好输出数据与相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,作为该第二训练用交互渲染流数据对应的特征距离;

基于所有所述第二训练用交互渲染流数据对应的特征距离,计算所述用户交互偏好决策网络的损失函数值;

判断所述损失函数值是否不大于设定损失函数值;

当所述损失函数值不大于设定损失函数值时,确定所述用户交互偏好决策网络达到训练终止要求,当未达到训练终止要求时,确定所述用户交互偏好决策网络未达到训练终止要求;

每个所述第二训练用交互渲染流数据的偏好输出数据包括至少一个单元输出数据以及每个所述单元输出数据对应的偏好决策置信度;

所述针对每个所述第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据对应的用户交互偏好输出数据与相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,包括:

针对每个所述第二训练用交互渲染流数据,将该第二训练用交互渲染流数据的偏好输出数据中对应的偏好决策置信度符合设定置信度要求的单元输出数据确定为该第二训练用交互渲染流数据的目标偏好输出数据;

针对每个所述第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据的目标偏好输出数据与其相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,作为该第二训练用交互渲染流数据对应的特征距离。

譬如,在第一方面的一种可能的实施方式中,所述用户交互偏好决策网络对每个所述第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个所述第二训练用交互渲染流数据对应的用户交互偏好输出数据,包括:

由所述用户交互偏好决策网络对应的互动内容特征提取单元对每个所述第二训练用交互渲染流数据执行互动内容特征提取,获得每个所述第二训练用交互渲染流数据对应的互动内容特征,每个所述第二训练用交互渲染流数据对应的互动内容特征包括该第二训练用交互渲染流数据对应的交互渲染内容特征、该第二训练用交互渲染流数据对应的渲染节点特征以及该第二训练用交互渲染流数据对应的语义卷积特征;

由所述用户交互偏好决策网络对应的全连接网络单元对每个所述第二训练用交互渲染流数据对应的互动内容特征进行分析,获得该第二训练用交互渲染流数据对应的用户交互偏好输出数据;

其中,所述用户交互偏好决策网络对应的互动内容特征提取单元对每个所述第二训练用交互渲染流数据执行互动内容特征提取,获得每个所述第二训练用交互渲染流数据对应的互动内容特征,包括:

由所述用户交互偏好决策网络对应的互动内容特征提取单元基于每个所述第二训练用交互渲染流数据中每个交互渲染片段所对应的特征嵌入向量,生成该第二训练用交互渲染流数据对应的交互渲染内容特征;或者,由所述用户交互偏好决策网络对应的互动内容特征提取单元基于每个所述第二训练用交互渲染流数据的第一训练用交互渲染流数据中每个交互渲染片段对应的特征嵌入向量以及该第二训练用交互渲染流数据的参考交互渲染流数据中除所述目标渲染帧数据之外的每个交互渲染片段对应的行为内容理解向量,生成该第二训练用交互渲染流数据对应的交互渲染内容特征,其中,所述参考交互渲染流数据中每个所述交互渲染片段对应的行为内容理解向量包括该交互渲染片段在该交互渲染片段对应的一个或多个场景模态中对应的子行为内容理解向量;

由所述互动内容特征提取单元基于每个所述第二训练用交互渲染流数据中每个交互渲染片段在该第二训练用交互渲染流数据中对应的渲染节点信息生成该第二训练用交互渲染流数据对应的渲染节点特征以及该第二训练用交互渲染流数据对应的语义卷积特征,其中,每个所述第二训练用交互渲染流数据对应的语义卷积特征表征该第二训练用交互渲染流数据中每个交互渲染片段在该第二训练用交互渲染流数据中所关联的交互渲染事件。

譬如,在第一方面的一种可能的实施方式中,所述确定携带先验用户偏好数据的至少一个第一训练用交互渲染流数据,包括:

获取至少一个用于网络收敛优化的范例交互渲染流数据;

针对每个所述范例交互渲染流数据,基于预置的至少一个用户偏好标签,从该范例交互渲染流数据中提取每个所述用户偏好标签对应的渲染编码向量,获得每个所述用户偏好标签对应的偏好映射特征;

基于预置的训练关联规则,对从每个所述范例交互渲染流数据中提取到的所有所述用户偏好标签对应的偏好映射特征进行训练关联,获得携带先验用户偏好数据的至少一个第一训练用交互渲染流数据。

譬如,在第一方面的一种可能的实施方式中,所述方法还包括:

确定每个所述第一训练用交互渲染流数据中符合设定引用要求的交互渲染元素,并基于每个所述第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据匹配的参考交互渲染流数据;

其中,所述基于每个所述第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据匹配的参考交互渲染流数据,包括:

基于每个所述第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据对应的偏好丰富度;

针对每个所述第一训练用交互渲染流数据,将预置的多个原始参考交互渲染流数据中与该第一训练用交互渲染流数据对应的偏好丰富度相匹配的原始参考交互渲染流数据确定为该第一训练用交互渲染流数据对应的目标参考交互渲染流数据,其中,所述原始参考交互渲染流数据包括第一类参考交互渲染流数据和/或第二类参考交互渲染流数据,所述第一类参考交互渲染流数据对应的等待加载特征为偏好度量值信息,所述第二类参考交互渲染流数据对应的等待加载特征为偏好刻画信息;

基于每个所述第一训练用交互渲染流数据的交互渲染元素,对该第一训练用交互渲染流数据对应的目标参考交互渲染流数据中除所述等待加载特征之外的其它偏好映射特征进行元素代替,获得该第一训练用交互渲染流数据匹配的参考交互渲染流数据。

譬如,在第一方面的一种可能的实施方式中,在所述将每个所述第二训练用交互渲染流数据加载至所述用户交互偏好决策网络中,以使所述用户交互偏好决策网络对每个所述第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个所述第二训练用交互渲染流数据对应的用户交互偏好输出数据之前,所述方法还包括:

针对每个所述第二训练用交互渲染流数据,判断该第二训练用交互渲染流数据的渲染数量是否大于门限数量,若是,对该第二训练用交互渲染流数据进行二次优化,进而调整该第二训练用交互渲染流数据;

其中,所述对该第二训练用交互渲染流数据进行二次优化,包括:

基于该第二训练用交互渲染流数据中每个渲染流单位对应的交互渲染片段信息,从该第二训练用交互渲染流数据的所有渲染流单位中确定满足二次优化要求的至少一个目标渲染流单位,其中,每个所述目标渲染流单位包含的交互渲染片段包括至少一个重要交互渲染片段和至少一个非重要交互渲染片段;

针对该第二训练用交互渲染流数据的每个所述目标渲染流单位的每个非重要交互渲染片段,判断该非重要交互渲染片段对该目标渲染流单位的用户分析属性信息的激励参数值是否小于预设激励参数值,当判断出该非重要交互渲染片段对该目标渲染流单位的用户分析属性信息的激励参数值小于预设激励参数值时,去除该非重要交互渲染片段,其中,所述用户分析属性信息包括用户交互意图和/或用户交互偏好。

第二方面,本申请实施例还提供一种元宇宙互动系统,所述元宇宙互动系统包括处理器和机器可读存储介质,所述机器可读存储介质中存储有计算机程序,所述计算机程序结合该处理器加载并执行以实现以上第一方面的在元宇宙交互场景下的图像AI处理方法。

第三方面,本申请实施例提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于被处理器执行时,以实现以上第一方面的在元宇宙交互场景下的图像AI处理方法。

第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序或计算机可执行指令,所述计算机程序或计算机可执行指令被处理器执行时,以实现以上第一方面的在元宇宙交互场景下的图像AI处理方法。

本申请实施例至少具有以下有益效果:

本申请实施例基于第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征依据预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,计算每个图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,由此提高交互渲染图像资源的优化速度,并且提高后续用户交互偏好分析和虚拟组件推送配置的有效性。

附图说明

图1为本申请实施例提供的在元宇宙交互场景下的图像AI处理方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的基础上相互结合。

在以下的描述中,所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的基础上可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义,本申请实施例所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。

步骤S101、基于所述满足模型部署条件的图像语义特征提取模型提取元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征。

步骤S102、基于第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征,依据预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇。

其中,图像语义特征可包括视觉层特征、对象层特征和概念层特征,视觉层即通常所理解的底层,即颜色、纹理和形状等等,这些特征都被称为底层特征语义;对象层即中间层,通常包含了属性特征等,就是某一对象在某一时刻的状态;概念层是高层,是图像表达出的最接近人类理解的东西。通俗点说,比如图像有沙子,蓝天,海水等,视觉层是一块块的区分,对象层是沙子、蓝天和海水,概念层就是海滩,可以理解为该图像表现出的图像语义特征。

一种示例性的设计思路中,不同的图像资源聚类簇中包括的任一交互渲染图像资源均不同,即该第一交互渲染图像资源序列中的所有交互渲染图像资源基于预置的图像资源聚类规则被各自分配到不同的聚类簇,并且可以预设不同的图像资源聚类规则来对第一交互渲染图像资源序列进行划分。

一种示例性的设计思路中,将第一交互渲染图像资源序列中的所有交互渲染图像资源依据预置的图像资源聚类规则分簇为多个图像资源聚类簇,包括:计算标定交互渲染图像资源对应的图像语义特征与第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征之间的第一特征代价值;确定多个特征代价值区间,其中,不同的特征代价值区间不存在重叠的特征代价值;针对所有第一特征代价值,确定每个第一特征代价值所关联的特征代价值区间,并将每个第一特征代价值对应的交互渲染图像资源分类至其所关联的特征代价值区间所对应的图像资源聚类簇,获得多个图像资源聚类簇;或者,对于第一交互渲染图像资源序列中的每个交互渲染图像资源,基于注意力机制将该交互渲染图像资源对应的图像语义特征进行代表性特征提取,获得该交互渲染图像资源对应的代表性特征,并对该交互渲染图像资源对应的代表性特征进行分桶,获得该交互渲染图像资源对应的多个代表性分桶特征;

针对当前确定的待聚类第一交互渲染图像资源序列中每个待聚类交互渲染图像资源,基于该待聚类交互渲染图像资源对应的所有代表性分桶特征以及待聚类第一交互渲染图像资源序列中每个其它待聚类交互渲染图像资源对应的所有代表性分桶特征,从所有其它待聚类交互渲染图像资源中确定与该待聚类交互渲染图像资源对应的所有交互渲染图像资源,并将该待聚类交互渲染图像资源以及该待聚类交互渲染图像资源关联的所有交互渲染图像资源确定为一个图像资源聚类簇,并从待聚类第一交互渲染图像资源序列中移除该待聚类交互渲染图像资源以及与该待聚类交互渲染图像资源关联的所有交互渲染图像资源,进而调整待聚类第一交互渲染图像资源序列,并遍历执行的针对当前确定的待聚类第一交互渲染图像资源序列中每个待聚类交互渲染图像资源,基于该待聚类交互渲染图像资源对应的所有代表性分桶特征以及待聚类第一交互渲染图像资源序列中每个其它待聚类交互渲染图像资源对应的所有代表性分桶特征,从所有其它待聚类交互渲染图像资源中确定与该待聚类交互渲染图像资源对应的所有交互渲染图像资源,并将该待聚类交互渲染图像资源以及该待聚类交互渲染图像资源关联的所有交互渲染图像资源确定为一个图像资源聚类簇,并从待聚类第一交互渲染图像资源序列中移除该待聚类交互渲染图像资源以及与该待聚类交互渲染图像资源关联的所有交互渲染图像资源,直至待聚类第一交互渲染图像资源序列中不存在待聚类交互渲染图像资源;

其中,该初始确定出的待聚类第一交互渲染图像资源序列为第一交互渲染图像资源序列,第一交互渲染图像资源序列中的每个交互渲染图像资源对应的每个代表性分桶特征存在对应的图像分块位置,同一图像资源聚类簇中的每个交互渲染图像资源对应的所有代表性分桶特征中,图像分块位置相同的代表性分桶特征相同。

一种示例性的设计思路中,标定交互渲染图像资源为计算第一特征代价值的参照交互渲染图像资源,该标定交互渲染图像资源可以为任一交互渲染图像资源,示例性地,该标定交互渲染图像资源可以为第一交互渲染图像资源序列中的任一交互渲染图像资源,也可以为除第一交互渲染图像资源序列中所有交互渲染图像资源以外的任一交互渲染图像资源。

一种示例性的设计思路中,第一特征代价值可以用于表征交互渲染图像资源之间的关联度。

一种示例性的设计思路中,代表性分桶特征的图像分块位置表征该代表性分桶特征在其对应的代表性特征中的位置,以及该代表性分桶特征对应的交互渲染图像资源分块在该代表性特征对应的交互渲染图像资源中的位置,示例性地,该图像分块位置可以为每个代表性分桶特征在其对应的代表性特征中的分块描述。

譬如,一种示例性的设计思路中,确定多个特征代价值区间可以包括:

确定出所有标定交互渲染图像资源对应的图像语义特征与第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征之间的第一特征代价值中的最大特征代价值;将该最大特征代价值对应的特征代价值段划分为多个子特征代价值段,获得多个子特征代价值段分别对应的多个特征代价值区间。

其中,该最大特征代价值的划分方式可以是:将该最大特征代价值对应的特征代价值段等距划分,获得多个区间长度相同的子特征代价值段。

由此,本实施例通过对第一特征代价值中的最大特征代价值对应的特征代价值段进行划分,获得多个特征代价值区间,以提高对第一交互渲染图像资源序列中所有交互渲染图像资源进行交互渲染图像资源分簇的精度。

由此,本实施例通过确定每个第一特征代价值所关联的特征代价值区间,将每个第一特征代价值对应的交互渲染图像资源划分至其所关联的特征代价值区间所对应的图像资源聚类簇中,或者通过每个待聚类交互渲染图像资源的所有代表性分桶特征从待聚类第一交互渲染图像资源序列中确定出划分至一个图像资源聚类簇中的所有待聚类交互渲染图像资源,由此提高每个图像资源聚类簇中所有交互渲染图像资源之间内容匹配度,进而提高交互渲染图像资源优化精度和速度。

步骤S103、针对每个所述图像资源聚类簇,计算该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,获得完成图像资源优化后的第二交互渲染图像资源序列。

另一种示例性的设计思路中,针对每个图像资源聚类簇,基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,包括:基于预置的门限匹配值,从图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值中确定出内容匹配值不小于门限匹配值的一个或多个目标内容匹配值;针对每个目标内容匹配值,从该目标内容匹配值对应的两个交互渲染图像资源中选择冗余交互渲染图像资源,并移除该冗余交互渲染图像资源。

一种示例性的设计思路中,若从图像资源聚类簇中的5个内容匹配值中确定出3个目标内容匹配值,从该3个目标内容匹配值各自对应的两个交互渲染图像资源(共6个交互渲染图像资源)中选择一个交互渲染图像资源移除,则该3个目标内容匹配值对应的交互渲染图像资源还剩余3个,该图像资源聚类簇中还剩余5×2-3=7个交互渲染图像资源。

譬如,一种示例性的设计思路中,预置的门限匹配值的确定方式可以是:确定该图像资源聚类簇中交互渲染图像资源组合的数量,该交互渲染图像资源对由该图像资源聚类簇中每两个交互渲染图像资源组成;将该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值相加,获得内容匹配值之和;计算该内容匹配值之和与交互渲染图像资源组合的数量之商,获得目标数值,并将该目标数值确定为门限匹配值;

其中,在确定该图像资源聚类簇中交互渲染图像资源组合的数量之后,预置的门限匹配值的确定方式还可以是:将该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值乘以其对应的重要性数值,获得该图像资源聚类簇中每两个交互渲染图像资源对应的融合内容匹配值,并将该图像资源聚类簇中每两个交互渲染图像资源对应的融合内容匹配值相加,获得融合内容匹配值之和;计算该融合内容匹配值之和与交互渲染图像资源组合的数量之商,获得目标数值,并将该目标数值确定为门限匹配值。

示例性地:图像资源聚类簇中有5个交互渲染图像资源,该图像资源聚类簇中每两个交互渲染图像资源组合能够组成10个交互渲染图像资源对,10个交互渲染图像资源对分别对应10个内容匹配值,则可以将10个交互渲染图像资源对对应的内容匹配值的目标数值或者加权目标数值确定为门限匹配值。

步骤S104、对所述第二交互渲染图像资源序列进行用户交互行为还原,获得目标交互渲染流数据,基于预先训练完成的目标用户交互偏好决策网络对所述目标交互渲染流数据进行用户交互偏好决策,生成所述目标用户在本轮交互过程的用户交互偏好数据,并基于所述用户交互偏好数据对所述目标用户进行虚拟组件推送配置。

其中,用户交互行为还原具体可以是基于所述第二交互渲染图像资源序列中的每个第二交互渲染图像资源所在交互场景位置信息和交互时间信息,对所述第二交互渲染图像资源序列进行还原整理,进而获得目标交互渲染流数据。在此基础上,基于预先训练完成的目标用户交互偏好决策网络对所述目标交互渲染流数据进行用户交互偏好决策,生成所述目标用户在本轮交互过程的用户交互偏好数据,关于所述目标用户交互偏好决策网络的训练方案可以参见后续实施例的相关描述。此外,可以预先配置不同的用户交互偏好与虚拟组件(如某个电商购物体验组件)之间的对应关系,进而基于该对应关系对所述目标用户进行虚拟组件推送配置。

由此,本申请实施例通过门限匹配值确定出图像资源聚类簇中需要移除交互渲染图像资源,由此提高交互渲染图像资源的优化可靠性,并且通过确定图像资源聚类簇中每两个交互渲染图像资源之间的平均内容匹配值或者加权平均内容匹配值为门限匹配值,从而进一步提高确定第一交互渲染图像资源序列中需要优化的交互渲染图像资源的精度,进而提高交互渲染图像资源的优化速度。

由此,本申请实施例通过计算标定交互渲染图像资源与元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征之间的特征代价值,并基于预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,计算每个图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,由此提高交互渲染图像资源的优化速度。

下面提供本申请实施例的另一种在元宇宙交互场景下的图像AI处理方法,该方法可以包括以下步骤:

步骤S201、对预置的初始化特征提取模型进行模数权重参数更新直至满足模型部署条件,获得满足模型部署条件的图像语义特征提取模型。

一种示例性的设计思路中,初始化特征提取模型至少包括两个部分:特征嵌入单元、多个图像语义理解单元,其中,特征嵌入单元用于将图像分块数据对应的图像语义向量映射为一个固定维度的密集矢量的映射层;图像语义理解单元基于对大脑视皮层的结构、机理和功能的理解,在具有联想和记忆功能的卷积深度置信网络(Convolutional DeepBelief Network,CDBN)的基础上,增加了情境特征聚类、结构特征提取、特征再选择等模块,通过对卷积核和特征图可视化,验证和分析了CDBN模型的特征学习能力,特征聚类更是在简化网络结构的基础上保留判别型特征,模型通过对结构特征的提取,实现了模糊行为内容理解向量的精确识别,具有更好更鲁棒的识别能力。

一种示例性的设计思路中,对预置的初始化特征提取模型进行模数权重参数更新直至满足模型部署条件,获得满足模型部署条件的图像语义特征提取模型的具体方式包括:

获取先验搜集的样本第一交互渲染图像资源序列,样本第一交互渲染图像资源序列包括多个样本交互渲染图像资源组合,每个样本交互渲染图像资源组合包括相应的第一样本交互渲染图像资源及该第一样本交互渲染图像资源对应的第二样本交互渲染图像资源,该第一样本交互渲染图像资源对应的第二样本交互渲染图像资源是对该第一样本交互渲染图像资源执行图像特征衍生和扩展获得的;将所有样本交互渲染图像资源组合分别加载至预置的初始化特征提取模型以对初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型;判断完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件,当满足模型部署条件时,将完成本轮知识学习的图像语义特征提取模型确定为满足模型部署条件的图像语义特征提取模型。

由此,本实施例能够将第一样本交互渲染图像资源以及对第一样本交互渲染图像资源执行图像特征衍生和扩展获得的第二样本交互渲染图像资源构成的样本交互渲染图像资源组合分别加载至初始化特征提取模型进行模型知识学习,直至完成本轮知识学习的图像语义特征提取模型收敛而得到满足模型部署条件的图像语义特征提取模型,即通过扩大样本交互渲染图像资源的数量以降低图像语义特征提取模型对部分特征的依赖、提高图像语义特征提取模型的性能,由此提高图像语义特征提取模型分析相近似的交互渲染图像资源的精度,进而提高交互渲染图像资源的优化速度。

一种示例性的设计思路中,图像特征衍生和扩展至少包括图像特征替换、图像特征融合、图像特征剪切中的至少一种;

其中,对于任一第一样本交互渲染图像资源,图像特征替换用于将该第一样本交互渲染图像资源中目标图像元素类别的图像元素替换为同图像元素类别的衍生图像元素;对于任一第一样本交互渲染图像资源,图像特征融合用于将该第一样本交互渲染图像资源与确定出的一个或多个成员交互渲染图像资源进行融合,每个成员交互渲染图像资源均包含目标图像元素类别的图像元素且每个成员交互渲染图像资源均包含的目标图像元素类别的图像元素与该第一样本交互渲染图像资源中包含的目标图像元素类别的图像元素场景相同,且成员交互渲染图像资源为其它第一样本交互渲染图像资源或者从确定出的融合用第一交互渲染图像资源序列中确定出的交互渲染图像资源;对于任一第一样本交互渲染图像资源,图像特征剪切用于对该第一样本交互渲染图像资源中目标图像元素类别的图像元素前后的交互渲染图像资源进行截断得到该第一样本交互渲染图像资源对应的至少两个子交互渲染图像资源,并从该第一样本交互渲染图像资源对应的所有子交互渲染图像资源中选择其中一个交互渲染图像资源。

另一种示例性的设计思路中,判断完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件,包括:

计算完成本轮知识学习的图像语义特征提取模型的误差评估指标,并基于误差评估指标判断完成本轮知识学习的图像语义特征提取模型是否满足模型部署条件;

其中,计算完成本轮知识学习的图像语义特征提取模型的误差评估指标,包括:针对每个样本交互渲染图像资源组合,基于该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一语义特征提取结果与该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二语义特征提取结果之间的特征损失值,确定每个样本交互渲染图像资源组合所对应的子误差评估指标;基于所有样本交互渲染图像资源组合所对应的子误差评估指标,计算完成本轮知识学习的图像语义特征提取模型的误差评估指标。

一种示例性的设计思路中,针对每个样本交互渲染图像资源组合,该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一语义特征提取结果包括将该样本交互渲染图像资源组合中的第一样本交互渲染图像资源加载到初始化特征提取模型之后得到的语义特征提取结果再加载到预置的全连接网络单元之后得到的语义特征提取结果,该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二语义特征提取结果包括该样本交互渲染图像资源组合中的第二样本交互渲染图像资源加载到初始化特征提取模型之后得到的语义特征提取结果。

由此,通过每个样本交互渲染图像资源组合中第一样本交互渲染图像资源对应的第一语义特征提取结果与目标样本交互渲染图像资源对应的第二语义特征提取结果之间的特征损失值计算其对应的子误差评估指标,并基于子误差评估指标计算完成本轮知识学习的图像语义特征提取模型的误差评估指标,从而实现通过使得第一语义特征提取结果与第二语义特征提取结果之间的内容匹配值逐渐靠拢来更新图像语义理解单元的模型权重参数,从而减小完成本轮知识学习的图像语义特征提取模型的误差评估指标,进而提高模型收敛优化的精度。

另一种示例性的设计思路中,将所有样本交互渲染图像资源组合分别加载至预置的初始化特征提取模型以对初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型,包括:针对每个样本交互渲染图像资源组合,分别对该样本交互渲染图像资源组合中的第一样本交互渲染图像资源及该样本交互渲染图像资源组合中的第二样本交互渲染图像资源执行图像分块,获得该样本交互渲染图像资源组合中的第一样本交互渲染图像资源对应的第一图像分块数据以及该样本交互渲染图像资源组合中的目标样本交互渲染图像资源对应的第二图像分块数据;针对每个样本交互渲染图像资源组合,基于图像语义编码网络生成第一图像分块数据对应的图像语义向量以及第二图像分块数据对应的图像语义向量;针对每个样本交互渲染图像资源组合,将第一图像分块数据对应的图像语义向量以及第二图像分块数据对应的图像语义向量成对加载到确定出的初始化特征提取模型进行模型知识学习生成完成本轮知识学习的图像语义特征提取模型。

步骤S202、基于满足模型部署条件的图像语义特征提取模型提取元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征。

步骤S203、基于第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征,依据预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇。

步骤S204、针对每个图像资源聚类簇,计算该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值。

步骤S205、针对每个图像资源聚类簇,基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化。

一种示例性的设计思路中,针对步骤S202-步骤S205的具体内容可以参考前述针对步骤S101-步骤S104的方案。

由此,本实施例对预置的初始化特征提取模型进行模数权重参数更新直至满足模型部署条件,获得满足模型部署条件的图像语义特征提取模型,然后基于满足模型部署条件的图像语义特征提取模型提取元宇宙交互场景下的目标用户在单轮交互过程中调取的第一交互渲染图像资源序列中每个交互渲染图像资源对应的图像语义特征,并依据预置的图像资源聚类规则将第一交互渲染图像资源序列中的所有交互渲染图像资源分簇为多个图像资源聚类簇,计算每个图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值,并基于该图像资源聚类簇中每两个交互渲染图像资源之间的内容匹配值与预置的门限匹配值,对该图像资源聚类簇中的交互渲染图像资源进行图像资源优化,由此提高交互渲染图像资源的优化速度。

下面提供本申请实施例的一种基于人工智能的用户交互偏好分析方法,包括以下步骤。

步骤D101、确定携带先验用户偏好数据的至少一个第一训练用交互渲染流数据。

一些示例性的设计思路中,确定携带先验用户偏好数据的至少一个第一训练用交互渲染流数据,可以包括:获取至少一个用于网络收敛优化的范例交互渲染流数据;针对每个范例交互渲染流数据,基于预置的至少一个用户偏好标签,从该范例交互渲染流数据中提取每个用户偏好标签对应的渲染编码向量,获得每个用户偏好标签对应的偏好映射特征;基于预置的训练关联规则,对从每个范例交互渲染流数据中提取到的所有用户偏好标签对应的偏好映射特征进行训练关联,获得携带先验用户偏好数据的至少一个第一训练用交互渲染流数据。

由此,能够在提取多个用户偏好标签对应的偏好映射特征后,关联所有用户偏好标签对应的偏好映射特征,获得第一训练用交互渲染流数据,以使用户交互偏好决策网络统一处理所有用户偏好标签对应的偏好映射特征,提高了用户交互偏好决策网络处理训练用交互渲染流数据的速度,并且能够提高网络知识学习中同一训练用交互渲染流数据的不同用户偏好标签对应的偏好映射特征之间的关联性,有利于用户交互偏好决策网络准确分析训练用交互渲染流数据的整体特征,提高用户交互偏好决策网络的网络学习性能。

步骤D102、在每个第一训练用交互渲染流数据的设定渲染节点添加该第一训练用交互渲染流数据匹配的参考交互渲染流数据,获得至少一个用于网络收敛优化的第二训练用交互渲染流数据。

一些示例性的设计思路中,参考交互渲染流数据包括用于表征模糊用户交互偏好的目标渲染帧数据。

步骤D103、将每个第二训练用交互渲染流数据加载至初始化权重参数的用户交互偏好决策网络中,以使用户交互偏好决策网络对每个第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个第二训练用交互渲染流数据对应的用户交互偏好输出数据。

一些示例性的设计思路中,每个第二训练用交互渲染流数据对应的用户交互偏好输出数据包括该第二训练用交互渲染流数据中的目标渲染帧数据的输出数据,输出数据为相应第二训练用交互渲染流数据的偏好输出数据。可选的,每个第二训练用交互渲染流数据的偏好输出数据包括至少一个单元输出数据以及每个单元输出数据对应的偏好决策置信度。

一些示例性的设计思路中,用户交互偏好决策网络对每个第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个第二训练用交互渲染流数据对应的用户交互偏好输出数据,可以包括:由用户交互偏好决策网络对应的互动内容特征提取单元对每个第二训练用交互渲染流数据执行互动内容特征提取,获得每个第二训练用交互渲染流数据对应的互动内容特征,每个第二训练用交互渲染流数据对应的互动内容特征包括该第二训练用交互渲染流数据对应的交互渲染内容特征、该第二训练用交互渲染流数据对应的渲染节点特征以及该第二训练用交互渲染流数据对应的语义卷积特征;由用户交互偏好决策网络对应的全连接网络单元对每个第二训练用交互渲染流数据对应的互动内容特征进行分析,获得该第二训练用交互渲染流数据对应的用户交互偏好输出数据。

由此,能够基于训练用交互渲染流数据的交互渲染内容特征、渲染节点特征和语义卷积特征来对训练用交互渲染流数据的交互偏好进行预测,便于提高网络知识学习流程中同一训练用交互渲染流数据的不同词汇和不同句子之间的关联性,从而有利于用户交互偏好决策网络准确分析训练用交互渲染流数据整体语义,提高用户交互偏好决策网络的网络学习性能。

一些示例性的设计思路中,用户交互偏好决策网络对应的互动内容特征提取单元对每个第二训练用交互渲染流数据执行互动内容特征提取,获得每个第二训练用交互渲染流数据对应的互动内容特征,可以包括:

由用户交互偏好决策网络对应的互动内容特征提取单元基于每个第二训练用交互渲染流数据中每个交互渲染片段所对应的特征嵌入向量,生成该第二训练用交互渲染流数据对应的交互渲染内容特征;或者,由用户交互偏好决策网络对应的互动内容特征提取单元基于每个第二训练用交互渲染流数据的第一训练用交互渲染流数据中每个交互渲染片段对应的特征嵌入向量以及该第二训练用交互渲染流数据的参考交互渲染流数据中除目标渲染帧数据之外的每个交互渲染片段对应的行为内容理解向量,生成该第二训练用交互渲染流数据对应的交互渲染内容特征,其中,参考交互渲染流数据中每个交互渲染片段对应的行为内容理解向量包括该交互渲染片段在该交互渲染片段对应的一个或多个场景模态中对应的子行为内容理解向量;由互动内容特征提取单元基于每个第二训练用交互渲染流数据中每个交互渲染片段在该第二训练用交互渲染流数据中对应的渲染节点信息生成该第二训练用交互渲染流数据对应的渲染节点特征以及该第二训练用交互渲染流数据对应的语义卷积特征,其中,每个第二训练用交互渲染流数据对应的语义卷积特征表征该第二训练用交互渲染流数据中每个交互渲染片段在该第二训练用交互渲染流数据中所关联的交互渲染事件。

一些示例性的设计思路中,由用户交互偏好决策网络对应的互动内容特征提取单元基于每个第二训练用交互渲染流数据的第一训练用交互渲染流数据中每个交互渲染片段对应的特征嵌入向量以及该第二训练用交互渲染流数据的参考交互渲染流数据中除目标渲染帧数据之外的每个交互渲染片段对应的行为内容理解向量,生成该第二训练用交互渲染流数据对应的交互渲染内容特征,可以包括:由用户交互偏好决策网络对应的互动内容特征提取单元基于每个第二训练用交互渲染流数据的第一训练用交互渲染流数据中每个交互渲染片段对应的特征嵌入向量,生成该第二训练用交互渲染流数据对应的第一交互渲染内容特征,并由互动内容特征提取单元基于每个第二训练用交互渲染流数据的参考交互渲染流数据中除目标渲染帧数据之外的每个交互渲染片段对应的行为内容理解向量,生成该参考交互渲染流数据对应的片段特征向量,作为该第二训练用交互渲染流数据对应的第二交互渲染内容特征;由互动内容特征提取单元基于每个第二训练用交互渲染流数据对应的第一交互渲染内容特征和该第二训练用交互渲染流数据对应的第二交互渲染内容特征,确定该第二训练用交互渲染流数据对应的交互渲染内容特征。

步骤D104、基于所有第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有第一训练用交互渲染流数据对应的先验用户偏好数据,判断用户交互偏好决策网络是否达到训练终止要求。

一些示例性的设计思路中,基于所有第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有第一训练用交互渲染流数据对应的先验用户偏好数据,判断用户交互偏好决策网络是否达到训练终止要求,可以包括:针对每个第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据对应的用户交互偏好输出数据与相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,作为该第二训练用交互渲染流数据对应的特征距离;基于所有第二训练用交互渲染流数据对应的特征距离,计算用户交互偏好决策网络的损失函数值;判断损失函数值是否不大于设定损失函数值;当所述损失函数值不大于设定损失函数值时,确定用户交互偏好决策网络达到训练终止要求,当未达到训练终止要求时,确定用户交互偏好决策网络未达到训练终止要求。

一些示例性的设计思路中,针对每个第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据对应的用户交互偏好输出数据与相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,可以包括:针对每个第二训练用交互渲染流数据,将该第二训练用交互渲染流数据的偏好输出数据中对应的偏好决策置信度符合设定置信度要求的单元输出数据确定为该第二训练用交互渲染流数据的目标偏好输出数据;针对每个第二训练用交互渲染流数据,确定该第二训练用交互渲染流数据的目标偏好输出数据与其相应的第一训练用交互渲染流数据对应的先验用户偏好数据之间的特征距离,作为该第二训练用交互渲染流数据对应的特征距离。

由此,能够从用户交互偏好决策网络输出的多个输出数据中选取偏好决策置信度符合设定置信度要求的输出数据作为最终的输出数据,降低了非必要的输出数据对计算损失函数值的干扰程度,提高了计算用户交互偏好决策网络的损失函数值的精确性,从而便于提高用户交互偏好决策网络的网络学习性能。

一些示例性的设计思路中,基于所有第二训练用交互渲染流数据对应的特征距离,计算用户交互偏好决策网络的损失函数值,可以包括:基于每个第二训练用交互渲染流数据的目标偏好输出数据对应的偏好决策置信度,确定该第二训练用交互渲染流数据对应的影响力参数;基于所有第二训练用交互渲染流数据对应的特征距离以及所有第二训练用交互渲染流数据对应的影响力参数,计算用户交互偏好决策网络的损失函数值。

一些示例性的设计思路中,每个第二训练用交互渲染流数据对应的用户交互偏好输出数据包括该第二训练用交互渲染流数据对应的用户交互偏好向量,每个第二训练用交互渲染流数据对应的用户交互偏好向量包括该第二训练用交互渲染流数据中每个交互渲染片段对应的片段偏好向量,其中,每个第二训练用交互渲染流数据中目标渲染帧数据对应的片段偏好向量的向量信息包括该目标渲染帧数据的输出数据;以及,针对每个第二训练用交互渲染流数据,将该第二训练用交互渲染流数据的偏好输出数据中对应的偏好决策置信度符合设定置信度要求的单元输出数据确定为该第二训练用交互渲染流数据的目标偏好输出数据之前,该方法还可以包括:

针对每个第二训练用交互渲染流数据,基于目标渲染帧数据在该第二训练用交互渲染流数据中的位置,从该第二训练用交互渲染流数据对应的用户交互偏好向量中确定该目标渲染帧数据对应的片段偏好向量的向量信息,作为该第二训练用交互渲染流数据的偏好输出数据。

步骤D105、当步骤D104的未达到训练终止要求时,更新用户交互偏好决策网络的网络权重配置信息,并返回实施步骤D103以及执行步骤D104。

步骤D106、当步骤D104的达到训练终止要求时,结束当前流程,获得达到训练终止要求的目标用户交互偏好决策网络,目标用户交互偏好决策网络用于分析所述目标交互渲染流数据的用户交互偏好。

一种示例性的设计思路中,在将每个第二训练用交互渲染流数据加载至用户交互偏好决策网络中,以使用户交互偏好决策网络对每个第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个第二训练用交互渲染流数据对应的用户交互偏好输出数据之前,该方法还可以包括:

针对每个第二训练用交互渲染流数据,判断该第二训练用交互渲染流数据的渲染数量是否大于门限数量,若是,对该第二训练用交互渲染流数据进行二次优化,进而调整该第二训练用交互渲染流数据。

由此,能够在训练用交互渲染流数据的渲染数量过长时对训练用交互渲染流数据进行二次优化,减少由于训练用交互渲染流数据过长而导致用户交互偏好决策网络无法分析训练用交互渲染流数据的情况发生,从而提高训练用户交互偏好决策网络的可靠性。

一些示例性的设计思路中,对该第二训练用交互渲染流数据进行二次优化,可以包括:

基于该第二训练用交互渲染流数据中每个渲染流单位对应的交互渲染片段信息,从该第二训练用交互渲染流数据的所有渲染流单位中确定满足二次优化要求的至少一个目标渲染流单位,其中,每个目标渲染流单位包含的交互渲染片段包括至少一个重要交互渲染片段和至少一个非重要交互渲染片段;针对该第二训练用交互渲染流数据的每个目标渲染流单位的每个非重要交互渲染片段,判断该非重要交互渲染片段对该目标渲染流单位的用户分析属性信息的激励参数值是否小于预设激励参数值,当判断出该非重要交互渲染片段对该目标渲染流单位的用户分析属性信息的激励参数值小于预设激励参数值时,去除该非重要交互渲染片段,其中,用户分析属性信息包括用户交互意图和/或用户交互偏好。

由此,能够在训练用交互渲染流数据的渲染数量较长且非重要交互渲染片段对用户分析属性信息的激励参数值较低时去除非重要交互渲染片段,从而减少由于非重要交互渲染片段过度占用资源而导致重要交互渲染片段丢失,便于提高用户交互偏好决策网络对训练用交互渲染流数据用户交互偏好决策的准确性,还能够提高用户交互偏好决策网络分析训练用交互渲染流数据交互偏好的速度。

基于以上实施例,在用于网络收敛优化的第一训练用交互渲染流数据中添加参考交互渲染流数据,以引导初始化权重参数的用户交互偏好决策网络对第一训练用交互渲染流数据进行分析并决策参考交互渲染流数据中模糊渲染流数据所指代的交互偏好,也即采用结合参考交互渲染流数据进行训练的方案对用户交互偏好决策网络进行优化,提高了用户交互偏好决策网络用户交互偏好决策网络的网络收敛性能和深度,进而提高用户交互偏好决策的可靠性。

下面提供本申请实施例的另一种基于人工智能的用户交互偏好分析方法,包括以下步骤。

步骤D201、确定携带先验用户偏好数据的至少一个第一训练用交互渲染流数据。

步骤D202、确定每个第一训练用交互渲染流数据中符合设定引用要求的交互渲染元素。

一些示例性的设计思路中,确定每个第一训练用交互渲染流数据中符合设定引用要求的交互渲染元素,可以包括:对每个第一训练用交互渲染流数据进行元素读取,获得每个第一训练用交互渲染流数据中的所有初始渲染元素;针对每个第一训练用交互渲染流数据中的每个初始渲染元素,判断该初始渲染元素的渲染元素类型是否与预置的至少一种引用渲染元素类型相匹配,当该初始渲染元素的渲染元素类型与预置的至少一种引用渲染元素类型相匹配时,将该初始渲染元素确定为满足所述设定引用要求的交互渲染元素;由此,提高了提取到的交互渲染元素与偏好丰富度的关联度。

步骤D203、基于每个第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据匹配的参考交互渲染流数据。

一些示例性的设计思路中中,基于每个第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据匹配的参考交互渲染流数据,可以包括:

基于每个第一训练用交互渲染流数据的交互渲染元素确定该第一训练用交互渲染流数据对应的偏好丰富度;

针对每个第一训练用交互渲染流数据,将预置的多个原始参考交互渲染流数据中与该第一训练用交互渲染流数据对应的偏好丰富度相匹配的原始参考交互渲染流数据确定为该第一训练用交互渲染流数据对应的目标参考交互渲染流数据,其中,原始参考交互渲染流数据包括第一类参考交互渲染流数据和/或第二类参考交互渲染流数据,第一类参考交互渲染流数据对应的等待加载特征为偏好度量值信息,第二类参考交互渲染流数据对应的等待加载特征为偏好刻画信息;

基于每个第一训练用交互渲染流数据的交互渲染元素,对该第一训练用交互渲染流数据对应的目标参考交互渲染流数据中除等待加载特征之外的其它偏好映射特征进行元素代替,获得该第一训练用交互渲染流数据匹配的参考交互渲染流数据。

由此,能够基于第一训练用交互渲染流数据的偏好丰富度确定第一训练用交互渲染流数据的参考交互渲染流数据,提高了参考交互渲染流数据与第一训练用交互渲染流数据的匹配程度,并且通过对原始参考交互渲染流数据进行元素代替,能够提高参考交互渲染流数据的生成速度,并进一步提高参考交互渲染流数据与第一训练用交互渲染流数据的关联度。

步骤D204、在每个第一训练用交互渲染流数据的设定渲染节点添加该第一训练用交互渲染流数据匹配的参考交互渲染流数据,获得至少一个用于网络收敛优化的第二训练用交互渲染流数据。

步骤D205、将每个第二训练用交互渲染流数据加载至初始化权重参数的用户交互偏好决策网络中,以使用户交互偏好决策网络对每个第二训练用交互渲染流数据的交互特征数据进行深度知识分析,获得每个第二训练用交互渲染流数据对应的用户交互偏好输出数据。

步骤D206、基于所有第二训练用交互渲染流数据对应的用户交互偏好输出数据和所有第一训练用交互渲染流数据对应的先验用户偏好数据,判断用户交互偏好决策网络是否达到训练终止要求。

步骤D207、当步骤D206的未达到训练终止要求时,更新用户交互偏好决策网络的网络权重配置信息,并返回实施步骤D205以及执行步骤D206。

步骤D208、当达到训练终止要求时,结束当前流程,获得达到训练终止要求的目标用户交互偏好决策网络,目标用户交互偏好决策网络用于分析所述目标交互渲染流数据的用户交互偏好。

一些示例性的设计思路中,针对步骤D201、步骤D204、步骤D205、步骤D206、步骤D207、步骤D208的其它描述,可以参考前述针对步骤D101-步骤D106的详细描述,本发明实施例不再赘述。

可见,实施本发明实施例能够在用于网络收敛优化的第一训练用交互渲染流数据中添加参考交互渲染流数据,以引导初始化权重参数的用户交互偏好决策网络对第一训练用交互渲染流数据进行分析并预测参考交互渲染流数据中模糊渲染流数据所指代的交互偏好,也即采用模板学习的训练方法训练用户交互偏好决策网络,提高了模型训练方法与用户交互偏好决策网络自身特点的匹配程度,减少了因模型训练的下游任务与模型自身特点不匹配进而导致在模型训练中必须调整或放弃模型自身特点的情况发生,提高了用户交互偏好决策网络的网络学习性能和训练速度,进而提高文本用户交互偏好决策的准确性,此外,基于第一训练用交互渲染流数据中的交互渲染元素确定第一训练用交互渲染流数据的参考交互渲染流数据,提高了添加的参考交互渲染流数据的多样性以及参考交互渲染流数据与第一训练用交互渲染流数据的匹配程度,进而便于提高用户交互偏好决策网络对训练用交互渲染流数据的分析准确性。

一些设计思路中,提供了一种元宇宙互动系统,该元宇宙互动系统可以是服务器,该元宇宙互动系统包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该元宇宙互动系统的处理器用于提供计算和控制能力。该元宇宙互动系统的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该元宇宙互动系统的数据库用于存储上述方法所涉及的数据。该元宇宙互动系统的模型加载数据/输出接口用于处理器与外部设备之间交换信息。该元宇宙互动系统的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种在元宇宙交互场景下的图像AI处理方法。

一些设计思路中,提供了一种元宇宙互动系统,该元宇宙互动系统可以是终端。该元宇宙互动系统包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该元宇宙互动系统的处理器用于提供计算和控制能力。该元宇宙互动系统的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该元宇宙互动系统的模型加载数据/输出接口用于处理器与外部设备之间交换信息。该元宇宙互动系统的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其它技术实现。该计算机程序被处理器执行时以实现一种在元宇宙交互场景下的图像AI处理方法。该元宇宙互动系统的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏。

一些设计思路中,提供了一种元宇宙互动系统,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

一些设计思路中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

一些设计思路中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号