首页> 中国专利> 用于对话系统情景匹配的多模态融合学习分析方法和系统

用于对话系统情景匹配的多模态融合学习分析方法和系统

页面导航

摘要
著录项
法律信息
相似文献

摘要

本发明公开了一种用于对话系统情景匹配的多模态融合学习分析方法和系统，能够提高场景匹配率，提升用户体验，更加智能理解用户需求。其技术方案为：本发明处理和理解多源模态信息，分别对图像信息、音频信息和文本信息进行特征抽取得到各自特征的向量化表达，再将这些向量化表达通过注意力机制对不同模态的动态权重进行学习调整，同时对场景定义也进行特征抽取以得到其向量化表达，再将注意力机制加权后的输出向量和场景定义特征抽取后的输出向量，通过全连接层将这两个向量进行进一步的映射以进行转换，实现最终的分类决策动作。

著录项

公开/公告号CN111581470A

专利类型发明专利
公开/公告日2020-08-25

原文格式PDF
申请/专利权人上海乐言信息科技有限公司;
展开▼

申请/专利号CN202010415082.1
发明设计人王钦龙;沈李斌;赵迎功;李波;吴海华;
展开▼

申请日2020-05-15
分类号G06F16/906(20190101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);
代理机构31100 上海专利商标事务所有限公司;
代理人施浩
地址 200050 上海市长宁区长宁路1033号联通大厦16楼/18楼/19楼
入库时间 2023-12-17 11:45:16

法律信息

法律状态公告日

法律状态信息

法律状态
2020-08-25

公开

公开

相似文献

专利
中文文献
外文文献

1. 用于对话系统情景匹配的多模态融合学习分析方法和系统 [P] . 中国专利： CN111581470A . 2020-08-25
2. 基于深度摄像头的多模态信息融合的学习专注度分析方法 [P] . 中国专利： CN107122789A . 2017-09-01
3. Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system including seeding training samples or curating a corpus of training data based on instances of training data identified as anomalous [P] . 美国专利： US10679150B1 . 2020-06-09

机译：用于自动配置用于训练基于机器学习的对话系统的机器学习模型的训练数据的系统和方法，该系统和方法包括基于被识别为异常的训练数据的实例来播种训练样本或策划训练数据的语料库
4. Method and system for in-store shopper behavior analysis with multi-modal sensor fusion [P] . 美国专利： US10217120B1 . 2019-02-26

机译：多模态传感器融合的店内购物者行为分析方法和系统
5. Systems and methods for deep learning model based product matching using multi modal data [P] . US10949907B1 . 2021-03-16

机译：基于深度学习模型的系统和方法使用多模态数据匹配