首页> 中国专利> 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统

一种利用基于图的特定目标网络解决视频问答问题的方法及其系统

页面导航

摘要
著录项
相似文献

摘要

本发明公开了一种利用基于图的特定目标网络解决视频问答问题的方法及其系统，属于视频问答文本生成领域。主要包括如下步骤：1）针对于一组视频、问题、答案训练集，训练一个跨模态编码器，学习出视频信息和问题信息的联合表征。2）对于跨模态编码器编码完成的得到视频问题联合表达的神经网络的输出，通过一个解答模块根据数据集的不同问题训练不同的解码器，输出针对于视频和问题联合表达的自然语言答案。本发明采用一个更加细粒度的基于图的关系敏感的编码器来获得视频问答中的目标关系，采用一个特定目标的时序编码器来捕获特定目标的同质动态视觉线索，采用轨迹优化算法，减轻了复杂场景下目标检测的不足，有效提升了视频问答的性能。

著录项

公开/公告号CN111652357B

专利类型发明专利
公开/公告日2021-01-15

原文格式PDF
申请/专利权人浙江大学;
展开▼

申请/专利号CN202010795120.0
发明设计人赵洲;何金铮;顾茅;
展开▼

申请日2020-08-10
分类号G06N3/04(20060101);G06N3/08(20060101);G06K9/62(20060101);G06F16/78(20190101);G06F16/332(20190101);
代理机构33200 杭州求是专利事务所有限公司;
代理人郑海峰
地址 310058 浙江省杭州市西湖区余杭塘路866号
入库时间 2022-08-23 11:29:20

相似文献

专利
中文文献
外文文献

1. 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统 [P] . 中国专利： CN111652357B . 2021.01.15
2. 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统 [P] . 中国专利： CN111652357A . 2020-09-11
3. A deterrent and enforcement solution to address the problems caused as a result of mobile phone whilst driving. This innovative solution combines the use of highly visible vehicles monitoring the road network that will carry public messaging of the laws relating to mobile phone use while driving thereby deterring the behaviour. The solution also utilises mobile video surveillance of drivers activities within their vehicles, and where any phone use in a vehicle is perceived to have occurred it will be provided to the relevant authorities from the video recordings for their enforcement decision. [P] . AU2016101933A4 . 2016-12-01

机译：一种威慑和强制解决方案，用于解决驾驶时因手机引起的问题。这种创新的解决方案结合了使用高可见性的车辆来监视道路网络的功能，该车辆将在驾驶时向公众传递有关使用手机的法律信息，从而阻止行为。该解决方案还利用移动视频监视驾驶员在其车辆内的活动，并且在感觉到车辆发生任何电话使用的情况下，将从视频记录中将其提供给相关机构，以供其执行决策。
4. METHODS FOR GENERATING TARGET SPECIFIC PROBES FOR SOLUTION BASED CAPTURE [P] . 美国专利： US2012115744A1 . 2012-05-10

机译：用于生成基于解决方案的捕获的目标特定问题的方法
5. METHODS FOR GENERATING TARGET SPECIFIC PROBES FOR SOLUTION BASED CAPTURE [P] . 世界知识产权组织专利： WO2010117817A3 . 2011-04-07

机译：用于生成基于解决方案的捕获的目标特定问题的方法