首页> 中国专利> 利用非自回归模型与整合放电技术的唇语识别方法、系统

利用非自回归模型与整合放电技术的唇语识别方法、系统

摘要

本发明公开了一种利用非自回归模型与整合放电技术的唇语识别方法、系统,属于唇语识别领域。主要包括如下步骤:1)获取唇语识别训练样本集;2)建立非自回归神经网络模型,包括特征提取网络、编码网络、解码网络和整合放电模块,并在训练过程中引入两个辅助解码器。3)采集要预测语言的唇语视频并处理为连续的唇形图像数据,由训练好的模型生成唇语识别结果。本发明采用整合放电技术模拟源视频帧与输出文本序列之间的对应关系,采用辅助连接时序分类解码器及辅助自回归解码器强化编码器的图像特征表示能力,采用噪声并行解码技术与字节对编码技术减轻唇语识别固有的歧义性问题,实现了良好的并行性,有效提升了唇语识别的性能。

著录项

  • 公开/公告号CN111931736B

    专利类型发明专利

  • 公开/公告日2021-01-19

    原文格式PDF

  • 申请/专利权人 浙江大学;

    申请/专利号CN202011030959.1

  • 发明设计人 赵洲;童鑫远;肖俊;吴飞;

    申请日2020-09-27

  • 分类号G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);

  • 代理机构33200 杭州求是专利事务所有限公司;

  • 代理人郑海峰

  • 地址 310058 浙江省杭州市西湖区余杭塘路866号

  • 入库时间 2022-08-23 11:29:35

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号