首页> 中文期刊> 《铁道学报》 >一种基于多模态信息融合的火车司机疲劳驾驶检测方法

一种基于多模态信息融合的火车司机疲劳驾驶检测方法

         

摘要

单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳驾驶检测方法,通过机车视频监控系统与呼叫应答装置采集司机视频与语音信号,采用串行结构的stacking集成学习模型实现视频模态与语音模态之间的互补与融合,通过多折交叉验证提高非线性表达能力,降低泛化误差,利用随机子空间算法降低语音特征参数维度,以长短期记忆网络作为初级学习器,以梯度提升决策树作为次级学习器,最终实现司机疲劳状态的精准检测。实验结果表明,该方法疲劳检测正确率达到97.0%,相比采用单一语音特征和视频图像特征的检测方法,正确率分别提高了7.4%和1.17%。

著录项

相似文献

  • 中文文献
  • 外文文献
  • 专利
获取原文

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号