• 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>Medical image analysis >Surgical gesture classification from video and kinematic data
【24h】

Surgical gesture classification from video and kinematic data

机译：根据视频和运动学数据对手术姿势进行分类

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

Much of the existing work on automatic classification of gestures and skill in robotic surgery is based on dynamic cues (e.g., time to completion, speed, forces, torque) or kinematic data (e.g., robot trajectories and velocities). While videos could be equally or more discriminative (e.g., videos contain semantic information not present in kinematic data), they are typically not used because of the difficulties associated with automatic video interpretation. In this paper, we propose several methods for automatic surgical gesture classification from video data. We assume that the video of a surgical task (e.g., suturing) has been segmented into video clips corresponding to a single gesture (e.g., grabbing the needle, passing the needle) and propose three methods to classify the gesture of each video clip. In the first one, we model each video clip as the output of a linear dynamical system (LDS) and use metrics in the space of LDSs to classify new video clips. In the second one, we use spatio-temporal features extracted from each video clip to learn a dictionary of spatio-temporal words, and use a bag-of-features (BoF) approach to classify new video clips. In the third one, we use multiple kernel learning (MKL) to combine the LDS and BoF approaches. Since the LDS approach is also applicable to kinematic data, we also use MKL to combine both types of data in order to exploit their complementarity. Our experiments on a typical surgical training setup show that methods based on video data perform equally well, if not better, than state-of-the-art approaches based on kinematic data. In turn, the combination of both kinematic and video data outperforms any other algorithm based on one type of data alone.
机译：机器人手术中手势和技能的自动分类的许多现有工作是基于动态提示（例如完成时间，速度，力，扭矩）或运动学数据（例如机器人的轨迹和速度）。尽管视频可能具有同等或更大的区分性（例如，视频包含运动数据中不存在的语义信息），但由于与自动视频解释相关的困难，通常不使用它们。在本文中，我们提出了几种从视频数据自动进行手术姿势分类的方法。我们假定已将外科手术视频（例如缝合）分割为与单个手势（例如，抓针，通过针）相对应的视频片段，并提出了三种方法来对每个视频片段的手势进行分类。在第一个视频中，我们将每个视频片段建模为线性动力系统（LDS）的输出，并使用LDS空间中的指标对新的视频片段进行分类。在第二篇文章中，我们使用从每个视频片段中提取的时空特征来学习时空词词典，并使用特征包（BoF）方法对新的视频片段进行分类。在第三篇中，我们使用多核学习（MKL）来结合LDS和BoF方法。由于LDS方法也适用于运动学数据，因此我们也使用MKL合并两种类型的数据，以利用它们的互补性。我们在典型的外科手术训练装置上进行的实验表明，基于视频数据的方法与基于运动学数据的最新方法相比具有同样出色的效果，即使不是更好。反过来，运动数据和视频数据的组合则优于仅基于一种数据类型的任何其他算法。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号