一种可解释的基于整段手术视频的深度学习框架,用于基本程序性操作的外科技能评估

An interpretable whole-stream video based deep learning framework for surgical skill assessment of basic procedural elements

作者信息Ke Chen, Ying Weng, Yiming Zhang, Boding Wang, Zhenzhu Li, Kai Tang
PMID42682284
发布时间2026-04-22
DOI10.1097/JS9.0000000000005082

实验完整度

中

包含模型训练与验证实验,涉及两个公共数据集和交叉验证;但未包含体内实验或外部多样化验证,整体实验层级有限。

主要模型

JIGSAWS数据集 ROSMA数据集

重点核对

数据集:JIGSAWS和ROSMA 交叉验证方案:LOSO和LOUO 视频预处理:时间下采样至6帧/秒,空间尺寸为128×128 模型结构:I3D-SAP的三种不同深度(模型1、2、3)

摘要

背景:传统的外科技能评估由经验丰富的外科医生在手术室进行,往往耗时且主观。一个能够区分外科医生专业水平(新手、中级、专家)并提供反馈的自动化客观系统将显著提升外科培训。然而,大多数现有的自动化框架优先考虑深度学习性能而非可解释性。材料与方法:我们提出了I3D-SAP,一个使用三维卷积神经网络的可解释的基于视频的基本程序性操作外科技能评估框架。该模型处理手术视频并将外科医生分为三个专业水平。在公开的JIGSAWS数据集上进行了实验,评估其在缝合、穿针和打结任务中的性能。结果:我们的方法取得了高准确率:缝合100%,穿针96.3%,打结97.2%,与最先进的模型相当。通过类激活图(CAM)可视化和片段级分析展示了框架的可解释性,为解释分类决策提供了双重视角。然而,在更严格的留一用户交叉验证(LOUO)协议下,性能显著下降,在外部数据集(ROSMA)上的测试准确率接近随机水平,表明当前模型对完全未见过的外科医生的泛化能力有限。结论:I3D-SAP提供了高准确性和可解释性,填补了基本程序性操作自动手术评估中的关键空白。通过可视化模型决策,增强了透明度和信任,为手术培训中的实际应用铺平了道路。此外,当前模型的泛化挑战应通过未来的工作来解决,包括更大更多样化的数据集和外科医生不变特征学习技术,然后才能考虑实际的临床部署。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
常规外科技能评估耗时且主观,需要开发一种既能自动分类外科医生技能水平又能提供可解释性决策的自动化评估方法。
核心机制
I3D-SAP模型在LOSO交叉验证下能有效区分新手、中级和专家,但在LOUO下性能显著下降,表明模型依赖主体分布,难以学习主体不变的技能表征,泛化能力有限。
主要证据
在JIGSAWS数据集上,LOSO下缝合任务准确率100%,穿针96.3%,打结97.2%;LOUO下平均准确率41.7%;在ROSMA数据集上LOUO平均准确率56.8%。
研究意义
I3D-SAP提供了高准确性和可解释性,通过可视化增强透明度与信任,为外科培训中实际应用奠定基础,但还需提升泛化能力后方可考虑临床部署。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

数据集准备与预处理

准备用于训练和评估模型的手术视频数据,并统一格式以适应模型输入。

使用JIGSAWS和ROSMA数据集,将原始视频时间下采样至6帧/秒,空间尺寸调整至128×128并进行零填充。

2

模型训练与结构选择

训练I3D-SAP模型并进行消融研究,评估不同模型深度和输入质量对分类性能的影响。

在JIGSAWS数据集上以LOSO交叉验证训练三种不同深度的I3D-SAP模型,比较准确率、推理时间和GPU内存需求,并测试不同采样率和分辨率。

3

模型可解释性分析

通过可视化模型决策,解释模型如何基于手术视频的时空特征进行分类。

使用SAP-based CAM生成时空类激活图,并通过滑动窗口方法将视频分割为片段进行片段级推理,将预测结果与视频同步分析。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
NVIDIA Tesla P100 GPUNVIDIA--
NVIDIA A6000 GPUNVIDIA--

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
模型训练
学习率、动量、权重衰减、正则化系数、梯度累积步数、早停条件、模型深度
阅读提示:Methods - Implementation details
数据预处理
时间采样率、空间尺寸、填充方式
阅读提示:Methods - Pre-processing
模型评估
交叉验证方法(LOSO/LOUO)、评估任务(缝合、穿针、打结)、评估指标(准确率、精度、召回率、F1)
阅读提示:Experiments - LOSO/LOUO结果
可解释性分析
可视化方法(CAM、snippet-wise)、滑动窗口重叠率
阅读提示:Experiments - SAP based CAM and Snippet-wise visualization