数据集准备与预处理
准备用于训练和评估模型的手术视频数据,并统一格式以适应模型输入。
使用JIGSAWS和ROSMA数据集,将原始视频时间下采样至6帧/秒,空间尺寸调整至128×128并进行零填充。
An interpretable whole-stream video based deep learning framework for surgical skill assessment of basic procedural elements
包含模型训练与验证实验,涉及两个公共数据集和交叉验证;但未包含体内实验或外部多样化验证,整体实验层级有限。
JIGSAWS数据集 ROSMA数据集
数据集:JIGSAWS和ROSMA 交叉验证方案:LOSO和LOUO 视频预处理:时间下采样至6帧/秒,空间尺寸为128×128 模型结构:I3D-SAP的三种不同深度(模型1、2、3)
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
准备用于训练和评估模型的手术视频数据,并统一格式以适应模型输入。
使用JIGSAWS和ROSMA数据集,将原始视频时间下采样至6帧/秒,空间尺寸调整至128×128并进行零填充。
训练I3D-SAP模型并进行消融研究,评估不同模型深度和输入质量对分类性能的影响。
在JIGSAWS数据集上以LOSO交叉验证训练三种不同深度的I3D-SAP模型,比较准确率、推理时间和GPU内存需求,并测试不同采样率和分辨率。
通过可视化模型决策,解释模型如何基于手术视频的时空特征进行分类。
使用SAP-based CAM生成时空类激活图,并通过滑动窗口方法将视频分割为片段进行片段级推理,将预测结果与视频同步分析。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型训练 | NVIDIA Tesla P100 GPU | NVIDIA | -- |
| NVIDIA A6000 GPU | NVIDIA | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 模型训练 | 学习率、动量、权重衰减、正则化系数、梯度累积步数、早停条件、模型深度 阅读提示:Methods - Implementation details |
| 数据预处理 | 时间采样率、空间尺寸、填充方式 阅读提示:Methods - Pre-processing |
| 模型评估 | 交叉验证方法(LOSO/LOUO)、评估任务(缝合、穿针、打结)、评估指标(准确率、精度、召回率、F1) 阅读提示:Experiments - LOSO/LOUO结果 |
| 可解释性分析 | 可视化方法(CAM、snippet-wise)、滑动窗口重叠率 阅读提示:Experiments - SAP based CAM and Snippet-wise visualization |