数据收集与注释
获取手术视频并建立标准手势标签
使用294个RARP-NS视频，由训练有素的人类评估者根据既定的分离手势分类法进行注释。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
用于手术手势序列识别和临床结局预测的端到端AI系统
End to end AI system for surgical gesture sequence recognition and clinical outcome prediction
实验完整度
中包含模型开发、数据缩放实验和临床结局预测分析，但缺乏体外或动物实验验证。
主要模型
294个RARP保留神经步骤视频 138例患者队列
重点核对
294个视频来自4个国际中心，23位外科医生 训练/验证/测试比为80/10/10 使用SSv2预训练权重 罚值0.5用于变点检测 使用5折交叉验证评估结局预测模型
摘要
对术中行为及其对患者结局影响的细粒度分析仍然是一个长期挑战。我们提出了Frame-to-Outcome（F2O），一个端到端系统，可将组织解剖视频转换为手势序列，并揭示与术后结局相关的模式。利用基于Transformer的空间和时间建模以及逐帧分类，F2O能够稳健地检测机器人辅助根治性前列腺切除术中保留神经步骤中的连续短手势（约2秒）（AUC：帧级0.80；视频级0.81）。F2O衍生的特征——手势频率、持续时间和转换——预测术后结局的准确性与人工注释相当（0.79对比0.75；95%CI重叠）。在25个共享特征中，效应量方向一致，差异较小（∆davg≈0.07），且强相关（r=0.96，p<1×10−14）。F2O还捕获了与勃起功能恢复相关的关键模式，包括延长的组织剥离和减少的能量使用。通过实现自动化的可解释评估，F2O为数据驱动的手术反馈和前瞻性临床决策支持奠定了基础。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 如何自动从手术视频中识别细粒度手势并预测术后结局？
- 核心机制
- 延迟性、组织保留手势（如剥离和分离）与有利结局相关，而频繁能量使用与较差结局相关。
- 主要证据
- F2O在帧级分类达到AUC 0.80，结局预测准确度0.79，与人工注释特征高度一致。
- 研究意义
- F2O为手术反馈和临床决策支持提供自动化、可扩展的评估框架。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
模型训练与评估
开发并验证帧级手势分类模型
使用TimeSformer-HR骨干网络，结合帧级分类器，在80/10/10的数据划分上训练，评估帧级和视频级AUC。
手势序列生成
将帧级预测转换为连续手势序列
应用训练好的模型到全视频，使用滑动窗口预测，并通过变点检测算法聚合帧级概率为分段手势序列。
特征工程与结局预测
从手势序列中提取特征并预测临床结局
从预测和真实手势序列中提取2484个特征，使用表格Transformer模型进行5折交叉验证预测EF恢复。
一致性分析
评估F2O特征与人工注释特征的一致性
对每个特征进行t检验，比较F2O和人工注释特征的效应量方向和相关。
可扩展性评估
评估模型在不同骨干网络和数据规模下的性能
使用VideoMAE V2、TimeSformer和ViViT骨干网络进行对比实验，并训练不同数据子集（10%、25%、50%、75%、100%）评估性能。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
临床结局预测
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型训练与推理 | NVIDIA L40S GPU | NVIDIA | -- |
| A100 GPU | NVIDIA | -- |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 数据准备 | 视频来源和外科医生数量 阅读提示：Methods: Surgical gesture data |
| 模型训练 | 训练/验证/测试划分比例 阅读提示：Methods: Video dataset processing and frame classifier training pipeline |
| 手势序列生成 | 采样间隔和滑动窗口长度 阅读提示：Methods: Automatic gesture sequence recognition in a video |
| 特征工程 | 特征总数 阅读提示：Methods: Feature engineering for clinical outcome prediction |
| 结局预测 | 患者样本量 阅读提示：Methods: Surgical gesture data |