数据构建与诊断视频筛选
建立配对的血管造影视频-报告数据集,并仅保留诊断期视频以表征基线病变。
筛选940,366个视频-报告对,排除含操作设备、无对比剂、既往CABG或PCI后采集的视频;使用微调X3D-M模型预测对比剂充盈、解剖结构、支架和冠脉优势,并划分诊断、介入和术后阶段。
A multiview video-text model detects obstructive coronary stenosis and predicts 1-year cardiovascular events from angiography
含内部及外部血管造影视频队列、核心实验室QCA裁定、前瞻性盲法阅读研究,并开展多任务功能与预后验证。
28,117例患者的203,808个冠状动脉造影视频(内部MHI队列) UCSF外部验证冠状动脉造影视频(2013–2019) MACE预测队列(训练1,047例,测试350例) LVEF配对数据集(7,586次造影研究,6,607例患者)
内部测试集4,828次检查,患者层面70/15/15划分 外部UCSF验证采用DeepSeek-V2.3从自由文本报告提取标签,并由两名介入心脏病专家抽样复核 核心实验室QCA裁定662次检查(965个病灶),两名独立介入心脏病专家盲法评估,分歧≥20%由第三名裁判 前瞻性盲法单报告阅读研究:288份造影、365次评估(174份AI报告,191份术者报告),两独立阅读者 MACE预测:350例测试患者,复合MACE事件111例;LVEF测试集2,530次研究,与TTE配对窗口≤30天
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
建立配对的血管造影视频-报告数据集,并仅保留诊断期视频以表征基线病变。
筛选940,366个视频-报告对,排除含操作设备、无对比剂、既往CABG或PCI后采集的视频;使用微调X3D-M模型预测对比剂充盈、解剖结构、支架和冠脉优势,并划分诊断、介入和术后阶段。
学习无需任务标签的通用冠状动脉表征,使视频嵌入与导管报告文本对齐。
使用MViT-v2视频编码器与文本描述进行对比学习,训练30个epoch;通过跨模态检索、患者身份区分和嵌入聚类评估表征质量。
将预训练表征适配至狭窄严重程度、CTO、血栓和钙化等诊断任务,并评估多视角聚合效果。
在预训练编码器上联合注意力多视频池化和任务特定预测头进行微调,生成18个冠状动脉段、4项任务的段级预测;比较单视频推断、研究级平均和多视频注意力聚合。
评估预训练表征能否迁移至预后和功能评估任务。
冻结视频编码器80%层(12/16),用RAdam优化器余弦预热50个epoch微调MACE预测;LVEF任务测试不同冻结比例和多个学习率,联合连续回归和二分类训练。
检验跨机构泛化能力,并以QCA多读者共识为参考标准评估模型准确性。
在UCSF 2013–2019年造影数据上验证;用DeepSeek-V2.3从自由文本报告提取狭窄标签,并由两名介入心脏病专家复核236份报告;对662次检查进行QCA核心实验室裁定。
评估模型自动生成的自由文本报告相比术者报告的独立临床质量。
从留出诊断测试队列中抽样288次检查,以标准化格式呈现单份来源盲法报告,由两名独立介入心脏病专家评估临床可用性、三个质量域、最重要病变识别及遗漏和虚构发现。
评估模型在导管室PACS工作流中的近实时推理可行性。
通过PACS-AI软件将造影检查从导管室流式传输至PACS,自动触发DeepCORO-CLIP推理并生成报告,测量端到端延迟。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 血管造影视频筛选 | X3D-M | -- | -- |
| 外部验证标签提取 | DeepSeek-V2.3 | -- | -- |
| 模型训练与推理 | PyTorch 2.5.1 | -- | -- |
| CUDA 12.4 | -- | -- | |
| NVIDIA H200图形处理器 | NVIDIA | -- | |
| torchvision 0.20.1 | -- | -- | |
| Transformers库v4.47.0 | -- | -- | |
| 统计分析 | Python 3.11 | -- | -- |
| scikit-learn 1.7.2 | -- | -- | |
| SciPy 1.15.3 | -- | -- | |
| NumPy 2.2.6 | -- | -- | |
| 图表制作 | Matplotlib 3.10.8 | -- | -- |
| 模型部署 | PACS-AI 1.0版 | -- | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 数据构建与诊断视频筛选 | 纳入/排除标准、最终样本量、患者层面70/15/15划分、X3D-M重训练标注来源及仅保留诊断期视频的判定规则 阅读提示:Methods的Study datasets and study population与Data extraction小节;Extended Data Fig. 1 |
| 视频-文本对比预训练 | 预训练epoch数(30)、单GPU耗时与峰值内存、跨模态检索评估数据集(24,708视频/4,851报告)、对比温度和学习率范围 阅读提示:Results的Model training performance;Extended Data Fig. 8及Supplementary Tables 9和10 |
| 下游多任务微调与评估 | 18个冠状动脉段的定义、阻塞性狭窄阈值(≥70%,左主干≥50%)、钙化二分类规则、多视频聚合方式、内部测试集4,828次检查 阅读提示:Methods的Demographics and clinical variables与Algorithm development;Fig. 1c;Table 2及Extended Data Tables 1和2 |
| MACE预测迁移学习 | 训练/验证/测试样本量(1,047/349/350)、随访窗口(≥7天,中位3.5个月)、复合MACE定义、冻结层比例(12/16)、RAdam优化器与50个epoch、临床基线变量列表 阅读提示:Methods的Transfer learning;Table 4;Fig. 2c |
| LVEF估计迁移学习 | ICA-TTE配对窗口≤30天(中位2天)、数据集划分(4,382/674/2,530)、每研究最多4视角、每视角16帧、分辨率224×224、冻结75%–95%层、学习率5×10−6至2×10−5 阅读提示:Methods的Transfer learning;Supplementary Table 12;Fig. 2c |
| 外部验证与核心实验室QCA裁定 | UCSF队列时间范围(2013–2019)、LLM标签复核样本(236份报告/4,248个段标签)、QCA裁定检查数(662次/965个病灶)、读者经验及第三读者裁定规则 阅读提示:Methods的External validation与Core laboratory adjudication;Supplementary Tables 8、13和15 |
| 前瞻性盲法单报告阅读研究 | 288份造影抽样策略(CTO和血栓至少各10%)、365次评估中AI与术者报告数量(174/191)、77份双读检查、阅读者经验(≥1年)、质量域评分标准(1–4分) 阅读提示:Methods的Prospective single-report reader validation;Table 5;Extended Data Fig. 6 |
| 决策阈值分析 | 部署阈值(0.50)、max-F1阈值和Youden阈值的选择方式、阈值扫描范围(0.01–0.99,步长0.01)、阈值在测试集中选择带来的乐观偏倚 阅读提示:Methods的Decision-threshold analysis;Extended Data Fig. 5;Supplementary Table 14 |