多视角视频-文本模型可从血管造影中检测阻塞性冠状动脉狭窄并预测1年心血管事件

A multiview video-text model detects obstructive coronary stenosis and predicts 1-year cardiovascular events from angiography

作者信息Sarra Harrabi, Yichen Wu, Omar Majwal, Gabriel Asslo, George Azar, Geoffrey H Tison, Minhaj Ansari, Milos Vukadinovic, David Ouyang, Joshua P Barrios, Jacques Delfrate, Robert Avram
PMID42869976
发布时间2026-11
DOI10.1038/s44161-026-00890-8

实验完整度

高

含内部及外部血管造影视频队列、核心实验室QCA裁定、前瞻性盲法阅读研究,并开展多任务功能与预后验证。

主要模型

28,117例患者的203,808个冠状动脉造影视频(内部MHI队列) UCSF外部验证冠状动脉造影视频(2013–2019) MACE预测队列(训练1,047例,测试350例) LVEF配对数据集(7,586次造影研究,6,607例患者)

重点核对

内部测试集4,828次检查,患者层面70/15/15划分 外部UCSF验证采用DeepSeek-V2.3从自由文本报告提取标签,并由两名介入心脏病专家抽样复核 核心实验室QCA裁定662次检查(965个病灶),两名独立介入心脏病专家盲法评估,分歧≥20%由第三名裁判 前瞻性盲法单报告阅读研究:288份造影、365次评估(174份AI报告,191份术者报告),两独立阅读者 MACE预测:350例测试患者,复合MACE事件111例;LVEF测试集2,530次研究,与TTE配对窗口≤30天

摘要

侵入性冠状动脉造影是诊断冠状动脉疾病的参考标准,但其评估具有主观性,现有的人工智能工具通常仅评估单帧或单个视频中的狭窄,未整合完整的多次血管造影检查。本文展示DeepCORO-CLIP,其基于来自28,117名患者的203,808个血管造影视频和报告训练,可一次性解读完整的多次视频血管造影。它检测阻塞性狭窄(≥70%),内部和外部的受试者工作特征曲线下面积(AUROC)均为0.89,并识别慢性完全闭塞(AUROC=0.90至0.95)、冠状动脉内血栓和钙化(AUROC=0.90至0.91)。它还能预测1年心血管事件(AUROC=0.79,95% CI为0.74至0.84,而使用临床变量推导的模型为0.65)和左心室射血分数(平均绝对误差7.3%,而先前模型为8.8%),这两项均仅使用冠状动脉造影实现。在对288份血管造影的365次评估进行的盲法审阅中,其报告在76%的评估中具有临床可用性,而心脏病专家的报告为88%,假阳性率相当(17%对14%,P=0.38);残留的漏诊狭窄反映的是可调整的阈值,而非信号缺失。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
能否构建一个整合完整多视角血管造影检查的视频-文本模型,在多个临床终点上实现阻塞性狭窄检测、病变形态识别、LVEF估计和1年MACE预测,并生成临床可用的自由文本报告?
核心机制
DeepCORO-CLIP通过视频-文本对比预训练将血管造影视频嵌入与导管报告文本对齐,再利用多实例学习与门控注意力聚合多视频帧级特征,形成研究级表征以支持下游多任务预测。
主要证据
内部测试集(4,828次检查)中,狭窄≥70%的微AUROC为0.89(95% CI 0.88–0.89),CTO为0.92,血栓为0.90,钙化为0.90;外部UCSF验证中狭窄≥70%的全局AUROC为0.89;MACE预测AUROC为0.79(95% CI 0.74–0.84),优于临床变量基线0.65;LVEF估计MAE为7.3%,优于CathEF的8.8%;前瞻性盲法阅读研究中AI报告76%临床可用,术者报告88%。
研究意义
作者提出DeepCORO-CLIP可作为人机协同血管造影解读的基础,支持初步报告生成、疾病进展监测并减少解读变异性,同时为多模态心血管AI系统提供构建模块;其报告通过保守遗漏而非虚构发现产生错误,更契合人机协同工作流程。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

数据构建与诊断视频筛选

建立配对的血管造影视频-报告数据集,并仅保留诊断期视频以表征基线病变。

筛选940,366个视频-报告对,排除含操作设备、无对比剂、既往CABG或PCI后采集的视频;使用微调X3D-M模型预测对比剂充盈、解剖结构、支架和冠脉优势,并划分诊断、介入和术后阶段。

2

视频-文本对比预训练

学习无需任务标签的通用冠状动脉表征,使视频嵌入与导管报告文本对齐。

使用MViT-v2视频编码器与文本描述进行对比学习,训练30个epoch;通过跨模态检索、患者身份区分和嵌入聚类评估表征质量。

3

下游任务微调与多任务评估

将预训练表征适配至狭窄严重程度、CTO、血栓和钙化等诊断任务,并评估多视角聚合效果。

在预训练编码器上联合注意力多视频池化和任务特定预测头进行微调,生成18个冠状动脉段、4项任务的段级预测;比较单视频推断、研究级平均和多视频注意力聚合。

4

迁移学习:MACE预测与LVEF估计

评估预训练表征能否迁移至预后和功能评估任务。

冻结视频编码器80%层(12/16),用RAdam优化器余弦预热50个epoch微调MACE预测;LVEF任务测试不同冻结比例和多个学习率,联合连续回归和二分类训练。

5

外部验证与核心实验室裁定

检验跨机构泛化能力,并以QCA多读者共识为参考标准评估模型准确性。

在UCSF 2013–2019年造影数据上验证;用DeepSeek-V2.3从自由文本报告提取狭窄标签,并由两名介入心脏病专家复核236份报告;对662次检查进行QCA核心实验室裁定。

6

前瞻性盲法单报告阅读研究

评估模型自动生成的自由文本报告相比术者报告的独立临床质量。

从留出诊断测试队列中抽样288次检查,以标准化格式呈现单份来源盲法报告,由两名独立介入心脏病专家评估临床可用性、三个质量域、最重要病变识别及遗漏和虚构发现。

7

部署与延迟评估

评估模型在导管室PACS工作流中的近实时推理可行性。

通过PACS-AI软件将造影检查从导管室流式传输至PACS,自动触发DeepCORO-CLIP推理并生成报告,测量端到端延迟。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
X3D-M----
DeepSeek-V2.3----
PyTorch 2.5.1----
CUDA 12.4----
NVIDIA H200图形处理器NVIDIA--
torchvision 0.20.1----
Transformers库v4.47.0----
Python 3.11----
scikit-learn 1.7.2----
SciPy 1.15.3----
NumPy 2.2.6----
Matplotlib 3.10.8----
PACS-AI 1.0版----

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
数据构建与诊断视频筛选
纳入/排除标准、最终样本量、患者层面70/15/15划分、X3D-M重训练标注来源及仅保留诊断期视频的判定规则
阅读提示:Methods的Study datasets and study population与Data extraction小节;Extended Data Fig. 1
视频-文本对比预训练
预训练epoch数(30)、单GPU耗时与峰值内存、跨模态检索评估数据集(24,708视频/4,851报告)、对比温度和学习率范围
阅读提示:Results的Model training performance;Extended Data Fig. 8及Supplementary Tables 9和10
下游多任务微调与评估
18个冠状动脉段的定义、阻塞性狭窄阈值(≥70%,左主干≥50%)、钙化二分类规则、多视频聚合方式、内部测试集4,828次检查
阅读提示:Methods的Demographics and clinical variables与Algorithm development;Fig. 1c;Table 2及Extended Data Tables 1和2
MACE预测迁移学习
训练/验证/测试样本量(1,047/349/350)、随访窗口(≥7天,中位3.5个月)、复合MACE定义、冻结层比例(12/16)、RAdam优化器与50个epoch、临床基线变量列表
阅读提示:Methods的Transfer learning;Table 4;Fig. 2c
LVEF估计迁移学习
ICA-TTE配对窗口≤30天(中位2天)、数据集划分(4,382/674/2,530)、每研究最多4视角、每视角16帧、分辨率224×224、冻结75%–95%层、学习率5×10−6至2×10−5
阅读提示:Methods的Transfer learning;Supplementary Table 12;Fig. 2c
外部验证与核心实验室QCA裁定
UCSF队列时间范围(2013–2019)、LLM标签复核样本(236份报告/4,248个段标签)、QCA裁定检查数(662次/965个病灶)、读者经验及第三读者裁定规则
阅读提示:Methods的External validation与Core laboratory adjudication;Supplementary Tables 8、13和15
前瞻性盲法单报告阅读研究
288份造影抽样策略(CTO和血栓至少各10%)、365次评估中AI与术者报告数量(174/191)、77份双读检查、阅读者经验(≥1年)、质量域评分标准(1–4分)
阅读提示:Methods的Prospective single-report reader validation;Table 5;Extended Data Fig. 6
决策阈值分析
部署阈值(0.50)、max-F1阈值和Youden阈值的选择方式、阈值扫描范围(0.01–0.99,步长0.01)、阈值在测试集中选择带来的乐观偏倚
阅读提示:Methods的Decision-threshold analysis;Extended Data Fig. 5;Supplementary Table 14