构建CT-RATE数据集
提供大规模3D胸部CT体积与放射学报告的配对数据集，用于训练和验证基础模型。
从Istanbul Medipol University Mega Hospital收集2015年5月至2023年1月间的非增强胸部CT体积和报告，包括50,188个重建体积（25,692次扫描，21,304名患者），并提取18种异常的标签。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
面向3D计算机断层扫描的多模态数据集通用基础模型
Generalist foundation models from a multimodal dataset for 3D computed tomography
实验完整度
高构建大规模配对数据集，体外模型多异常检测、检索、报告生成和专家评估，含两个外部验证集。
主要模型
CT-RATE数据集（21,304名患者，25,692次非增强3D胸部CT扫描） CT-CLIP视觉-语言基础模型 CT-CHAT视觉-语言聊天模型（基于Llama 3.1 70B） RAD-ChestCT外部验证集 UPMC外部验证集
重点核对
CT-RATE数据集划分：20,000名患者用于训练，1,304名用于验证 CT-CLIP零样本多异常检测采用prompt 7 ('{Abnormality} is {∅/not} present.') CT-CHAT使用2.7百万问答对进行微调，其中医学概念对齐阶段冻结LLM训练多模态投影器 专家评估中，三位放射科医生对150份报告（每个模型）独立评分 外部验证：RAD-ChestCT和UPMC数据集用于评估泛化性
摘要
医学影像AI的进步，尤其是在3D成像方面，由于缺乏全面的数据集而受到限制。我们推出CT-RATE，一个将3D医学图像与相应文本报告配对的公共数据集。CT-RATE包含来自21,304名独特患者的25,692份非增强3D胸部CT扫描。每份扫描均附有相应的放射学报告。基于CT-RATE，我们开发了CT-CLIP，一个专注于CT的对比语言-图像预训练框架，设计用于广泛的应用而无需任务特定训练。我们展示了CT-CLIP如何用于多异常检测和病例检索，并在所有关键指标上优于最先进的全监督模型。通过将CT-CLIP的视觉编码器与预训练的大型语言模型相结合，我们创建了CT-CHAT，一个面向3D胸部CT体积的视觉-语言基础聊天模型。CT-CHAT在源自CT-RATE数据集的超过270万个问答对上进行了微调，突显了3D医学成像中对专门方法的需求。总体而言，CT-RATE、CT-CLIP和CT-CHAT的开源发布不仅解决了3D医学成像中的关键挑战，还为医学AI的未来创新和改善患者护理奠定了基础。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 在缺乏大规模配对文本报告的3D医学影像数据集的情况下，如何开发通用的3D医学影像AI基础模型，以实现多异常检测、病例检索和交互式诊断？
- 核心机制
- CT-CLIP通过对比学习将3D胸部CT体积与放射学报告在共享潜在空间中对齐，无需任务特定训练即可进行零样本多异常检测；CT-CHAT结合CT-CLIP的视觉编码器与大型语言模型，实现多模态问答和报告生成。
- 主要证据
- CT-CLIP在内部和两个外部验证集上的多异常检测AUROC和F1均优于全监督CT-Net基线；CT-CHAT在VQA任务和报告生成上优于LLaVA 1.6、LLaVA-Med、CXR-LLaVA及RadFM、CT2Rep，并经专家评估证实其报告质量更高。
- 研究意义
- 开源发布CT-RATE、CT-CLIP和CT-CHAT，解决3D医学成像中数据集稀缺和模型缺乏的挑战，为未来医学AI创新和改善患者护理奠定基础，并突显了3D医学成像对专门方法的需求。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
开发CT-CLIP模型
构建基于对比学习的视觉-语言基础模型，实现零样本多异常检测和检索。
采用3D视觉变换器（CT-ViT的编码器）和文本编码器（CXR-Bert），通过对比损失对齐CT体积和报告的嵌入（512维），训练数据为CT-RATE中的配对数据。
零样本多异常检测
评估CT-CLIP在无需任务特定训练下检测多种异常的能力。
使用正负提示（如'Consolidation is present.'）生成logits，经softmax转换为异常存在概率，在内部验证集和外部验证集（RAD-ChestCT、UPMC）上评估AUROC、F1、准确率和精确率。
微调CT-CLIP
提升多异常检测性能，同时保留开放词汇能力。
采用两种微调方法：ClassFine（添加分类层）和VocabFine（基于WISE-FT，使用正负提示对齐logits与真实标签），在CT-RATE训练集上微调。
病例检索评估
评估CT-CLIP在体积到体积和报告到体积检索中的性能。
使用余弦相似度在嵌入空间中检索相似体积或匹配报告，体积到体积检索使用MAP@K，报告到体积检索使用Recall@K（仅内部验证集）。
开发CT-CHAT模型
构建多模态AI助手，实现交互式问答和报告生成。
结合CT-CLIP视觉编码器、多模态投影器和Llama 3.1 70B，使用270万问答对进行两阶段训练：医学概念对齐和医学指令微调（LoRA）。
CT-CHAT评估
评估CT-CHAT在视觉问答和报告生成上的性能。
在VQA任务上使用BLEU、METEOR、ROUGE-L、CIDEr和Llama score评估，报告生成使用临床效能指标（精确率、召回率、F1、CRG score），并进行专家评估。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 数据集构建 | Google翻译API | -- | |
| 文本分类 | RadBERT-RoBERTa-4m模型 | -- | -- |
| 模型训练 | PyTorch 2.0.1 | -- | -- |
| CUDA 11.7 | NVIDIA | -- | |
| A100 GPU | NVIDIA | -- | |
| 报告生成 | Llama 3.1 70B | Meta | -- |
| Llama 3.1 8B | Meta | -- | |
| 分割 | TotalSegmentator | -- | -- |
| VQA生成 | PubMed Central-OA | -- | -- |
| 代码库 | GitHub | -- | -- |
| 数据集发布 | Hugging Face | -- | -- |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| CT-RATE数据集构建 | 患者纳入排除标准（非增强胸部CT，排除对比剂和非胸部部位），数据划分（20,000训练/1,304验证），元数据匿名化流程 阅读提示：Methods 'Creating the CT-RATE dataset' |
| CT-CLIP训练 | 视觉编码器架构（CT-ViT patch大小20×20×10），文本编码器（CXR-Bert），对比损失，训练数据（印象+发现部分），批大小和学习率（补充表3） 阅读提示：Methods 'Developing the CT-CLIP model'，补充表3 |
| 零样本多异常检测 | 提示模板（prompt 7），评估指标（AUROC、F1、准确率、精确率），内部验证集和外部验证集（RAD-ChestCT、UPMC） 阅读提示：Methods 'CT-CLIP for zero-shot multi-abnormality detection' |
| CT-CLIP微调 | ClassFine和VocabFine的具体实现（可训练层、损失函数），训练轮数，学习率，批大小（补充表3） 阅读提示：Methods 'Fine-tuning CT-CLIP for multi-abnormality detection'，补充表3 |
| CT-CHAT训练 | 两阶段训练（医学概念对齐和医学指令微调），LoRA参数（rank 128, alpha 256），多模态投影器架构，特殊token，超参数（补充表4a,b） 阅读提示：Methods 'Developing the CT-CHAT model'，补充表4 |
| 专家评估 | 案例选择策略（按Llama分数分层，每层50例），评分标准（0-10分），放射科医生数量（3位）和评估模型（CT-CHAT、RadFM、CT2Rep） 阅读提示：Methods 'Benchmarking the CT-CHAT model' |