构建医学视觉编码器 MedSigLIP
提升视觉编码器对医学图像细微差异的编码与区分能力。
在 Gemma 3 的 SigLIP-400M 视觉编码器基础上，使用数百万医学图像-文本对进行微调，并保留原始训练数据以维持通用性能。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
面向多种医疗应用的开源视觉-语言模型
An open vision-language model for diverse medical applications
实验完整度
中基于 Gemma 3 构建并微调，在多类医学文本与影像基准上评估，并开展微调与强化学习实验，但无传统生物学湿实验验证。
主要模型
MedGemma 4B 多模态模型 MedGemma 27B 多模态模型 MedGemma 27B Text 文本模型 MedSigLIP 视觉编码器
重点核对
MedGemma 与 Gemma 3 基础模型在医学文本问答、医学图像分类、VQA、报告生成和智能体任务上的基准表现对比 在 CRC100k、ISIC 2017 和 SIIM-ACR 数据集上使用全部训练数据或 10% 类平衡数据微调 MedGemma 4B 与 Gemma 3 4B 的性能比较 MedSigLIP 作为独立编码器在医学图像分类与检索任务上的零样本性能评估 在 MIMIC-CXR 上使用 RadGraph F1 评估 CXR 报告生成，并进行专家人工评分 在 AgentClinic-MedQA 和 AgentClinic-MIMIC-IV 环境中评估 MedGemma 27B 的智能体行为
摘要
人工智能在医疗保健领域具有巨大影响力潜力，但由于数据多样、可能任务谱系复杂以及重要的隐私需求，其训练和部署具有挑战性。能够实现数据高效微调以适配多样下游任务的高性能基础模型可以切实加速该领域的开发。我们推出 MedGemma，这是一系列基于 Gemma 3 的医疗视觉-语言基础模型。MedGemma 在图像和文本以及多个医学影像领域展现出先进的医学理解与推理能力，超越了同等规模生成模型的性能，同时保持了 Gemma 基础模型的通用能力。对于分布外任务，与基础模型相比，MedGemma 在医学图像问答中提升 2.6–10%，在胸部 X 线表现分类中提升 15.5–18.1%，在智能体评估中提升 10.8%。我们的结果表明，对于医学任务，微调 MedGemma 可能比微调基础 Gemma 3 模型更有效，尤其是在训练数据有限的情况下。我们还推出 MedSigLIP，这是一个源自 SigLIP 的医学调优视觉编码器。MedSigLIP 支撑 MedGemma 的视觉理解能力，并且作为编码器，其性能与许多专用医学图像编码器相当或更优。总之，MedGemma 系列提供了强大的医学图像和文本能力基础，具有加速医学研究和下游应用开发的潜力。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 能否构建一个基于 Gemma 3 的医学视觉-语言基础模型，在保持通用能力的同时，在多样医学任务上超越同等规模模型并支持数据高效微调？
- 核心机制
- 通过对 Gemma 3 的视觉编码器 SigLIP-400M 进行医学图像-文本对微调得到 MedSigLIP，并在预训练和后训练阶段引入医学数据，使 MedGemma 获得医学图像与文本的理解和推理能力。
- 主要证据
- 在医学文本问答、医学图像分类、医学 VQA、CXR 报告生成和智能体基准上，MedGemma 优于 Gemma 3 基础模型，部分任务与更大模型相当；在三个未见数据集上微调 MedGemma 4B 比微调 Gemma 3 4B 更有效，尤其在仅使用 10% 数据时。
- 研究意义
- MedGemma 和 MedSigLIP 为医学图像与文本能力提供了强大基础，具有加速医学研究和下游应用开发的潜力。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
多模态解码器预训练
使 Gemma 语言模型重新适配新的视觉编码器，同时保留通用视觉-语言推理能力。
在原始 Gemma 3 预训练检查点基础上继续预训练，混合原始文本与交错图像数据以及新引入的医学图像-文本对数据。
后训练（蒸馏与强化学习）
将预训练获得的知识转化为下游任务能力。
沿用 Gemma 3 的蒸馏和强化学习方案，在蒸馏阶段加入医学文本数据，在强化学习阶段使用配对的医学影像-文本数据；多模态后训练全部通过强化学习完成。
医学基准评估
评估 MedGemma 在医学文本问答、医学图像分类、医学 VQA、报告生成和智能体任务上的性能。
在 MedQA、MedMCQA、PubMedQA、MMLU Med、AfriMed-QA、MedXpertQA、MIMIC-CXR、CheXpert、CXR14、PathMCQA、US-Derm MCQA、EyePACS、SLAKE、VQA-RAD、AgentClinic 等基准上评估 MedGemma 各变体，并与 Gemma 3 及外部模型比较。
微调实验
验证 MedGemma 相比非医学基础模型在任务特定适配上的优势和数据效率。
使用 SIIM-ACR 气胸分类、CRC100k 组织病理切片分类和 ISIC 2017 皮肤病变分类三个未见数据集，以 MedGemma 4B 或 Gemma 3 4B 为基座进行低秩适配 SFT 微调，比较全部数据与 10% 类平衡数据下的性能。
强化学习微调用于 CXR 报告生成与 EHRQA
进一步优化 MedGemma 在 CXR 报告生成和电子健康记录问答任务上的性能。
以 MedGemma 4B-IT 为基座，使用报告中的图像和指征部分作为输入，训练模型完成 findings 和 impression 部分；并在 EHRQA 训练集上对 MedGemma 27B Text 进行强化学习微调。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 视觉编码器微调 | 医学图像-文本对数据来源与规模；医学数据混合权重 2%；输入图像分辨率 896×896 及 MedSigLIP 发布版 448×448；迭代经验采样策略与最终采样分布 阅读提示：Methods 的 Vision encoder enhancement for MedGemma 小节及 Supplementary Table 5 |
| 多模态解码器预训练 | 医学图像数据混合权重 12%；训练约 5 个 epoch；基座为原始 Gemma 3 预训练检查点；检查点选择依据的验证任务 阅读提示：Methods 的 Multimodal decoder pretraining 小节及 Supplementary Table 6 |
| 后训练 | 蒸馏阶段医学文本数据的加入方式；强化学习阶段医学影像配对文本数据的使用；MedGemma 27B Text 仅使用后训练阶段 阅读提示：Methods 的 Post-training 小节 |
| 微调实验 | 三个数据集的具体划分与样本量（CRC100k n=7,180；ISIC 2017 n=600；SIIM-ACR n=1,068）；10% 类平衡选择方法；学习率 4×10⁻⁵；最多 4 个 epoch；验证集保留策略；bootstrap 1,000 次 阅读提示：Methods 的 MedGemma fine-tuning 小节及 Extended Data Fig. 2 图注 |
| 模型评估 | 各基准数据集样本量（见 Table 1）；OOD 判定标准；医学问题集温度 0.0；单次推理；其他模型使用默认温度与 top-k；VQA-RAD 使用文献 9、22 的划分以避免数据污染 阅读提示：Methods 的 Model evaluation 小节、Table 1 及 Supplementary Note—MedGemma evaluations |
| CXR 报告生成 | MIMIC-CXR 数据；RadGraph F1 指标；MedGemma 4B PT 与 MedGemma 4B with RL 的配置；专家人工评估的样本与评分方式 阅读提示：Results 的 CXR report generation 小节、Table 4 及 Extended Data Fig. 1 图注 |