基准测试构建与数据清洗
构建基于官方考试题目的标准化评估基准，并排除官方无效题目。
使用IMPP提供的2019-2024年M1和M2考试题目，排除官方失效题目，最终包含7485道题目。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
评估基础模型在德国官方医学执照考试中的表现：对高风险评估和人工智能辅助医学教育的影响
Evaluating foundation models on official German medical licensing examinations: Implications for high-stakes assessment and AI-assisted medical education
实验完整度
高包含大规模基准评估、模态分层分析、人类-模型难度相关、难度富集子集、污染探针等多层级实验验证。
主要模型
官方德国医学执照考试（M1和M2）数据集 多个基础模型
重点核对
考试项目子集定义（共享文本子集与带图项目） 提示策略（零样本，约束与思维链） 模型推理设置（最高原生思考模式） 污染探针（预训练截止边界，时间关联）
摘要
我们评估了私有和开源权重基础模型在24场德国医学执照考试（2019-2024）中的表现，包括7485道题目以及来自119878次考生参加考试的反应数据。为了公平比较，八个具有视觉能力的模型在完整基准测试上进行了评估，所有十三个模型在一个共享的纯文本子集上进行了评估。在完整基准测试中，Gemini 3.1 Pro达到了最高的总体准确率，在第一次（M1）和第二次（M2）考试中分别达到了99.31%和98.37%。在共享的纯文本子集上，私有前沿模型表现接近上限水平，几个开源权重模型（包括GLM-5和DeepSeek V3.2-Thinking）具有很强的竞争力，甚至紧凑型模型也超过了学生的平均表现。带图片的题目对学生和模型来说都更难，但相关性能下降对模型而言不成比例地大于学生。人类和模型定义的难度子集重叠有限，模型困难子集揭示了顶级系统之间的剩余差异。这些发现凸显了这些模型的快速进步，特别是开源权重系统，以及官方德国医学执照考试作为减少公共暴露的限制访问基准的价值。它们对高风险评估和人工智能辅助医学教育具有重要意义，特别是在多模态评估、与人类对齐的教育工具和隐私保护的本地部署方面。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 评估当前基础模型在官方德国医学执照考试（M1和M2）中的表现，并探究其在不同模态、难度及部署情境下的能力与局限。
- 核心机制
- 图像呈现项目对模型构成额外挑战，导致文本-图像性能差距；人类与模型在项目难度上的理解仅部分一致。
- 主要证据
- 基于2019-2024年官方IMPP题库（7485题），对模型进行零样本单次推断评估，并结合官方学生表现数据进行对比。
- 研究意义
- 研究表明，纯文本考试基准已接近饱和，需引入多模态与难度富集评估，同时开源模型在本地部署中具有潜力，有助于隐私保护的医学教育应用。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
模型全基准测试
评估多模态模型在完整基准上的整体表现。
对8个具备视觉能力的模型在完整基准上进行零样本评估。
纯文本子集比较
在公平的纯文本子集上比较所有模型（包括非视觉模型）。
对13个模型在共享纯文本子集（M1:3227题，M2:3244题）上进行评估。
模态分层分析
量化视觉能力模型在文本与图像项目上的性能差异，并与学生表现对比。
分别计算文本子集和图像子集的准确率，计算文本-图像差距和错误率比。
人类与模型难度相关性分析
检验模型难度与学生难度在项目层面的一致性。
使用斯皮尔曼相关分析官方p值与模型正确率之间的关系。
难度富集子集评估
在接近天花板性能下增加区分度，探索模型间的残余差异。
定义human-hard-text（p≤0.30）和model-hard-text（至少两个顶级模型答错）子集，并评估模型表现。
污染实验探针
评估基准数据直接污染的可能性。
分析跨考试准确率变化，测试预训练截止边界的性能差异，以及考试年份与准确率的相关性。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型评估 | Gemini 3.1 Pro | -- | gemini-3.1-pro-preview |
| GPT-5.4 | -- | gpt-5.4-2026-03-05 | |
| Claude Opus 4.6 | -- | claude-opus-4-6 | |
| Python | -- | 3.13.7 |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 数据集构建 | 考试年份范围、M1和M2的题数、图像和无图像项目的定义、M2 vignette-aware排除规则 阅读提示：Methods: Dataset and examination structure |
| 模型评估设置 | 模型版本、推理模式（思考模式开启）、提示语言（德语）、零样本设定 阅读提示：Methods: Model selection, Prompting strategies, Inference setup |
| 模态分层分析 | 纯文本子集和图像子集的定义，以及文本-图像差距和错误率比的计算方法 阅读提示：Results: Modality-stratified performance; Methods: Statistical analysis |
| 难度相关性和富集子集 | 学生p值的获取、human-hard和model-hard子集的定义、相关性分析方法 阅读提示：Methods: Statistical analysis |
| 污染探针 | 预训练截止日期、Spring-Fall 2024 对比、考试时序相关分析 阅读提示：Methods: Statistical analysis; Results: Exam-level robustness and empirical probes |