多中心真实报告队列构建
建立用于评估LLM脊柱影像报告诊断性能的多中心真实世界数据集
从中国三家三级教学医院随机抽取10年期间（2015年10月1日至2025年10月1日）的脊柱放射学报告，纳入常规脊柱影像检查（中心1含X线、CT、MRI，中心2和3仅MRI）、完整诊断报告、颈椎/胸椎/腰椎、成人患者（≥18岁）；排除报告信息不完整和儿童病例（<18岁）；通过匹配唯一患者ID和跨中心匹配姓名及出生日期进行去重，每个患者保留一份报告。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
四种大语言模型用于自动化脊柱影像诊断的多中心评估
Multicenter evaluation of four large language models for automated spine imaging diagnosis
实验完整度
高多中心超2万份真实报告队列，含诊断准确性、可重复性、跨机构验证及提示消融实验，含定量验证
主要模型
GPT-4o大语言模型 Claude-4大语言模型 Qwen-3 Max大语言模型 DeepSeek-V3.1大语言模型
重点核对
四种LLM（GPT-4o、Claude-4、Qwen-3 Max、DeepSeek-V3.1）通过官方云端API访问，使用默认模型设置 两种输入模式（with-option和without-option），使用标准化提示模板，选项列表按模态-区域组合变化（Supplementary Table S1） 每个模型在每种模式下对所有报告处理三次，以评估可重复性 参考标准来自各中心主治放射科医师出具的原始临床放射学报告：影像所见部分作为LLM输入，诊断结论部分作为参考标准 采用两阶段自动化加专家流程评估输出准确性：先通过同义词映射表标准化诊断代码，再由两名资深骨科医师独立审查未匹配病例并对自动匹配病例随机审计2%
摘要
准确解读脊柱影像对于临床决策至关重要，但大语言模型（LLM）在放射学报告分析中的诊断潜力在样本量、多模型比较、可重复性和跨机构通用性方面仍缺乏充分评估。在此，我们开展了一项多中心队列研究，使用来自中国三家教学医院的20,277份真实临床脊柱放射学报告，系统比较了四种LLM——GPT-4o、Claude-4、Qwen-3 Max和DeepSeek-V3.1——在两种输入模式（有选项和无选项）下跨九个模态-区域组合的诊断性能、输出一致性和通用性。所有模型均表现出较高的总体诊断性能，特异度超过90%，阴性预测值超过96%。跨机构验证显示召回率具有稳定的通用性，召回率变异系数范围为0.7%至5.0%。然而，性能在疾病谱上并不均衡：对于低患病率疾病，精确率下降了19-42个百分点，表明存在持续的长尾诊断缺陷。输入模式和提示词表述也产生了模型特异性的诊断行为变化。这些发现提示，LLM可能作为临床辅助工具支持基于报告的脊柱影像诊断，但部署时应考虑疾病患病率、提示词敏感性和领域特定优化的需求。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 通用大语言模型在真实临床脊柱放射学报告诊断中的诊断性能、可重复性和跨机构通用性如何？
- 核心机制
- LLM基于放射学报告文本进行诊断推理时，其诊断行为受输入模式（有选项/无选项）、提示词设计及疾病患病率影响；跨机构精确率差异与各机构疾病谱组成相关，长尾疾病比例升高时模型误报增加导致精确率下降。
- 主要证据
- 使用来自三个中心的20,277份真实脊柱放射学报告，比较四种LLM在九种模态-区域组合下的诊断性能；所有模型特异度>90%、NPV>96%；跨机构召回率CV为0.7%-5.0%；低患病率疾病精确率下降19-42个百分点；提示消融在200份腰椎MRI报告中显示位置偏倚和确认偏倚。
- 研究意义
- 研究提示大语言模型可能作为基于报告的脊柱影像诊断的临床辅助工具，但部署应考虑疾病患病率、提示词敏感性并需领域特定优化，且应辅以人工监督。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
LLM诊断性能评估
评估四种LLM在脊柱放射学报告诊断中的诊断准确性和可重复性
四种LLM（GPT-4o、Claude-4、Qwen-3 Max、DeepSeek-V3.1）通过官方云端API访问，在with-option和without-option两种输入模式下，使用标准化提示模板（中文提示），每个模型每种模式对全部报告处理三次；以原始临床放射学报告诊断结论为参考标准，采用两阶段自动化加专家流程评估输出准确性。
跨机构通用性验证
评估模型在不同医疗机构间的通用性和稳定性
使用三个中心共有的MRI数据进行跨机构验证，分析各中心间精确率、召回率、AUC及变异系数，比较模型在不同机构疾病谱组成下的表现。
提示设计与消融分析
评估提示词设计对LLM诊断行为的影响及提示敏感性
使用随机抽样的200份腰椎MRI报告进行消融和敏感性实验，测试系统角色修改、选项位置偏倚和疾病名称示例的影响。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 多中心队列构建 | 三中心样本量分别为19,307、667和303例；中心1覆盖X线、CT和MRI，中心2和3仅MRI；纳入成人（≥18岁），排除儿童和报告不完整病例；去重协议确保每个患者一份报告；数据来自2015年10月1日至2025年10月1日随机抽样，各中心数据集无重叠 阅读提示：Methods中Study design and data sources与Inclusion and exclusion criteria小节；Table 1 |
| LLM评估 | 四种LLM型号（GPT-4o、Claude-4、Qwen-3 Max、DeepSeek-V3.1）通过官方云端API访问并使用默认模型设置；两种输入模式（with-option和without-option）使用标准化中文提示模板；每个模型每种模式处理三次；诊断选项列表按模态-区域组合变化并提供于Supplementary Table S1 阅读提示：Methods中Model selection and input modes小节；Supplementary Table S1；Figure 1图注 |
| 参考标准与诊断分类 | 参考标准来自各中心主治放射科医师的原始报告诊断结论；影像所见作为LLM输入，诊断结论作为参考标准；共95个诊断类别；中心1评估全部95个类别，中心2和3仅评估40个MRI相关类别；两阶段自动化加专家流程含同义词映射和2%随机审计 阅读提示：Methods中Reference standards and diagnostic classification framework小节；Supplementary Table S1 |
| 重复性和统计分析 | 诊断性能指标包括精确率、召回率、特异度、NPV、F1和AUC；稳定性用Fleiss' kappa评估三次重复运行的一致性；因不满足正态性假设（Shapiro-Wilk检验）使用非参数方法；配对Wilcoxon符号秩检验用Bonferroni校正，DeLong检验比较AUC，Fisher精确检验比较疾病级错误率；双侧检验，P<0.05为显著 阅读提示：Methods中Statistics and reproducibility小节 |
| 提示消融实验 | 使用随机抽样的200份腰椎MRI报告；系统角色从'放射科医师'改为'有20年经验的脊柱外科医师'；选项位置偏倚测试将高患病率疾病从前部移至中部；罕见病指令测试和疾病名称示例测试的结果见Supplementary Table S4-S7 阅读提示：Results中Prompt design sensitivity and ablation analyses小节；Supplementary Table S4-S7 |