问题选择与专家投票数据获取
建立评估LLM与专家共识一致性的基准问题集和专家投票数据。
从2025年圣加仑国际乳腺癌会议选择81个临床问题，涵盖6个领域；专家小组由70名专家组成，每个问题61-69名专家通过结构化电子投票回答。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
大型语言模型在早期乳腺癌模糊治疗场景中的表现
Performance of large language models in ambiguous treatment scenarios of early breast cancer
实验完整度
低横断面观察性分析，无湿实验或功能验证，仅评估LLM与专家投票的一致性及定性审查。
主要模型
81个圣加仑2025年会议临床问题（6个领域） 四个大型语言模型：Claude Opus 4.1、GPT-5、Gemini Flash 2.5、DeepSeek V3.2 专家小组投票（61-69名专家/问题）
重点核对
问题选择：81个问题，排除导管原位癌或健康女性预防措施问题 LLM查询：每个LLM对每个问题回答一次，使用默认设置，无自定义优化 提示设计：要求LLM作为专家医师，综合预训练知识和截至2025年2月28日的在线文献，明确排除圣加仑2025会议记录 统计模型：混合效应逻辑回归，以问题为随机截距，模型1 n=324，模型2 n=264 共识强度计算：归一化共识强度=[(P_max - P_random)/(1 - P_random)] × 100
摘要
背景：共识会议在证据不明确的情况下指导治疗；由于缺乏金标准，人工智能在此类场景中尚未得到验证。我们评估了大型语言模型（LLMs）与2025年圣加仑国际乳腺癌会议专家投票之间的一致性。材料与方法：四个LLMs（Claude Opus 4.1、GPT-5、Gemini Flash 2.5、DeepSeek V3.2）各回答81个多项选择题一次（共324个回答）。结局指标为第一选择一致性（LLM选择了专家小组的众数选项）和前二选择一致性（其两个领先选项之一；66个具有≥3个选项的问题）。归一化共识强度对专家小组一致性进行0-100评分，并根据选项数量进行调整。使用混合效应逻辑回归模型，以问题为随机截距，对一致性、共识强度、复杂度和LLM进行建模（模型1：324个观测值/81个问题；模型2：264/66）。还将一致性与选项数量加权的零模型进行了比较（置换检验，问题水平聚类自举）。对≤2个LLM与专家小组匹配的问题进行了定性审查。结果：第一选择一致性为54-64%，前二选择一致性为77-89%。总体一致性超过随机水平（58.6% vs 29.8%；+28.9个百分点，95% CI 21.4-36.4），并且在具有3、4和≥5个选项的问题中也超过随机水平（42.6-66.1% vs 预期18.8-33.3%），但在二元问题中未超过随机水平（65.0% vs 50.0%；+15.0，95% CI −5.0至33.3）。共识强度是与一致性相关的主要因素（模型1：比值比1.04/点，95% CI 1.02-1.06，P < 0.001；模型2：1.06，1.03-1.09，P < 0.001）。定性审查发现18个问题（22%）存在知识缺口，14个问题（17%）存在可辩护的替代方案，8个问题（10%）存在与证据一致的见解。结论：LLMs放大了主流证据，但在模糊场景中表现出显著局限性。需要在共识流程中进行前瞻性评估。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 在缺乏金标准的模糊临床场景中，大型语言模型能否准确复制专家共识？
- 核心机制
- LLMs主要作为主流证据的放大器：当证据一致且专业共识强时，LLMs可靠地收敛；当证据碎片化或有争议时，其答案可能分散。
- 主要证据
- 四个LLMs对81个问题的324个回答与专家投票的一致性分析，显示共识强度与一致性显著相关（每点OR 1.04-1.06），定性审查发现负向分歧、中性分歧和正向分歧。
- 研究意义
- 当前LLMs在模糊场景中表现出显著局限性，建议将AI生成的观点作为讨论提示而非投票参与者，并需要在共识流程中进行前瞻性评估。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
LLM查询与回答收集
获取四个LLMs对每个问题的独立回答。
四个LLMs（Claude Opus 4.1、GPT-5、Gemini Flash 2.5、DeepSeek V3.2）各回答81个问题一次，共324个回答；使用结构化提示，要求提供答案选择、证据综合、关键参考文献等。
一致性量化评估
量化LLM回答与专家投票的一致性程度。
计算第一选择一致性和前二选择一致性；使用归一化共识强度评分；按临床领域和问题复杂度分层分析。
统计建模与随机性检验
识别与一致性相关的因素并检验一致性是否超过随机水平。
使用混合效应逻辑回归模型（模型1和模型2）分析共识强度、问题复杂度和LLM来源与一致性的关联；使用选项数量加权零模型和置换检验比较观察一致性与随机预期。
定性分歧分析
审查LLM与专家不一致的问题，分类分歧类型。
将81个问题分为“AI共识”和“无AI共识”两组；对“无AI共识”问题由乳腺肿瘤内科医生审查，将LLM答案选项、理由和参考文献分类为负向分歧、中性分歧或正向分歧。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| LLM查询 | Claude Opus 4.1 | Anthropic | -- |
| GPT-5 Thinking with Deep Research | OpenAI | -- | |
| Gemini Flash 2.5 with Deep Research | Google DeepMind | -- | |
| DeepSeek V3.2 with DeepThink and Search | DeepSeek AI | -- | |
| 数据分析 | R 4.3.1版本 | -- | -- |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 问题选择与专家投票 | 问题领域分布、排除标准、专家小组规模（70名）、每个问题投票专家数（61-69名） 阅读提示：Methods 2.1 Study design |
| LLM查询 | LLM版本和查询日期、提示设计、证据截止日期（2025年2月28日）、排除圣加仑2025会议记录、使用默认设置无优化 阅读提示：Methods 2.1 Study design 和 Supplementary Methods |
| 结局指标定义 | 第一选择一致性和前二选择一致性的定义、归一化共识强度公式、问题复杂度分类（二元/简单/中等/复杂） 阅读提示：Methods 2.2 Outcome measures |
| 统计分析 | 模型1和模型2的样本量（324和264）、固定效应和随机截距、参数自举5000次迭代、置换检验和聚类自举方法 阅读提示：Methods 2.3 Statistical analysis 和 Table 1 |
| 定性分析 | AI共识和无AI共识的划分标准（3-4 vs ≤2个LLM匹配）、分歧分类（负向/中性/正向） 阅读提示：Methods 2.5 Qualitative analysis 和 Figure 2 |