数据集构建与专家标注
建立用于评估LLM评判者的德语临床文本专家参考标准。
从德国某大学医院的常规临床文档中获取四个数据集:临床报告摘要(放射学、病理学、外科)、护理文档摘要、出院摘要和分子肿瘤委员会患者信件。专家使用适应PDSQI-9标准对文本进行独立评分。
Cross-paradigm audit of large language model judges for clinical text evaluation
基于四个德语专家标注临床数据集,在三种范式四种提示配置下审计六个模型,进行对齐、可靠性、偏见和决策影响分析。
六个开放权重LLM(Qwen3-235B-A22B-Instruct-2507-FP8等)作为评判者 四个德国临床专家标注数据集(报告摘要、护理文档摘要、出院摘要、MTB患者信件) 专家小组共识评分作为参考标准
评判者模型:六个开放权重LLM(24B-235B参数),模型标识和量化见原文Table 3 数据集:四个德国临床数据集,分别对应逐点、成对和通过/失败范式,评分数量见原文Table 2 提示配置:基线、规则增强、演示增强和多智能体集成四种,完整提示文本见补充文本4 评估指标:绝对对齐(MAE/准确率/召回率)、可靠性(Gwet's AC)、分布鲁棒性(Binned-JSD)和算法鲁棒性(IPI、身份偏好、种子变异) 种子重复:每个判断运行三次,使用三个随机种子
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
建立用于评估LLM评判者的德语临床文本专家参考标准。
从德国某大学医院的常规临床文档中获取四个数据集:临床报告摘要(放射学、病理学、外科)、护理文档摘要、出院摘要和分子肿瘤委员会患者信件。专家使用适应PDSQI-9标准对文本进行独立评分。
评估六个开放权重LLM在逐点、成对和通过/失败范式下与专家共识的绝对对齐和可靠性。
每个评判者模型在四种提示配置(基线、规则增强、演示增强、多智能体)下对每个项目进行评分。对齐度量包括MAE、准确率和召回率;可靠性使用Gwet's AC1/AC2。
检验LLM评判者在专家共识水平、位置偏见、身份偏见、提示变化和随机种子变化下的稳定性。
按专家共识水平(低≤60%、中>60%且<100%、高100%)分层计算Binned-JSD;在成对范式中,通过交换候选顺序评估位置偏见(IPI)和身份偏见(投票份额);比较规则和演示提示相对于基线的性能变化;评估三个随机种子下的输出变异。
量化用LLM评判者替代专家小组对下游决策的影响。
对每个项目,将人类共识裁决与选定的LLM评判者裁决进行比较,计算逐点类别翻转率、成对优胜者翻转率以及通过/失败范式下临床错误召回率的变化。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| LLM推理 | vLLM | -- | -- |
| NVIDIA A100 | -- | -- | |
| NVIDIA H100 | -- | -- | |
| 约束解码 | llguidance | -- | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 数据集与专家标注 | 数据集来源、样本量、标注标准、评分者数量和评分总数 阅读提示:Methods的Datasets小节和Table 2 |
| 评判者模型选择与配置 | 模型标识、参数数量、量化格式和推理能力 阅读提示:Methods的Judge models小节和Table 3 |
| 提示配置 | 四种提示配置的完整文本和结构 阅读提示:Supplementary Text 4 |
| 推理与计算设置 | 推理参数、约束解码工具、硬件类型和总GPU小时数 阅读提示:Methods的Inference settings and computation小节 |
| 评估指标与统计分析 | 主要指标定义、参考标签、Bootstrap重采样次数和统计检验方法 阅读提示:Methods的Evaluation framework and statistical analysis小节和Table 4 |
| 决策影响案例研究 | 选定的评判者配置、影响指标定义和计算方法 阅读提示:Methods的Decision-impact case study小节和Fig. 4 |