用于临床文本评估的大型语言模型评判者的跨范式审计

Cross-paradigm audit of large language model judges for clinical text evaluation

作者信息Tabea M G Pakull, Sina Warmer, Kamyar Arzideh, Thomas Hilser, Bernadette Hosters, Hendrik Damm, Felix Nensa, Martin Schuler, Katarzyna Borys, Peter A Horn, René Hosch, Christoph M Friedrich
PMID42982942
发布时间2026-11-04
DOI10.1038/s41746-026-03443-2

实验完整度

高

基于四个德语专家标注临床数据集,在三种范式四种提示配置下审计六个模型,进行对齐、可靠性、偏见和决策影响分析。

主要模型

六个开放权重LLM(Qwen3-235B-A22B-Instruct-2507-FP8等)作为评判者 四个德国临床专家标注数据集(报告摘要、护理文档摘要、出院摘要、MTB患者信件) 专家小组共识评分作为参考标准

重点核对

评判者模型:六个开放权重LLM(24B-235B参数),模型标识和量化见原文Table 3 数据集:四个德国临床数据集,分别对应逐点、成对和通过/失败范式,评分数量见原文Table 2 提示配置:基线、规则增强、演示增强和多智能体集成四种,完整提示文本见补充文本4 评估指标:绝对对齐(MAE/准确率/召回率)、可靠性(Gwet's AC)、分布鲁棒性(Binned-JSD)和算法鲁棒性(IPI、身份偏好、种子变异) 种子重复:每个判断运行三次,使用三个随机种子

摘要

大型语言模型正越来越多地被用于评估临床文本,这一概念被称为LLM-as-a-judge。然而,现有证据大多集中于英语数据,并使用掩盖了临床相关失效模式的汇总一致性指标。本研究针对四个德语临床数据集(涵盖报告和护理记录摘要、出院摘要生成以及患者信件生成),以专家评判者为参照,对六个开放权重模型进行了审计。模型在三种范式和四种提示配置下接受评估。与专家的一致性因标准和语料库而异,且没有一种配置在所有范式中均被证明可靠。所有评判者均表现出位置偏见和身份偏见。用LLM-as-a-judge替代专家小组,使57.2%的逐点类别发生偏移,调换了41.7%的成对优胜者,遗漏了10.2%的临床错误,并通过高估简洁和准确标准而颠倒了临床优先级。因此,在德语临床文本评估中,LLM-as-a-judge并非专家的安全替代品,部署阈值应遵循针对临床情境下LLM-as-a-judge的决策影响分析。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
在德语临床文本评估中,开放权重大型语言模型作为自动评判者(LLM-as-a-judge)能否在三种评估范式下可靠地替代专家小组?
核心机制
LLM评判者与专家共识的一致性因标准、语料库、模型和提示配置而异;评判者表现出位置偏见(顺序调换导致投票翻转)和身份偏见(偏好模型生成的文本),并且在专家一致同意度高的项目上 divergence 最大。
主要证据
在四个德语专家标注数据集上,对六个开放权重LLM在三种范式和四种提示配置下进行评估;所有评判者的宏观MAE在报告数据集上显著差于人类阈值(0.53);成对范式可靠性最弱(AC1 0.20-0.50),无评判者达到“实质性一致”;通过/失败范式召回率范围0.13-0.90;所有评判者均表现出显著的位置偏见和身份偏见;决策影响案例研究显示替代专家小组导致57.2%的逐点类别偏移、41.7%的成对优胜者改变和10.2%的临床错误遗漏。
研究意义
当前开放权重LLM评判者尚不能安全替代专家进行德语临床文本评估;LLM-as-a-judge可作为离线基准测试工具或人机协同流程中的分诊层,但作为部署临床系统中的独立评估者仍不安全,部署阈值应基于决策影响分析。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

数据集构建与专家标注

建立用于评估LLM评判者的德语临床文本专家参考标准。

从德国某大学医院的常规临床文档中获取四个数据集:临床报告摘要(放射学、病理学、外科)、护理文档摘要、出院摘要和分子肿瘤委员会患者信件。专家使用适应PDSQI-9标准对文本进行独立评分。

2

LLM评判者在三种范式下的评估

评估六个开放权重LLM在逐点、成对和通过/失败范式下与专家共识的绝对对齐和可靠性。

每个评判者模型在四种提示配置(基线、规则增强、演示增强、多智能体)下对每个项目进行评分。对齐度量包括MAE、准确率和召回率;可靠性使用Gwet's AC1/AC2。

3

鲁棒性分析:共识水平、偏见、提示和种子

检验LLM评判者在专家共识水平、位置偏见、身份偏见、提示变化和随机种子变化下的稳定性。

按专家共识水平(低≤60%、中>60%且<100%、高100%)分层计算Binned-JSD;在成对范式中,通过交换候选顺序评估位置偏见(IPI)和身份偏见(投票份额);比较规则和演示提示相对于基线的性能变化;评估三个随机种子下的输出变异。

4

决策影响案例研究

量化用LLM评判者替代专家小组对下游决策的影响。

对每个项目,将人类共识裁决与选定的LLM评判者裁决进行比较,计算逐点类别翻转率、成对优胜者翻转率以及通过/失败范式下临床错误召回率的变化。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
vLLM----
NVIDIA A100----
NVIDIA H100----
llguidance----

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
数据集与专家标注
数据集来源、样本量、标注标准、评分者数量和评分总数
阅读提示:Methods的Datasets小节和Table 2
评判者模型选择与配置
模型标识、参数数量、量化格式和推理能力
阅读提示:Methods的Judge models小节和Table 3
提示配置
四种提示配置的完整文本和结构
阅读提示:Supplementary Text 4
推理与计算设置
推理参数、约束解码工具、硬件类型和总GPU小时数
阅读提示:Methods的Inference settings and computation小节
评估指标与统计分析
主要指标定义、参考标签、Bootstrap重采样次数和统计检验方法
阅读提示:Methods的Evaluation framework and statistical analysis小节和Table 4
决策影响案例研究
选定的评判者配置、影响指标定义和计算方法
阅读提示:Methods的Decision-impact case study小节和Fig. 4