在AI辅助医学诊断中检测系统故障对人类监督的挑战

Challenges for human oversight in detecting system malfunctions in AI-assisted medical diagnostics

作者信息Nadine Schlicker, Constanze Tepohl, Ali Kholmovaia, Noëlle Steffens, Niels van Berkel, Andreas Mayr, Ivica Grgic, Martin C Hirsch, Markus Langer
PMID43026209
发布时间2026-11-13
DOI10.1038/s41746-026-03410-x

实验完整度

中

随机对照实验,操纵AI可靠性下降,检测诊断性能、信心和信任;但为受控实验室环境,无体内或机制验证。

主要模型

48名医生(包括医学生、住院医师和资深医师) 40段数字化心脏录音(来自CirCor数据集) AI辅助心脏听诊分类任务

重点核对

随机分组:AI-First组(n=24)和AI-Second组(n=24) 系统可靠性分四个区块递减:90%、60%、50%、0% 每个区块包含10个试次,共40个试次,正常和异常录音各占50% AI错误率操纵:区块1有1个假阳性;区块2有3个假阳性和1个假阴性;区块3有3个假阳性和2个假阴性;区块4有5个假阳性和5个假阴性,并伴有视听不同步 信任评分在每5个试次后评估 样本量N=48,基于G*Power先验计算(ηp²=0.03,1-β=0.80,α=0.05)

摘要

越来越多的医生必须监督AI系统以检测系统故障。我们在使用日益故障的AI进行心脏听诊的随机对照研究中研究了48名医生。诊断性能随着AI可靠性下降而下降,即使医生在认知上被强制进行初始分类,以及当人类性能超过AI可靠性时也是如此。医生的信心下降速度快于他们对AI的信任。结果呼吁明确监督目标和确保患者安全的流程。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
医生能否检测AI系统故障并有效干预,认知强制策略能否促进这些人类监督的核心目标?
核心机制
自动化偏见可能使医生采纳不准确的AI建议;AI输出可能具有高感知权威性,即使医生在接收AI建议前独立处理诊断信息,也可能质疑自身判断而非AI。
主要证据
48名医生随机接受AI-First或AI-Second(认知强制)条件,在AI可靠性逐步下降(90%至0%)的四个区块中分类40段心音;诊断性能随AI可靠性下降而下降,在低可靠性下低于无辅助人类基线;仅少数参与者报告注意到系统故障;认知强制未改善诊断表现。
研究意义
研究提供初步证据表明,仅靠人类监督可能不足以可靠检测AI辅助心脏听诊中的系统故障;呼吁明确监督目标,并在系统层面和组织层面采取额外行动以确保患者安全。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

参与者招募与随机分组

建立医生样本来比较不同AI建议时机对监督效果的影响。

在2023年10月至2024年5月期间招募48名医生,随机分配到AI-First组(n=24)或AI-Second组(n=24)。

2

实验任务与AI可靠性操纵

模拟AI系统故障,观察医生检测故障和调整行为的能力。

参与者分类40段数字化心脏录音为正常或异常,分为4个区块,每个区块10个试次,AI系统可靠性逐步下降(90%、60%、50%、0%),第四个区块伴有视听不同步。

3

认知强制操作

检验在接收AI建议前强制独立分类是否能改善对AI故障的检测和干预。

AI-Second组参与者先进行无辅助分类和信心评分,然后接收AI建议并可以修改分类;AI-First组先接收AI建议再分类。

4

数据收集与主要结局测量

评估诊断性能、诊断信心和对AI的信任随系统可靠性变化的情况。

诊断性能计算为正确分类比例(与数据集金标准比较);诊断信心使用5点量表;信任使用5点Likert量表。

5

统计分析与敏感性检验

检验区块、组别及其交互效应对诊断性能、信心和信任的影响,并验证结果的稳健性。

使用混合设计ANOVA分析组别和区块的交互效应,并使用层次线性模型和广义线性混合模型进行敏感性分析,控制工作经验和自我评估听诊技能。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
Sony WH-1000XM4耳机SonyWH-1000XM4
SoSci Survey调查平台SoSci Survey--
MacBook Pro笔记本电脑Apple--
Pygame 2.5.2库--2.5.2
RStudio 2023.09.1+494RStudio2023.09.1+494

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
参与者招募与分组
样本量N=48,随机分组AI-First组n=24、AI-Second组n=24;参与者专业和经验分布;招募时间2023年10月至2024年5月。
阅读提示:Methods中Participants小节和Experimental design and procedure小节。
AI可靠性操纵与试次设计
系统可靠性四区块:90%、60%、50%、0%;每区块10个试次,共40个;正常/异常录音各50%;AI错误率具体分布(区块1:1假阳性;区块2:3假阳性1假阴性;区块3:3假阳性2假阴性;区块4:5假阳性5假阴性伴视听不同步)。
阅读提示:Methods中Experimental design and procedure小节和Materials小节;Figure 2。
认知强制操作
AI-First组先接收AI建议再分类;AI-Second组先独立分类和信心评分,再接收AI建议并修改;信任评分每5个试次后评估。
阅读提示:Methods中Experimental design and procedure小节;Figure 2。
结局测量
诊断性能计算为正确分类比例(与数据集金标准比较);诊断信心使用5点量表;信任使用5点Likert量表;信任每5个试次评估一次。
阅读提示:Methods中Materials小节和Data treatment and analyses小节。
统计分析
混合设计ANOVA用于组别和区块交互效应;敏感性分析使用层次线性模型和广义线性混合模型,控制工作经验和自我评估听诊技能;显著性阈值α=0.05,双尾p值。
阅读提示:Methods中Data treatment and analyses小节;Table 1。