参与者招募与随机分组
建立医生样本来比较不同AI建议时机对监督效果的影响。
在2023年10月至2024年5月期间招募48名医生,随机分配到AI-First组(n=24)或AI-Second组(n=24)。
Challenges for human oversight in detecting system malfunctions in AI-assisted medical diagnostics
随机对照实验,操纵AI可靠性下降,检测诊断性能、信心和信任;但为受控实验室环境,无体内或机制验证。
48名医生(包括医学生、住院医师和资深医师) 40段数字化心脏录音(来自CirCor数据集) AI辅助心脏听诊分类任务
随机分组:AI-First组(n=24)和AI-Second组(n=24) 系统可靠性分四个区块递减:90%、60%、50%、0% 每个区块包含10个试次,共40个试次,正常和异常录音各占50% AI错误率操纵:区块1有1个假阳性;区块2有3个假阳性和1个假阴性;区块3有3个假阳性和2个假阴性;区块4有5个假阳性和5个假阴性,并伴有视听不同步 信任评分在每5个试次后评估 样本量N=48,基于G*Power先验计算(ηp²=0.03,1-β=0.80,α=0.05)
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
建立医生样本来比较不同AI建议时机对监督效果的影响。
在2023年10月至2024年5月期间招募48名医生,随机分配到AI-First组(n=24)或AI-Second组(n=24)。
模拟AI系统故障,观察医生检测故障和调整行为的能力。
参与者分类40段数字化心脏录音为正常或异常,分为4个区块,每个区块10个试次,AI系统可靠性逐步下降(90%、60%、50%、0%),第四个区块伴有视听不同步。
检验在接收AI建议前强制独立分类是否能改善对AI故障的检测和干预。
AI-Second组参与者先进行无辅助分类和信心评分,然后接收AI建议并可以修改分类;AI-First组先接收AI建议再分类。
评估诊断性能、诊断信心和对AI的信任随系统可靠性变化的情况。
诊断性能计算为正确分类比例(与数据集金标准比较);诊断信心使用5点量表;信任使用5点Likert量表。
检验区块、组别及其交互效应对诊断性能、信心和信任的影响,并验证结果的稳健性。
使用混合设计ANOVA分析组别和区块的交互效应,并使用层次线性模型和广义线性混合模型进行敏感性分析,控制工作经验和自我评估听诊技能。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 听觉刺激呈现 | Sony WH-1000XM4耳机 | Sony | WH-1000XM4 |
| 问卷调查 | SoSci Survey调查平台 | SoSci Survey | -- |
| 实验实施 | MacBook Pro笔记本电脑 | Apple | -- |
| 实验编程 | Pygame 2.5.2库 | -- | 2.5.2 |
| 数据分析 | RStudio 2023.09.1+494 | RStudio | 2023.09.1+494 |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 参与者招募与分组 | 样本量N=48,随机分组AI-First组n=24、AI-Second组n=24;参与者专业和经验分布;招募时间2023年10月至2024年5月。 阅读提示:Methods中Participants小节和Experimental design and procedure小节。 |
| AI可靠性操纵与试次设计 | 系统可靠性四区块:90%、60%、50%、0%;每区块10个试次,共40个;正常/异常录音各50%;AI错误率具体分布(区块1:1假阳性;区块2:3假阳性1假阴性;区块3:3假阳性2假阴性;区块4:5假阳性5假阴性伴视听不同步)。 阅读提示:Methods中Experimental design and procedure小节和Materials小节;Figure 2。 |
| 认知强制操作 | AI-First组先接收AI建议再分类;AI-Second组先独立分类和信心评分,再接收AI建议并修改;信任评分每5个试次后评估。 阅读提示:Methods中Experimental design and procedure小节;Figure 2。 |
| 结局测量 | 诊断性能计算为正确分类比例(与数据集金标准比较);诊断信心使用5点量表;信任使用5点Likert量表;信任每5个试次评估一次。 阅读提示:Methods中Materials小节和Data treatment and analyses小节。 |
| 统计分析 | 混合设计ANOVA用于组别和区块交互效应;敏感性分析使用层次线性模型和广义线性混合模型,控制工作经验和自我评估听诊技能;显著性阈值α=0.05,双尾p值。 阅读提示:Methods中Data treatment and analyses小节;Table 1。 |