人类评估者与GPT-4o在基于视频的心肺复苏技能评估中的互补错误模式：对人工智能辅助二次解读的启示

背景/目标：心肺复苏（CPR）技能评估易受评估者主观性、认知疲劳和观察限制的影响。尽管多模态人工智能的最新进展增加了基于视频的自动化评估的可能性，但其在临床技能评估中的有效性仍未得到充分检验。方法：在这项横断面研究中，我们招募了130名接受基础生命支持培训并参加技能测试的非专业人员。20条记录用于提示开发，110条记录用于分析。专家评估者和GPT-4o使用包含12个项目的检查表独立评估参与者的技能。模拟人传感器数据作为四项胸外按压指标的参考标准。使用Gwet's agreement coefficient 1 (AC1)和组内相关系数(2,1)评估一致性。使用McNemar检验比较诊断准确性、灵敏度和特异性。结果：程序性项目，如确认心脏骤停、拨打119和请求自动体外除颤器，在专家和GPT-4o之间显示出一致性接近完美（AC1 > 0.8）。然而，按压深度（AC1 = 0.374）和胸廓完全回弹（AC1 = 0.355）的一致性较差。专家表现出高灵敏度（77.8%–84.3%）但低特异性（24.6%–47.8%），而GPT-4o表现出低灵敏度（35.6%–40.6%）但高特异性（69.2%–76.1%）。结论：由于GPT-4o在从二维视频推断三维空间信息方面的固有局限性，它不能作为独立的评估者。然而，其在程序性项目上的高一致性以及与人类评估者在按压指标上的互补错误模式表明，它有可能作为一种决策支持工具，以减轻CPR教育中专家宽松偏倚的影响。