评估大语言模型与临床专家在下颌第三磨牙拔除难度分级中的表现

背景：Pederson难度评分（PDS）被广泛用于评估下颌第三磨牙拔除难度，但由于缺乏公认的参考标准，存在观察者间的变异性。本研究探讨了在没有明确标准的情况下，多模态大语言模型（LLMs）是否表现出与人类临床医生相似的系统性评分倾向。 方法：这项回顾性横断面研究纳入了100张全景X光片。两个LLM模型（GPT和Gemini）和两位口腔颌面外科医生使用PDS独立对拔除难度进行分级。未指定参考标准或金标准评分者；所有评分者均被视为独立评估者。使用二次加权Kappa和组内相关系数值评估一致性。使用Bland-Altman图和有序逻辑回归分析系统偏差。还评估了提示语言和会话协议的影响。 结果：专家间一致性较高（κ = 0.754）。GPT与专家的一致性为中等（κ = 0.564-0.590），而Gemini的一致性为一般到中等（κ = 0.356-0.461）。总体而言，四位评分者的可靠性为中等（组内相关系数 = 0.553）。两种LLM均显示出最小的系统偏差（GPT：-0.13；Gemini：-0.08），与人类专家的评分倾向无显著差异（P > .05）。然而，顺序会话评估显著降低了两种模型的评分一致性（GPT：P = .001；Gemini：P < .001），而提示语言对总PDS评分无显著影响（GPT：P = .543；Gemini：P = .386）。仅在GPT评估升支关系时观察到组件水平的语言变异（P = .003）。 结论：所研究的LLMs显示出部分与人类临床医生相似的评分倾向，没有证据表明存在系统性方向性偏差；然而，其一致性仍低于专家间水平，并且对对话上下文敏感。这些发现不应被解释为诊断准确性或临床可靠性的证据，因为未建立参考标准。 临床相关性：如果使用独立会话协议，LLMs可能提供补充的评分信息；然而，其在临床决策中的作用需要根据明确的结果标准进行进一步验证。