艰难梭菌感染中患者的声音:大型语言模型辅助的患者证言主题分析

The Patients' Voice in Clostridioides difficile Infection: Large Language Model-Assisted Thematic Analysis of Patient Testimonials

作者信息Javier A Villafuerte-Gálvez, Marco A Noriega, Sena Cakir Colak, Carl V Crawford
PMID42871751
发布时间2026-10-08
DOI10.1093/ofid/ofag650

实验完整度

中

基于公开患者证言语料库的回顾性主题分析,采用双LLM编码并经医生IRR验证,无实验室或动物实验。

主要模型

Peggy Lillis基金会公开CDI患者及照护者证言语料库(n=189) Claude Sonnet 4.6大型语言模型 DeepSeek V4大型语言模型 两名内科住院医师独立人工编码者

重点核对

语料库来源与纳入排除:从cdiff.org检索204份证言,排除15份无法分类者,最终分析189份 队列分组:按复发和暴发性严重程度分为rfCDI(n=49)、fCDI(n=18)、rCDI(n=84)、非rfCDI(n=38) LLM编码条件:两个LLM在温度0下运行,使用校准后的提示词对8个域、4个暴发性标志、13个语义场进行存在/缺失编码 人工IRR子样本:16份证言(IRR-001至IRR-016),两名医生盲法独立编码,其中7份在校准后重编码 信度指标:以PABAK为主要指标,Gwet's AC1为收敛效度,Cohen's kappa在PABAK差异>0.30时标记

摘要

背景:艰难梭菌感染(CDI)造成的负担远超胃肠道范畴,但现有结局指标仅部分反映患者体验。我们使用前沿大型语言模型(LLMs)大规模分析患者和照护者叙述,以描述负担如何随病程变化。方法:我们分析了Peggy Lillis基金会语料库中的189份证言,按复发(r)和暴发性(f)严重程度轴分为4个队列(rfCDI、fCDI、rCDI、非rfCDI)。两个独立LLM对8个主题域、4个暴发性标志、13个新兴语义场、主导维度和叙事弧进行编码。两名医生独立对子集进行编码以评估评分者间信度(PABAK、Gwet's AC1)。结果:治疗轨迹是复发性疾病的主导主题,而死亡和濒死主导非复发性暴发性叙述。心理负担在暴发性疾病中几乎普遍存在(rfCDI中98.0%,fCDI中97.2%)。照护者和丧亲内容集中在fCDI(66.7%)。诊断失败在复发性队列中常见(47.6–56.1%)。细菌疗法(粪菌移植)的提及集中在复发性队列(rfCDI 60.2% vs fCDI 5.6%)。经济、心理健康和照护者负担突出,且指南在很大程度上仍未涉及。人-人信度较高(语义场PABAK 0.79,域0.76);叙事弧编码信度最低。结论:患者叙述揭示了CDI中随病程变化的多维负担。患者优先事项、指南推荐和疗法可及性之间存在具体差距。经临床医生验证的前沿LLM编码为将这些优先事项转化为研究、护理和政策提供了可重复的途径。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
CDI患者和照护者的叙述如何随疾病表型(复发与暴发性)呈现不同的负担主题,以及LLM辅助编码相对于临床医生的可靠性如何。
核心机制
患者对CDI的体验随病程系统性地变化:复发性疾病围绕治疗轨迹组织,暴发性非复发性疾病围绕死亡和濒死组织;心理、经济和照护者负担在指南中 largely 未被涉及。
主要证据
对189份PLF证言的双LLM编码和两名医生的IRR验证显示:治疗轨迹在复发性队列中编码100.0%,死亡/濒死在fCDI中主导61.1%,心理负担在rfCDI中98.0%、fCDI中97.2%,诊断失败在rCDI中56.1%,FMT提及在rfCDI中60.2%。
研究意义
患者叙述揭示了CDI中随病程变化的多维负担,患者优先事项与指南推荐及疗法可及性之间存在具体差距;经临床医生验证的前沿LLM编码为将这些优先事项转化为研究、护理和政策提供了可重复的途径。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

语料库检索与队列分类

建立可用于主题分析的CDI患者和照护者证言语料库,并按临床表型分类。

从cdiff.org检索204份证言,使用正则预筛、双LLM独立分类(Claude Sonnet 4.6、DeepSeek V4 Pro)按复发、严重程度和作者身份分类,PI裁决34份不一致项,排除15份低置信度分类,最终189份分为4个队列。

2

主题编码框架开发与LLM编码

在全体证言中系统编码预定义主题维度、暴发性标志和新兴语义场。

两个独立LLM在温度0下对189份证言编码8个预定义域(D1–D8)、4个暴发性标志(F1–F4)、13个新兴语义场(SF01–SF13)、主导维度和叙事弧;使用60份合成证言进行提示词校准并保留最优提示词。

3

人工评分者间信度验证

评估LLM编码与独立人类编码者之间以及人类编码者之间的一致性。

两名内科住院医师盲法独立编码16份证言子样本,校准会议后各自重编码7份,PI裁决28项不一致产生参考标准;计算人-人、人-LLM和LLM-LLM的PABAK、Gwet's AC1和Cohen's kappa。

4

患者报告语义场与指南覆盖比较

将患者报告的需求与主要CDI临床指南的覆盖情况进行对比,定位差距。

将13个语义场映射到5份主要指南文件(IDSA/SHEA 2017、IDSA/SHEA 2021、ACG 2021、AGA 2024、ESCMID 2021),评估每个语义场是否被指南涉及、未涉及或存在差异。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
Claude Sonnet 4.6Anthropic--
DeepSeek V4 ProDeepSeek--
Python 3.13----
GrammarlyGrammarly--

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
语料库检索与队列分类
检索脚本、队列分类定义、双LLM分类一致性阈值、PI裁决规则、最终队列样本量(rfCDI n=49、fCDI n=18、rCDI n=84、非rfCDI n=38)
阅读提示:Supplementary Methods §0.1–0.4及Supplementary Figure 1
LLM主题编码
两个LLM的具体版本、温度设置(temperature zero)、编码提示词内容、8个域/4个标志/13个语义场/主导维度/叙事弧的操作定义、合成校准集构建方法
阅读提示:Methods中'LLM Coding and Prompt Calibration'小节及Supplementary Methods §1.2
人工评分者间信度验证
IRR子样本选择标准(16份)、两名编码者的资质与盲法、校准会议流程、重编码7份的理由、PI裁决28项不一致的规则、PABAK为主要指标且Cohen's kappa在差异>0.30时标记
阅读提示:Methods中'Inter-Rater Reliability'小节及Supplementary Tables 2–4
统计分析与群体频率计算
各维度频率为相关队列中编码为存在的百分比;暴发性标志F1–F4仅在暴发性队列中计算(rfCDI n=49,fCDI n=18,合并n=67);队列裁决在编码后最终确定;重新分类后暴发性标志的处理方式;不对语料库频率进行推断性检验
阅读提示:Methods中'Statistical Analysis'小节及Table 2、Figure 3
指南覆盖映射
对照的5份指南文件(IDSA/SHEA 2017、IDSA/SHEA 2021、ACG 2021、AGA 2024、ESCMID 2021)、每个语义场在指南中的覆盖判定规则(✓、✗、≠、▴、–)、比较为事后解释性分析
阅读提示:Table 3及Discussion中相关段落