语料库检索与队列分类
建立可用于主题分析的CDI患者和照护者证言语料库,并按临床表型分类。
从cdiff.org检索204份证言,使用正则预筛、双LLM独立分类(Claude Sonnet 4.6、DeepSeek V4 Pro)按复发、严重程度和作者身份分类,PI裁决34份不一致项,排除15份低置信度分类,最终189份分为4个队列。
The Patients' Voice in Clostridioides difficile Infection: Large Language Model-Assisted Thematic Analysis of Patient Testimonials
基于公开患者证言语料库的回顾性主题分析,采用双LLM编码并经医生IRR验证,无实验室或动物实验。
Peggy Lillis基金会公开CDI患者及照护者证言语料库(n=189) Claude Sonnet 4.6大型语言模型 DeepSeek V4大型语言模型 两名内科住院医师独立人工编码者
语料库来源与纳入排除:从cdiff.org检索204份证言,排除15份无法分类者,最终分析189份 队列分组:按复发和暴发性严重程度分为rfCDI(n=49)、fCDI(n=18)、rCDI(n=84)、非rfCDI(n=38) LLM编码条件:两个LLM在温度0下运行,使用校准后的提示词对8个域、4个暴发性标志、13个语义场进行存在/缺失编码 人工IRR子样本:16份证言(IRR-001至IRR-016),两名医生盲法独立编码,其中7份在校准后重编码 信度指标:以PABAK为主要指标,Gwet's AC1为收敛效度,Cohen's kappa在PABAK差异>0.30时标记
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
建立可用于主题分析的CDI患者和照护者证言语料库,并按临床表型分类。
从cdiff.org检索204份证言,使用正则预筛、双LLM独立分类(Claude Sonnet 4.6、DeepSeek V4 Pro)按复发、严重程度和作者身份分类,PI裁决34份不一致项,排除15份低置信度分类,最终189份分为4个队列。
在全体证言中系统编码预定义主题维度、暴发性标志和新兴语义场。
两个独立LLM在温度0下对189份证言编码8个预定义域(D1–D8)、4个暴发性标志(F1–F4)、13个新兴语义场(SF01–SF13)、主导维度和叙事弧;使用60份合成证言进行提示词校准并保留最优提示词。
评估LLM编码与独立人类编码者之间以及人类编码者之间的一致性。
两名内科住院医师盲法独立编码16份证言子样本,校准会议后各自重编码7份,PI裁决28项不一致产生参考标准;计算人-人、人-LLM和LLM-LLM的PABAK、Gwet's AC1和Cohen's kappa。
将患者报告的需求与主要CDI临床指南的覆盖情况进行对比,定位差距。
将13个语义场映射到5份主要指南文件(IDSA/SHEA 2017、IDSA/SHEA 2021、ACG 2021、AGA 2024、ESCMID 2021),评估每个语义场是否被指南涉及、未涉及或存在差异。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| LLM编码 | Claude Sonnet 4.6 | Anthropic | -- |
| DeepSeek V4 Pro | DeepSeek | -- | |
| 数据分析 | Python 3.13 | -- | -- |
| 语言编辑 | Grammarly | Grammarly | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 语料库检索与队列分类 | 检索脚本、队列分类定义、双LLM分类一致性阈值、PI裁决规则、最终队列样本量(rfCDI n=49、fCDI n=18、rCDI n=84、非rfCDI n=38) 阅读提示:Supplementary Methods §0.1–0.4及Supplementary Figure 1 |
| LLM主题编码 | 两个LLM的具体版本、温度设置(temperature zero)、编码提示词内容、8个域/4个标志/13个语义场/主导维度/叙事弧的操作定义、合成校准集构建方法 阅读提示:Methods中'LLM Coding and Prompt Calibration'小节及Supplementary Methods §1.2 |
| 人工评分者间信度验证 | IRR子样本选择标准(16份)、两名编码者的资质与盲法、校准会议流程、重编码7份的理由、PI裁决28项不一致的规则、PABAK为主要指标且Cohen's kappa在差异>0.30时标记 阅读提示:Methods中'Inter-Rater Reliability'小节及Supplementary Tables 2–4 |
| 统计分析与群体频率计算 | 各维度频率为相关队列中编码为存在的百分比;暴发性标志F1–F4仅在暴发性队列中计算(rfCDI n=49,fCDI n=18,合并n=67);队列裁决在编码后最终确定;重新分类后暴发性标志的处理方式;不对语料库频率进行推断性检验 阅读提示:Methods中'Statistical Analysis'小节及Table 2、Figure 3 |
| 指南覆盖映射 | 对照的5份指南文件(IDSA/SHEA 2017、IDSA/SHEA 2021、ACG 2021、AGA 2024、ESCMID 2021)、每个语义场在指南中的覆盖判定规则(✓、✗、≠、▴、–)、比较为事后解释性分析 阅读提示:Table 3及Discussion中相关段落 |