建立训练和验证数据集
为NLP算法的开发和验证提供参考标准。
从EMR中提取临床笔记,随机选择500名患者,由训练有素的研究人员进行手动图表审查,分为训练集(300名)和验证集(200名),并定义病例分类标准。
Text-Based Identification of Herpes Zoster Ophthalmicus With Ocular Involvement in the Electronic Health Record: A Population-Based Study
本研究为回顾性队列研究,包含NLP算法开发、验证及大规模队列应用,属于观察性分析,未涉及功能或机制验证。
电子健康记录中的临床文本 NLP算法 KPSC成员队列
NLP算法的敏感性(94.9%)和特异性(94.2%)需在验证数据集上确认 NLP算法识别眼部HZO与ICD代码识别的差异(9.0% vs 2.3%) 与眼部HZO相关的年龄、性别和种族因素需在队列中验证 NLP算法在区分眼部HZO与非眼部HZO时的准确性需依赖手动图表审查参考标准
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
为NLP算法的开发和验证提供参考标准。
从EMR中提取临床笔记,随机选择500名患者,由训练有素的研究人员进行手动图表审查,分为训练集(300名)和验证集(200名),并定义病例分类标准。
利用训练数据集开发能够从临床文本中识别眼部HZO的算法。
对临床笔记进行预处理,创建术语表,进行章节、句子和相邻句子级别的搜索,使用关系检测算法识别体征/症状及其相关皮节位置,使用否定和时间关系检测算法排除否定、不确定、历史和未来陈述,并进行后处理以整合结果。
使用验证数据集评估NLP算法识别眼部HZO的性能。
将NLP算法应用于验证数据集,计算敏感性、特异性、阳性预测值、阴性预测值和似然比,并报告调整性能指标以考虑人群中眼部HZO的患病率。
在大规模HZ患者队列中应用验证后的NLP算法,以识别眼部HZO病例并比较其与ICD代码识别的差异。
将NLP算法应用于2010-2018年新发HZ且使用抗病毒药物的KPSC成员,处理临床笔记,识别眼部HZO病例,并与ICD代码识别结果进行比较。
分析HZ患者中与眼部HZO相关的因素。
比较眼部HZO、非眼部HZO和非HZO HZ患者的特征,使用稳健泊松模型估算与眼部HZO相关的因素,并进行多变量分析。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 数据存储与分析 | SAS 9.4版本 | SAS Institute | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| NLP算法开发与验证 | NLP算法的具体规则和术语表未在本文中详细说明;临床笔记的处理流程及参考标准定义需从原始来源获取。 阅读提示:Methods中的Algorithm Development和Algorithm Validation部分 |
| 队列构建 | 患者纳入标准:年龄≥50岁,2010-2018年新发HZ诊断,抗病毒药物在诊断前后±7天内;排除标准:前一年有HZ诊断,索引日期前会员资格少于6个月。 阅读提示:Methods中的Algorithm Application部分 |
| 统计建模 | 多变量模型采用逐步回归,具体变量选择标准为入口P=0.05,停留P=0.1;最终模型仅包括有统计学显著性的变量。 阅读提示:Methods中的Statistical Analysis部分和Table 5 notes |