使用大规模平行剪接检测对剪接变异预测算法进行基准测试

Benchmarking splice variant prediction algorithms using massively parallel splicing assays

作者信息Cathy Smith, Jacob O Kitzman
PMID38129864
发布时间2023-12-21
DOI10.1186/s13059-023-03144-z

实验完整度

高

研究整合了来自四个MPSA研究、饱和基因组编辑及临床变异集的数据,包含大规模实验验证(MPSA、SGE)和临床数据,并进行了全面预测性能比较和机制分析。

主要模型

大规模平行剪接检测(MPSA)数据集 饱和基因组编辑(SGE)数据集 临床变异集(MLH1)

重点核对

变异来源:MPSA(POU1F1、MST1R、FAS、WT1)、SGE(BRCA1)、临床(MLH1) 变异分类:SDV/中性定义因本研究而异 预测器评分:八个算法,涵盖多种模型 背景集:500,000个随机SNV,用于评估全基因组调用率 统计指标:prAUC、转录组标准化敏感性、Youden's J

摘要

背景:破坏mRNA剪接的变异占许多遗传疾病中致病变异负担的相当大一部分,但识别基本剪接位点二核苷酸之外的剪接破坏性变异(SDV)仍然困难。计算预测器经常不一致,加剧了变异解释的挑战。由于它们主要使用偏向已知经典剪接位点突变的临床变异集进行验证,因此其性能的泛化能力仍不清楚。结果:我们利用大规模平行剪接检测(MPSA)作为实验确定的真实来源,对八种广泛使用的剪接效应预测算法进行了基准测试。MPSA同时检测许多变异以提名候选SDV。我们比较了五个基因中3,616个变异的实验测量的剪接结果与生物信息学预测。算法与MPSA测量结果以及彼此之间的一致性,对于外显子变异低于内含子变异,强调了识别错义或同义SDV的困难。基于基因模型注释训练的深度学习预测器在区分破坏性变异和中性变异方面实现了最佳总体性能,并且控制基因组范围的总体调用率,SpliceAI和Pangolin具有优越的敏感性。最后,我们的结果强调了在基因组范围评分变异时的两个实际考虑:找到最佳评分截断值,以及基因模型注释差异引入的实质性变异,我们提出了在这些问题面前优化剪接效应预测的策略。结论:在所测试的预测器中,SpliceAI和Pangolin表现出最佳的总体性能,然而,剪接效应预测的改进仍然需要,特别是在外显子内。补充信息:在线版本包含补充材料,可在10.1186/s13059-023-03144-z获取。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
评估八种剪接效应预测算法在区分由大规模平行剪接检测确定的剪接破坏性变异和中性变异方面的性能。
核心机制
深度学习预测器(SpliceAI和Pangolin)利用基因模型注释,在区分SDV和中性变异方面总体表现最佳,但在外显子区域性能较差。
主要证据
基于MPSA、SGE和临床变异集共3,616个变异的基准评估,计算prAUC、转录组标准化敏感性等指标。
研究意义
为剪接效应预测器的选择和阈值设定提供指导,强调改进外显子区域预测的必要性。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

构建验证变异集

收集来自大规模平行剪接检测、饱和基因组编辑和临床数据库的变异,作为基准测试的真实标注。

整合了来自四个MPSA研究(POU1F1、MST1R、FAS、WT1)和BRCA1 SGE研究的变异,并手工整理了MLH1临床变异。总共包含3,912个SNV,跨越6个基因的33个外显子。

2

预测器评分

使用八种预测算法对基准变异和背景变异进行评分。

运行HAL、S-Cap、MMSplice、SQUIRLS、SPANR、SpliceAI、Pangolin和ConSpliceML,对变异的剪接破坏性进行预测。

3

性能评估

量化每个预测器区分SDV和中性变异的能力,并比较其在基因组范围的调用率。

计算prAUC、转录组标准化敏感性,并评估不同变异类型(外显子/内含子)的性能差异。

4

阈值优化分析

探究每个预测器的最佳评分截断值,并评估其在不同数据集和变异类型间的变异性。

通过最大化Youden's J统计量确定每个工具的最佳阈值,并比较工具推荐阈值。

5

注释影响分析

评估基因模型注释的选择对预测结果的影响,特别是替代剪接异构体。

使用不同注释(如包含替代异构体)运行SpliceAI和Pangolin,比较预测变化,并估计受影响的基因比例。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
SpliceAI--version
Pangolin--version
MMSplice--version
SQUIRLS--version
HAL----
S-Cap----
SPANR----
ConSpliceML----

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
变异收集
MPSA数据集来源(POU1F1、MST1R、FAS、WT1)、BRCA1 SGE筛选条件、MLH1临床变异纳入标准
阅读提示:Methods中的“Saturation mutagenesis datasets”和“Manual curation of clinical MLH1 variants”部分
预测评分
各预测器的版本、运行参数(如SpliceAI距离参数、Pangolin掩蔽设置)
阅读提示:Methods中的“Scoring with eight splice effect predictors”部分
性能评估
背景集生成条件(随机SNV抽取位置)、性能指标计算方式(prAUC、转录组标准化敏感性)
阅读提示:Methods中的“Random background variant set”和“Statistical methods”部分
阈值分析
Youden's J计算方法、各工具推荐阈值
阅读提示:Results中的“Determining optimal score cutoffs”部分
注释分析
GTEx数据版本、替代异构体注释选择
阅读提示:Methods中的“Nominating annotation-sensitive alternatively spliced genes”部分