对DNA基础模型进行零样本变异效应预测的基准测试表明上下文、训练和架构的重要性

Benchmarking DNA foundation models for zero-shot variant effect prediction shows the importance of context, training, and architecture

作者信息Ilaria Alfisi, Francesca Ciapi, Marta Baragli, Alberto Magi
PMID43015900
发布时间2026-08-17
DOI10.1186/s13059-026-04238-0

实验完整度

低

本研究为计算基准测试,仅对预训练模型进行零样本推理,未包含湿实验功能或机制验证。

主要模型

NT系列模型(多物种/1000G/人类参考训练) DNABERT HyenaDNA(HYENA_1、HYENA_32) Evo 2(evo2_7b_base)

重点核对

ClinVar SNV数据集:良性156060、致病性65865、意义不明108386,共约320000个SNV 输入序列长度:NT模型6 Kb(1000 tokens),DNABERT 512 bp,HYENA_1 1025 bp/1000 bp,HYENA_32 6000 bp,Evo2_7B 8000 tokens 零样本评分:嵌入空间Cosine Similarity、Manhattan、Euclidean;概率空间Hellinger、Jensen-Shannon、Cross-Entropy CCS-N:中心token及N个最近邻token的零样本分数之和,N范围1–10 统计:归一化Wilcoxon U-statistic,使用R wilcox.test

摘要

背景:在本研究中,我们系统评估了几种DNA基础模型(NT、DNABERT、HyenaDNA和Evo 2)在使用零样本评分(一种不需要任务特异性微调的方法)预测遗传变异功能影响方面的性能。我们评估模型对单核苷酸变异(SNV)引入的序列改变的敏感性,比较它们捕获局部和扩展上下文效应的能力。结果:使用来自ClinVar的致病性、良性和意义不明的SNV,我们表明大型多物种NT模型在检测功能后果方面优于其他架构,不仅在SNV位点,而且在相邻区域。这些模型在不同变异类别中表现出优异的判别能力,特别是在对多个周围token聚合零样本分数时。相反,仅基于人类序列训练的模型或依赖下一token预测目标的模型,如DNABERT、HyenaDNA和Evo 2,表现出有限的上下文意识和降低的区分变异效应的能力。结论:我们的发现强调了模型大小、训练目标和训练数据多样性在塑造模型性能方面的关键重要性。此外,我们讨论了当前在建模基因组序列长程依赖方面的局限性,并建议transformer架构的创新,如稀疏注意力或记忆增强模型,可能为可扩展的全基因组变异效应预测提供可行路径。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
DNA基础模型在无需任务特异性微调的零样本评分下,能否预测单核苷酸变异(SNV)的功能影响并捕获变异对周围序列上下文的影响?
核心机制
大型多物种NT模型通过掩码语言建模(MLM)训练,能双向捕获上下文并聚合邻近token信息,从而更好地区分高/低功能影响变异;而仅训练于人类序列或采用下一token预测(NTP)的模型上下文意识有限。
主要证据
使用ClinVar中良性、致病性和意义不明的SNV,计算嵌入空间和概率空间的零样本评分及CCS-N,通过归一化Wilcoxon U-statistic比较变异类别间区分能力;大型多物种NT模型在嵌入空间表现最佳,CCS-N聚合邻近token后区分能力提升。
研究意义
研究结果强调了训练目标、模型架构和训练数据多样性对学习具有生物学意义的基因组表示的重要性,并为未来DNA基础模型在功能变异解释中的开发提供实践指导。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

构建ClinVar SNV数据集与序列对

准备用于零样本评分的参考序列和变异序列。

从ClinVar下载VCF,筛选胚系单核苷酸变异,按临床意义分为良性、致病性和意义不明;从GRCh38/hg38提取以SNV为中心的序列,生成参考等位基因和ClinVar等位基因配对序列。

2

模型推理与零样本评分计算

量化变异对序列嵌入和概率分布的影响。

将配对序列输入各DNA基础模型,提取最后一层嵌入和logits(经softmax转为概率);计算嵌入空间的Cosine Similarity、Manhattan、Euclidean距离,概率空间的Hellinger、Jensen-Shannon、Cross-Entropy;计算CCS-N。

3

变异类别区分能力评估

评估模型区分不同功能影响变异类别及致病/良性变异的能力。

使用归一化Wilcoxon U-statistic比较八类遗传变异之间以及同一功能类别内致病与良性变异的零样本评分分布。

4

基因组功能结构学习评估

检验模型是否捕获编码区与非编码区的功能结构。

基于GENCODE Release 47注释,将输入序列token分为编码区(外显子)和非编码区(内含子/基因间区),计算每变异编码vs非编码token零样本评分的Wilcoxon U-statistic。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
Nvidia A100 GPU Tensor CoreNvidia40 GB

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
ClinVar SNV数据集构建
SNV数量(良性156060、致病性65865、意义不明108386)、筛选标准(CLNVC=single_nucleotide_variant;ORIGIN=1;排除conflicting_interpretations等)
阅读提示:Methods中CLINVAR小节
输入序列长度与token化
各模型序列长度(NT 6 Kb/1000 tokens,DNABERT 512 bp,HYENA_1 1025 bp,HYENA_32 6000 bp,Evo2_7B 8000 tokens)及k-mer设置(NT/DNABERT为6-mer,HyenaDNA/Evo2为单核苷酸)
阅读提示:Methods中DNA foundation models小节、CLINVAR小节及Table 1
零样本评分与CCS-N计算
嵌入空间和概率空间的六种距离度量;CCS-N公式及N范围1–10
阅读提示:Methods中Inference and Zero-shot scores小节
统计分析与归一化
Wilcoxon U-statistic使用R wilcox.test;归一化除以n1×n2
阅读提示:Methods中U Statistic calculation小节
基因组功能注释
GENCODE Release 47 for GRCh38注释;编码区(外显子)与非编码区(内含子/基因间区)划分
阅读提示:Methods中U Statistic calculation小节