面向隐私保护合成bulk RNA-seq数据生成的生成模型社区基准评测

Community benchmarking of generative models for privacy-preserving synthetic bulk RNA-seq data generation

作者信息Hakime Öztürk, Tejumade Afonja, Joonas Jälkö, Ruta Binkyte, Pablo Rodriguez-Mier, Sebastian Lobentanzer, Andrew Wicks, Jules Kreuer, Sofiane Ouaari, Nico Pfeifer, Shane Menzies, Sikha Pentyala, Daniil Filienko, Steven Golob, Patrick McKeever, Jineta Banerjee, Luca Foschini, Martine De Cock, Julio Saez-Rodriguez, Mario Fritz, Oliver Stegle, Antti Honkela
PMID43021296
发布时间2026-11-09
DOI10.1186/s13059-026-04326-1

实验完整度

中

基于两个TCGA队列的978个标志基因开展计算基准评测,含11种生成模型、五折交叉验证、分布保真/下游效用/差异表达与共表达/通路的生物合理性/七种成员推断攻击评估,无湿实验验证。

主要模型

TCGA-BRCA乳腺癌分子亚型队列(1094例) TCGA-COMBINED多组织泛癌队列(5222例原发肿瘤样本) 978个LINCS L1000标志基因的VST变换表达谱 11种生成模型(含DP与非DP方法)

重点核对

两个队列的分层五折交叉验证与固定随机种子,合成数据规模与训练集形状匹配 下游任务:TCGA-BRCA分子亚型预测、TCGA-COMBINED癌症类型预测,one-vs-rest逻辑回归,train-on-synthetic/test-on-real相对AUC-ROC与F1 差异表达恢复:Wilcoxon检验,效应量阈值ΔVST>0.5(消融0.0/0.2/0.5/1.0),FPR≤0.05 共表达恢复:hCoCena,Pearson相关阈值r>0.0/0.3/0.5;通路恢复:ssGSEA评估50个MSigDB Hallmark基因集 隐私评估:黑盒成员推断攻击,最佳攻击的AUC-ROC与TPR@FPR=0.1,参考锚定攻击仅在TCGA-COMBINED使用824例参考队列

摘要

背景:基于真实世界队列生成匿名化数据是一种有前景的策略,可实现符合监管要求且保护隐私的生物学数据共享,并有望促进可提升预测性能的模型开发。然而,在高维组学背景下,生成模型能在多大程度上保留生物学信号、同时对对抗性隐私攻击保持稳健,仍缺乏深入探索。为填补这一空白,CAMDA 2025健康隐私挑战赛发起了一项社区驱动的行动,评估面向bulk RNA-seq队列的合成与隐私保护数据生成。结果:基于该行动,我们在978个标志基因上、针对两个癌症队列(约1,000例和约5,000例患者)系统评测了11种生成方法。方法在分布保真度、下游效用、生物学合理性和经验隐私风险四个维度上评估,重点关注成员推断攻击脆弱性与其他评估维度之间的权衡。表达力强的深度生成模型取得较强的预测效用和差异表达恢复能力,但在所评估的威胁模型下往往更易受成员推断风险影响。差分隐私方法提高了抗攻击能力,但以降低效用为代价;而较简单的统计方法在中等隐私风险下提供有竞争力的效用和快速训练。结论:合成bulk RNA-seq质量本质上是多维的,并受效用、生物学保留与隐私之间权衡的塑造。我们的结果表明,模型架构驱动这些轴上的不同权衡,提示模型选择应与数据集特征、预期下游用途和隐私要求相匹配。隐私风险还应使用多种互补的攻击方法评估,并在可能时通过形式化差分隐私保护加以缓解。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
生成模型能否在保留bulk RNA-seq生物学信号与下游效用的同时保持对成员推断攻击的隐私稳健性,且不同模型类别在这些维度间如何权衡。
核心机制
隐私、保真度、效用与生物学合理性由模型架构的归纳偏置和正则化策略共同决定:表达力强的深度生成模型更贴近真实分布但更易泄漏成员信息,形式化差分隐私通过扰动梯度、统计量或输出降低可检测的成员信号但损失效用。
主要证据
基于TCGA-BRCA与TCGA-COMBINED的978个标志基因,对11种方法在分布保真度(MMD、KL、密度、覆盖度、判别分数、最近记录距离)、下游效用(相对F1、AUC-ROC、重要特征重叠)、生物学合理性(差异表达、共表达、通路)及七种成员推断攻击下的隐私风险进行五折交叉验证评估,并分析指标间Spearman相关。
研究意义
作者指出合成转录组数据质量需多维度评估,评估框架可为转录组学及更广泛医疗健康应用的合成数据生成提供指导,并强调在数据共享前应将任务特异性基准评测作为标准实践。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

构建真实bulk RNA-seq基准数据集

建立可比较的真实数据基准与隐私攻击候选集。

从GDC门户经TCGABiolinks获取TCGA STAR counts,构建TCGA-BRCA(1094例,含LumA、LumB、Basal、Her2、Normal亚型)与TCGA-COMBINED(5222例原发肿瘤,12种癌症类型、10种组织)两个预处理数据集,并划分训练/测试集。

2

训练与生成合成数据

在统一数据划分与随机种子下生成与训练集形状匹配的合成表达谱。

在VST空间内训练8种生成架构共11种方法(含DP版本),对每折由训练分区生成合成数据,保留测试分区用于评估。

3

评估分布保真度

衡量合成数据对真实数据全局与局部结构的复现程度。

计算MMD、基因级KL散度、密度与覆盖度(k=5)、相对最近记录距离及基于逻辑回归分类器的判别分数,分别参照真实训练集与留出测试集。

4

评估下游预测效用

评估合成数据训练的分类器能否在真实留出数据上保持预测性能。

采用train-on-synthetic/test-on-real方案训练one-vs-rest逻辑回归,与真实训练的TRTR参照比较,并统计各类top-10预测基因的重叠比例。

5

评估生物学合理性

检验合成数据是否保留基因级、网络级与通路级生物信号。

开展差异表达恢复、共表达网络恢复与ssGSEA通路评分比较。

6

黑盒成员推断攻击评估隐私风险

在仅可访问发布合成数据和候选记录的威胁模型下量化成员身份泄漏风险。

采用距离类(MC、GAN-leaks、GAN-leaks calibrated)、密度类(DOMIAS-KDE)与分类器类(LOGAN-D1、Confidence LR、Confidence RF)攻击,取每个模型最强攻击结果作为隐私风险。

7

跨维度指标相关性与权衡分析

分析效用、保真度、生物学合理性与隐私之间的相关关系与权衡模式。

对11种方法的指标五折均值计算Spearman秩相关,并在FDR校正后叠加LOESS趋势线。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
TCGABiolinks R包----
DESeq2方差稳定变换----
MiniBatchNMF(Scikit-learn)Scikit-learn--
PyTorch 2.4.0--2.4.0
Opacus v1.5.2--v1.5.2
SmartNoise-SynthSmartNoise--
DOMIAS软件包----
hCoCena R包----
GSVA R包----
scran R包----

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
数据集构建与预处理
TCGA-BRCA为1094例含已知亚型样本;TCGA-COMBINED为5222例12种癌型;低表达过滤阈值为至少10%样本counts≥1;VST blind=FALSE;限定978个LINCS L1000标志基因;TCGA-COMBINED划分4398/824例
阅读提示:Methods-Datasets and pre-processing小节
交叉验证与合成数据生成
分层五折交叉验证及固定随机种子;合成数据与各折训练集样本量、特征维度匹配;DP-CVAE与DP-PGM用ε=4、DP-CTGAN用ε=50、P-NMF用ε=4且无形式化DP保证
阅读提示:Methods-Experiment design与Generative models各小节
各生成模型的超参数
MVN加性噪声尺度α=0.5;NMF秩k=50、随机森林ntree=100;CVAE β=0.001、三隐藏层;CVAE-GMM混合成分数3;DP-CVAE梯度裁剪0.1、batch size 64;WGAN-GP λ=10、ncritic=5;CTGAN pac=10、10,000次迭代、batch size 64;DP-CTGAN preprocessor-eps-multiplier=0.1;Embedded Diffusion max-grad-norm=1.0、dp-noise-multiplier=0.00001;DP-PGM四等分位分箱
阅读提示:Methods-Generative models各方法Implementation细节
下游效用评估
下游任务定义(分子亚型预测、癌症类型预测);one-vs-rest逻辑回归;每类top-10特征;相对AUC-ROC与相对F1计算方式perf_synthetic/perf_real
阅读提示:Methods-Evaluation framework的Utility小节
生物学合理性评估
DE效应量阈值ΔVST=0.5(消融0.0/0.2/0.5/1.0)与adj.p≤0.05;共表达相关阈值r>0.0/0.3/0.5;50个MSigDB Hallmark基因集;KS检验BH校正
阅读提示:Methods-Biological plausibility小节及Fig. 2、Fig. 3与Table 3图注
成员推断攻击隐私评估
黑盒无查询威胁模型;成员/非成员划分与0.8成员比例;TCGA-COMBINED 824例参考队列;四种特征表示各保留top-100维;最佳攻击的AUC-ROC与TPR@FPR=0.1;MC攻击不纳入跨模型比较
阅读提示:Methods-Privacy小节(Threat model、Membership inference attacks、Metrics)