医疗人工智能的不同隐私风险

Disparate privacy risks from medical AI

作者信息Moritz A Knolle, Martin J Menten, Friederike Jungmann, Felix Meissen, Ben Glocker, Daniel Rueckert, Georgios Kaissis
PMID42343130
期刊Nature
发布时间2026-08
DOI10.1038/s41586-026-10688-0

实验完整度

研究包含多个独立证据层级:对多种医学数据集(图像、心电图、电子健康记录)的模型训练与攻击评估、对开放源码模型的真实攻击模拟、模型容量与差分隐私的实验验证,以及基于患者分层的亚组分析,并涵盖功能与机制验证。

主要模型

CheXpert胸部X光数据集 MIMIC-CXR胸部X光数据集 Fitzpatrick 17k皮肤病学图像数据集 EMBED乳腺X光数据集

重点核对

目标模型训练数据子集采样是否在患者级别进行,以确保患者隐私风险的准确估算 用于评估记录级MIA AUC的目标模型数量(N=200)及训练/非训练模型的平衡 用于MIA攻击的参考模型数量(离线RMIA为1个预训练模型)及其来源 差分隐私保护级别(ε值)及其对MIA成功率的影响 亚组分析中使用的分组变量(疾病状态、种族、保险、性别、成像方案)及统计检验方法(卡方检验、Pearson残差)

摘要

医疗人工智能(AI)模型有望改善全球获得高质量诊断的机会。然而,这些模型背后的训练数据通常包含敏感的患者信息,可能会通过隐私攻击泄露。以往的研究主要量化了这些攻击在数据集中所有记录上的总体成功率。因此,个体患者面临的隐私风险(他们通常向训练数据集贡献多个相似记录)仍未得到充分理解。在此,我们提出了对医疗诊断应用AI模型的首批患者级隐私审计之一。我们重点关注成员推断攻击(MIA),该攻击试图确定某个特定个体的数据是否被用于训练模型。在多种医疗数据集上,我们表明,即使总体性能与随机猜测无明显偏差,MIA对个体患者也能达到接近完美的成功率。我们进一步发现,攻击成功率高的患者数量随着模型容量的增加而大幅增加,并且代表性不足的群体(按疾病状态、自我报告的种族、保险、性别或成像方案分层)面临着不成比例的高攻击成功率。总之,我们的研究结果表明,总体隐私指标可能严重低估个体隐私风险。我们观察到的不同风险特征是否适用于MIA以外的攻击仍是一个未决问题,这促使进一步开发适用于所有数据贡献患者的风险评估和缓解技术。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
医疗AI模型训练中,个体患者面临的成员推断攻击风险如何?总体攻击成功率是否低估了患者级风险?
核心机制
成员推断攻击利用AI模型对训练数据预测置信度较高的特性,通过似然比检验判断记录是否属于训练集;模型容量增大导致对长尾数据记忆增强,从而增加个体隐私风险。
主要证据
在包含胸部X光、皮肤图像、心电图和电子健康记录在内的多个数据集上,使用N=200个目标模型进行患者级攻击评估,发现部分患者MIA AUC接近1.0,而总体攻击AUC接近0.5;高模型容量(如ViT-L/16)导致高风险患者比例增加一个数量级;亚组分析显示少数群体(如黑人患者、比例较小的病变类型)在极端风险尾部中比例过高。
研究意义
研究表明标准隐私审计方法严重低估个体风险,强调需要患者级风险评估,并建议采用差分隐私等可验证的缓解策略;同时警示医疗AI部署可能加剧健康不平等,为隐私风险报告标准和AI模型开发提供了改进方向。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

模型训练与数据集准备

构建用于隐私攻击评估的诊断AI模型,涵盖多种医学数据类型及不同模型架构。

对CheXpert、MIMIC-CXR、Fitzpatrick 17k、FairVision、EMBED、PTB-XL、MIMIC-IV-ED等数据集进行预处理,训练残差网络和视觉变换器,采用数据增强、权重衰减、学习率调度等技巧防止过拟合。

2

成员推断攻击实施

评估LR-MIA(如LiRA和RMIA)对目标模型的攻击成功率,包括开放模型和自建模型。

对TorchXrayVision库中的CheXpert和MIMIC-CXR模型实施离线RMIA,使用单个PadChest预训练模型作为参考模型;对自建模型使用N=200个目标模型,采用似然比假设检验估计记录级MIA AUC。

3

患者级风险评估

估计算法记录级和患者级MIA漏洞,以识别个体风险分布。

使用多个目标模型训练子集,估计零假设和备择假设下的置信度分布,计算记录级MIA AUC;对同一患者多个记录取最大值作为患者级分数。

4

模型容量与差分隐私影响评估

检验模型容量和隐私保护措施对患者级MIA风险的影响。

对Fitzpatrick 17k和CheXpert训练不同容量模型(WRN-28-2、WRN-40-4、ViT-B/16、ViT-L/16);对PTB-XL和EMBED训练带记录级DP的模型,比较MIA AUC和诊断性能。

5

亚组分析

检查医疗AI模型的极端隐私风险在不同患者亚组中的分布是否存在差异。

对每个数据集,识别99百分位MIA AUC的记录,计算各亚组(疾病、种族、保险、性别、成像方案等)在极端风险尾部与整体数据集中的比例差异,使用卡方检验和Pearson残差。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
Keras----
JAX----
jax-privacy----
TorchXrayVision----
A100 GPU----
Python----

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
模型训练
目标模型训练使用随机50%患者子集,超参数通过随机搜索确定(学习率、权重衰减、动量、EMA衰减),具体值见补充表1
阅读提示:Methods: General model training details
成员推断攻击
攻击使用的目标模型数量(N=200)和参考模型数量(离线RMIA为R=1),以及参考模型的来源(PadChest)
阅读提示:Methods: Attacking open-source chest radiograph models; Estimating record-level LR-MIA success
差分隐私实验
DP-Adam优化器的超参数(ε固定为100时随机搜索),以及使用的隐私预算(ε值)和δ设置(δ=1/D)
阅读提示:Methods: Model scaling and differential privacy experiments
亚组分析
极端风险尾部的定义(99th记录级MIA AUC百分位),统计检验方法(卡方检验和Pearson残差),以及多重比较校正方法(Bonferroni)
阅读提示:Methods: Subgroup analysis