模型训练与数据集准备
构建用于隐私攻击评估的诊断AI模型,涵盖多种医学数据类型及不同模型架构。
对CheXpert、MIMIC-CXR、Fitzpatrick 17k、FairVision、EMBED、PTB-XL、MIMIC-IV-ED等数据集进行预处理,训练残差网络和视觉变换器,采用数据增强、权重衰减、学习率调度等技巧防止过拟合。
Disparate privacy risks from medical AI
研究包含多个独立证据层级:对多种医学数据集(图像、心电图、电子健康记录)的模型训练与攻击评估、对开放源码模型的真实攻击模拟、模型容量与差分隐私的实验验证,以及基于患者分层的亚组分析,并涵盖功能与机制验证。
CheXpert胸部X光数据集 MIMIC-CXR胸部X光数据集 Fitzpatrick 17k皮肤病学图像数据集 EMBED乳腺X光数据集
目标模型训练数据子集采样是否在患者级别进行,以确保患者隐私风险的准确估算 用于评估记录级MIA AUC的目标模型数量(N=200)及训练/非训练模型的平衡 用于MIA攻击的参考模型数量(离线RMIA为1个预训练模型)及其来源 差分隐私保护级别(ε值)及其对MIA成功率的影响 亚组分析中使用的分组变量(疾病状态、种族、保险、性别、成像方案)及统计检验方法(卡方检验、Pearson残差)
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
构建用于隐私攻击评估的诊断AI模型,涵盖多种医学数据类型及不同模型架构。
对CheXpert、MIMIC-CXR、Fitzpatrick 17k、FairVision、EMBED、PTB-XL、MIMIC-IV-ED等数据集进行预处理,训练残差网络和视觉变换器,采用数据增强、权重衰减、学习率调度等技巧防止过拟合。
评估LR-MIA(如LiRA和RMIA)对目标模型的攻击成功率,包括开放模型和自建模型。
对TorchXrayVision库中的CheXpert和MIMIC-CXR模型实施离线RMIA,使用单个PadChest预训练模型作为参考模型;对自建模型使用N=200个目标模型,采用似然比假设检验估计记录级MIA AUC。
估计算法记录级和患者级MIA漏洞,以识别个体风险分布。
使用多个目标模型训练子集,估计零假设和备择假设下的置信度分布,计算记录级MIA AUC;对同一患者多个记录取最大值作为患者级分数。
检验模型容量和隐私保护措施对患者级MIA风险的影响。
对Fitzpatrick 17k和CheXpert训练不同容量模型(WRN-28-2、WRN-40-4、ViT-B/16、ViT-L/16);对PTB-XL和EMBED训练带记录级DP的模型,比较MIA AUC和诊断性能。
检查医疗AI模型的极端隐私风险在不同患者亚组中的分布是否存在差异。
对每个数据集,识别99百分位MIA AUC的记录,计算各亚组(疾病、种族、保险、性别、成像方案等)在极端风险尾部与整体数据集中的比例差异,使用卡方检验和Pearson残差。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型训练与推理 | Keras | -- | -- |
| JAX | -- | -- | |
| 差分隐私训练 | jax-privacy | -- | -- |
| 图像分类 | TorchXrayVision | -- | -- |
| 模型训练 | A100 GPU | -- | -- |
| 数据处理 | Python | -- | -- |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 模型训练 | 目标模型训练使用随机50%患者子集,超参数通过随机搜索确定(学习率、权重衰减、动量、EMA衰减),具体值见补充表1 阅读提示:Methods: General model training details |
| 成员推断攻击 | 攻击使用的目标模型数量(N=200)和参考模型数量(离线RMIA为R=1),以及参考模型的来源(PadChest) 阅读提示:Methods: Attacking open-source chest radiograph models; Estimating record-level LR-MIA success |
| 差分隐私实验 | DP-Adam优化器的超参数(ε固定为100时随机搜索),以及使用的隐私预算(ε值)和δ设置(δ=1/D) 阅读提示:Methods: Model scaling and differential privacy experiments |
| 亚组分析 | 极端风险尾部的定义(99th记录级MIA AUC百分位),统计检验方法(卡方检验和Pearson残差),以及多重比较校正方法(Bonferroni) 阅读提示:Methods: Subgroup analysis |