面向组学和临床数据建模中机器学习最佳泛化性能的探索

在机器学习（ML）建模中，数据集内测试与跨数据集测试之间常存在性能差异。然而，缩小这些差异可能会降低ML性能。因此，开发在数据集内测试中表现优异且能泛化到跨数据集测试的模型是一个具有挑战性的两难问题。为此，我们旨在理解并提升ML在数据集内和跨数据集测试中的性能与泛化能力。我们使用癌症基因组图谱（TCGA，n=286）和Oncogenomic-Singapore（OncoSG，n=167）数据集评估了4,200个分类肺腺癌（LUAD）死亡的ML模型，并使用TCGA（n=151）和临床蛋白质组肿瘤分析联盟（CPTAC，n=97）数据集评估了1,680个分类胶质母细胞瘤死亡的模型。在检查这些ML模型的性能分布后，我们应用了一个双重分析框架，包括统计分析和基于SHapley Additive exPlanations的荟萃分析，以量化因素的重要性并将模型成功追溯至设计原则。我们还开发了一个框架来识别最佳泛化模型。引人注目的是，Jarque-Bera检验揭示了在两种癌症类型和测试情境中模型性能均显著偏离正态分布。在LUAD实验中，具有稀疏特征集的简单线性模型始终占主导地位，而在胶质母细胞瘤实验中，非线性模型占主导地位，这表明最佳建模策略似乎依赖于癌症类型/疾病。重要的是，稳健的方差分析（ANOVA）和Kruskal–Wallis检验均一致地将差异表达基因确定为两种癌症类型中最具影响力的因素之一。所提出的多标准框架成功识别出同时实现最佳跨数据集性能和相似数据集内性能的模型。总之，ML性能分布显著偏离正态分布，这促使我们同时使用稳健的参数和非参数统计检验。我们量化并提供了对两种癌症类型中与跨数据集性能和ML模型泛化能力相关因素的可能可利用性。开发并验证了一个多标准框架，用于识别准确且跨数据集持续稳健的模型。