构建抗体表征基准数据集
为评估ICL在抗体序列分类中的性能提供标准化数据。
从公开来源获取抗体序列,构建三个场景:物种来源(人vs小鼠、人vs猕猴)、特异性(SARS-CoV-2结合vs非结合)、同种型类别(IGHM、IGHD、IGHG、IGHA多分类)。
A systematic evaluation of in-context learning in large language models for antibody characterization
基于20个LLM在三种抗体分类任务上的系统评测,包含多模型、多任务、少样本/零样本/CoT对比及pLM和传统ML基线验证。
20个通用大型语言模型(GPT、Claude、Gemini、LLaMA、Mistral家族) 抗体序列数据集(物种来源、特异性、同种型分类) 蛋白质语言模型分类器(AntiBERTy、AbLang-2、IgBert) 传统编码机器学习模型(随机森林、MLP、CNN、TabPFN)
使用20个LLM,每个提示重复5次,温度0.2(除特定思考模型),采用不同演示选择策略和16/32-shot设置 测试集每类100个实例,训练集与测试集随机划分,演示仅从训练集选取 Sim-ICL使用Levenshtein距离或余弦相似度选择相似演示,并保持标签多样性 对比pLM分类器(AntiBERTy、AbLang-2、IgBert)和传统编码分类器性能 统计检验使用双侧配对Wilcoxon符号秩检验,多重比较采用Bonferroni校正
提炼研究问题、关键发现与证据,快速把握文章的核心贡献。
按研究推进顺序梳理实验设计、验证步骤与关键观察。
为评估ICL在抗体序列分类中的性能提供标准化数据。
从公开来源获取抗体序列,构建三个场景:物种来源(人vs小鼠、人vs猕猴)、特异性(SARS-CoV-2结合vs非结合)、同种型类别(IGHM、IGHD、IGHG、IGHA多分类)。
确定有效的演示选择和提示设计对LLM抗体序列分类性能的影响。
比较零样本、随机少样本、Sim-ICL(基于Levenshtein距离或余弦相似度选择演示)以及CoT提示,在不同shot数下评估。
评估Sim-ICL相对于专用机器学习模型的竞争力。
在三个场景中比较LLM少样本ICL性能与基于AntiBERTy、AbLang-2、IgBert嵌入的RF、MLP、CNN、TabPFN分类器以及传统编码分类器。
探究推理提示和中等规模微调对LLM抗体分类性能的影响。
测试三种CoT变体(仅步骤、LLM生成答案、人工校正答案),并对GPT-3.5、GPT-4o mini、Gemini 1.0 Pro进行1,000、3,000、5,000实例的微调,评估零样本和少样本性能。
检验ICL结果对输入顺序、数据污染、术语变体、训练测试划分和模型超参数的稳健性。
评估循环vs顺序输入顺序、数据污染(不同训练截止日期模型)、拼写变体、五种随机种子划分、模型版本、温度和种子参数的影响。
按研究目的归类文中使用的方法,便于定位所需技术。
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| LLM推理 | OpenAI API | OpenAI | v1.11.0 |
| OpenAI Responses API | OpenAI | v2.8.0 | |
| Anthropic API | Anthropic | v0.21.3 | |
| Anthropic Messages API | Anthropic | v0.73.0 | |
| Google Generative API | v0.5.3 | ||
| Replicate API | Replicate | v0.25.2 | |
| 本地LLM推理 | Python Hugging Face transformer | Hugging Face | v.4.25.1 |
| NVIDIA A100 (40 GB) | NVIDIA | -- | |
| 数据分析 | scikit-learn | -- | v1.5.0 |
| Biopython | -- | v1.83 | |
| peptides | -- | v0.3.2 | |
| tabpfn | -- | v6.4.1 |
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 数据集构建与划分 | 各场景训练集/测试集实例数、类别平衡、测试集大小(100实例)、随机划分种子 阅读提示:Methods中“Dataset collection and processing”和“Train-test split”小节,Additional file 1: Table S3 |
| 演示选择策略 | Sim-ICL中相似性度量(Levenshtein距离/余弦相似度)、平衡策略、shot数(16/32)、演示仅来自训练集 阅读提示:Methods中“Demonstration selection and prompt design”小节,Additional file 2: Figs. S1-S3 |
| LLM推理参数 | 模型版本、温度(0.2,思考模型除外)、重复次数(5次)、API参数(n=5等) 阅读提示:Methods中“LLMs”小节,Additional file 1: Table S1 |
| 基线模型训练 | pLM嵌入类型和维度、分类器超参数(RF树数1000、MLP隐藏层等)、训练集使用全量或平衡下采样 阅读提示:Methods中“Comparison with random baselines and established models”小节,Additional file 1: Tables S5, S7 |
| 微调实验 | 微调实例数(1,000/3,000/5,000)、微调数据格式、评估的零样本和少样本设置 阅读提示:Methods中“Model fine-tuning”小节,Additional file 2: Fig. S18 |