对用于抗体表征的大型语言模型中的上下文学习进行系统评估

A systematic evaluation of in-context learning in large language models for antibody characterization

作者信息Sin-Hang Fung, Zhenghao Zhang, Ran Wang, Chen Miao, Brian Shing-Hei Wong, Kelly Yichen Li, Chenyang Hong, Jingying Zhou, Kevin Y Yip, Stephen Kwok-Wing Tsui, Qin Cao
PMID43015844
发布时间2026-08-13
DOI10.1186/s13059-026-04240-6

实验完整度

高

基于20个LLM在三种抗体分类任务上的系统评测,包含多模型、多任务、少样本/零样本/CoT对比及pLM和传统ML基线验证。

主要模型

20个通用大型语言模型(GPT、Claude、Gemini、LLaMA、Mistral家族) 抗体序列数据集(物种来源、特异性、同种型分类) 蛋白质语言模型分类器(AntiBERTy、AbLang-2、IgBert) 传统编码机器学习模型(随机森林、MLP、CNN、TabPFN)

重点核对

使用20个LLM,每个提示重复5次,温度0.2(除特定思考模型),采用不同演示选择策略和16/32-shot设置 测试集每类100个实例,训练集与测试集随机划分,演示仅从训练集选取 Sim-ICL使用Levenshtein距离或余弦相似度选择相似演示,并保持标签多样性 对比pLM分类器(AntiBERTy、AbLang-2、IgBert)和传统编码分类器性能 统计检验使用双侧配对Wilcoxon符号秩检验,多重比较采用Bonferroni校正

摘要

大型语言模型可以通过上下文学习(ICL)学习新任务,但这种能力在生物序列分类中仍未得到充分探索。我们在三项抗体任务(物种来源、抗体特异性和同种型类别分类)上评估了20个大型语言模型的ICL。少样本提示优于零样本性能,但要匹配蛋白质语言模型分类器的性能,需要序列相似的演示。基于这一观察,我们引入了一种基于序列相似性的抗体序列分类ICL策略Sim-ICL。使用32次提示,Sim-ICL在三个任务中的两个上取得了具有竞争力的性能。其简单性使得少样本ICL在抗体表征方面具有前景,特别是对于编码专业知识有限的研究人员。

实验结论

提炼研究问题、关键发现与证据,快速把握文章的核心贡献。

研究问题
通用大型语言模型仅通过上下文学习能否在抗体序列分类任务上达到与专用序列机器学习模型相当的性能,以及如何设计提示以实现这一目标?
核心机制
Sim-ICL通过序列相似性检索与查询序列相似的标注演示,并保持标签多样性,将其纳入少样本提示,使LLM无需参数更新即可进行抗体序列分类。
主要证据
在20个LLM上评估三种抗体分类场景,Sim-ICL在16和32-shot设置下在物种来源(人vs猕猴)和同种型分类任务中匹配或超过pLM分类器,但在特异性预测任务上pLM分类器保持优势;零样本和CoT提示表现较差。
研究意义
Sim-ICL为编码经验有限的研究人员提供了一种无需训练的抗体序列分类实用方法,可作为现有pLM工作流程的补充,特别适用于低数据、探索性或需要灵活任务适应的场景。

研究路径

按研究推进顺序梳理实验设计、验证步骤与关键观察。

1

构建抗体表征基准数据集

为评估ICL在抗体序列分类中的性能提供标准化数据。

从公开来源获取抗体序列,构建三个场景:物种来源(人vs小鼠、人vs猕猴)、特异性(SARS-CoV-2结合vs非结合)、同种型类别(IGHM、IGHD、IGHG、IGHA多分类)。

2

设计并比较ICL提示策略

确定有效的演示选择和提示设计对LLM抗体序列分类性能的影响。

比较零样本、随机少样本、Sim-ICL(基于Levenshtein距离或余弦相似度选择演示)以及CoT提示,在不同shot数下评估。

3

与pLM和传统ML模型对比

评估Sim-ICL相对于专用机器学习模型的竞争力。

在三个场景中比较LLM少样本ICL性能与基于AntiBERTy、AbLang-2、IgBert嵌入的RF、MLP、CNN、TabPFN分类器以及传统编码分类器。

4

评估CoT和微调效果

探究推理提示和中等规模微调对LLM抗体分类性能的影响。

测试三种CoT变体(仅步骤、LLM生成答案、人工校正答案),并对GPT-3.5、GPT-4o mini、Gemini 1.0 Pro进行1,000、3,000、5,000实例的微调,评估零样本和少样本性能。

5

重现性与稳定性评估

检验ICL结果对输入顺序、数据污染、术语变体、训练测试划分和模型超参数的稳健性。

评估循环vs顺序输入顺序、数据污染(不同训练截止日期模型)、拼写变体、五种随机种子划分、模型版本、温度和种子参数的影响。

研究方法

按研究目的归类文中使用的方法,便于定位所需技术。

产品清单

实验环节名称品牌货号
OpenAI APIOpenAIv1.11.0
OpenAI Responses APIOpenAIv2.8.0
Anthropic APIAnthropicv0.21.3
Anthropic Messages APIAnthropicv0.73.0
Google Generative APIGooglev0.5.3
Replicate APIReplicatev0.25.2
Python Hugging Face transformerHugging Facev.4.25.1
NVIDIA A100 (40 GB)NVIDIA--
scikit-learn--v1.5.0
Biopython--v1.83
peptides--v0.3.2
tabpfn--v6.4.1

关键环节

汇总复现实验时建议重点确认的条件及原文阅读提示。

环节核对要点
数据集构建与划分
各场景训练集/测试集实例数、类别平衡、测试集大小(100实例)、随机划分种子
阅读提示:Methods中“Dataset collection and processing”和“Train-test split”小节,Additional file 1: Table S3
演示选择策略
Sim-ICL中相似性度量(Levenshtein距离/余弦相似度)、平衡策略、shot数(16/32)、演示仅来自训练集
阅读提示:Methods中“Demonstration selection and prompt design”小节,Additional file 2: Figs. S1-S3
LLM推理参数
模型版本、温度(0.2,思考模型除外)、重复次数(5次)、API参数(n=5等)
阅读提示:Methods中“LLMs”小节,Additional file 1: Table S1
基线模型训练
pLM嵌入类型和维度、分类器超参数(RF树数1000、MLP隐藏层等)、训练集使用全量或平衡下采样
阅读提示:Methods中“Comparison with random baselines and established models”小节,Additional file 1: Tables S5, S7
微调实验
微调实例数(1,000/3,000/5,000)、微调数据格式、评估的零样本和少样本设置
阅读提示:Methods中“Model fine-tuning”小节,Additional file 2: Fig. S18