基准测试与智能体框架构建
建立本地部署双智能体模拟框架，并在MIMIC-IV衍生基准上评估诊断性能。
开发 Physician Agent 和 Patient Agent 交互框架，使用本地部署开源权重LLM，在MIRA-v2和CDM基准上进行多轮模拟临床 encounters，评估诊断准确率。
关于丁香通
公司信息
个人用户
企业机构
无忧采购 轻松科研
- 移动端
用于可靠临床决策的本地部署医疗AI智能体
On-premise medical AI agents for reliable clinical decision-making
实验完整度
高包含MIMIC-IV衍生基准（MIRA-v2、CDM）和外部VivaBench基准的回顾性模拟实验，进行了多模型诊断性能评估、置信度指标分析、压力测试和选择性自主模拟，并有医师裁决验证。
主要模型
MIRA-v2基准（源自MIMIC-IV，551例，7种疾病） CDM基准（源自MIMIC-IV，2400例，4种腹部疾病） VivaBench基准（源自PubMed，990例，10个专科组） 本地部署大语言模型（GLM-4.5-Air、Qwen-3.5、GLM-5、GPT-OSS）
重点核对
主要可靠性分析使用GLM-4.5-Air基线，温度T=0.01，top_p=1.0，top_k=0，单智能体配置 行为一致性通过每个病例5次独立随机运行计算，使用MiniLM句子编码器 压力测试中，扰动条件移除患者智能体的主诉和完整病史摘要，其他设置保持不变 选择性自主分析采用一致性阈值0.90，保留病例的准确率和覆盖率 外部基准VivaBench使用Qwen-3.5和GPT-OSS，温度T=0.6进行基准比较
摘要
由大语言模型（LLM）驱动的自主临床人工智能（AI）智能体，即无需持续人工输入即可完成诊断工作流的系统，正日益具备支持复杂推理和决策的能力。然而，临床转化仍受两个未满足要求的限制：机构化治理的部署和可靠的决策时不确定性估计。在此，我们开发并评估了一个完全本地部署的临床智能体，该智能体将本地操作控制与多视角可靠性框架相结合，以支持选择性自主。在两个源自Medical Information Mart for Intensive Care IV（MIMIC-IV）的基准测试中，该智能体在七疾病任务上达到90.04%的准确率，在四疾病任务上达到83.8%的准确率，在主要基准上接近云基线。为评估决策时可靠性，我们量化了诊断和推理的内部似然、基于语言和行为稳定性的度量。诊断行为一致性提供了对正确性的最强区分（曲线下面积（AUC）= 0.860），并在压力测试下保持信息性（AUC = 0.875）。在一致性阈值为0.90时，保留了49.4%的病例，诊断准确率为98.9%。这些发现支持了一个用于机构化治理临床智能体的实用框架，其中决策时可靠性信号识别出较低风险子集进行自主处理，其余部分则推迟审查。
实验结论
提炼研究问题、关键发现与证据，快速把握文章的核心贡献。
- 研究问题
- 如何构建和评估一个机构化治理的本地部署临床AI智能体，并利用决策时可靠性信号支持选择性自主？
- 核心机制
- 行为一致性（跨重复运行的诊断输出语义稳定性）是诊断正确性的最强决策时信号；内部似然和语言确定性提供互补但非等价的信息；基于一致性的门控可将高风险病例路由至人工审查。
- 主要证据
- 在MIRA-v2基准上，一致性Dx的AUC为0.860，优于概率分数（AUC=0.747）；在压力测试下AUC为0.875；阈值0.90时保留49.4%病例，准确率98.9%；外部VivaBench上一致性Dx的AUC为0.719。
- 研究意义
- 支持一个实用框架，将机构化治理的本地部署与决策时可靠性估计相结合，通过明确的人工升级支持选择性自主，提高医疗AI智能体的可信度。
研究路径
按研究推进顺序梳理实验设计、验证步骤与关键观察。
多视角置信度框架构建与评估
量化内部似然、语言表达不确定性和行为稳定性三类可靠性指标，并评估其对诊断正确性的区分能力。
在MIRA-v2上计算ProbScore、LingCert、ConceptDensity和Consistency（诊断和推理双流），使用ROC分析比较AUC。
压力测试
评估在信息稀缺条件下可靠性指标的稳健性。
比较 grounded 基线与扰动条件（患者智能体无 grounding，可生成不可靠陈述）下的诊断准确率和置信度指标变化。
选择性自主模拟
测试基于置信度的分诊协议，在高置信度子集上自主处理，其余推迟人工审查。
使用准确性-覆盖率分析，在不同一致性阈值下计算保留病例的准确率和覆盖率，并模拟分诊工作流。
外部基准验证
评估框架在MIMIC衍生基准之外的便携性。
在VivaBench（n=990，10个专科组）上评估诊断性能和置信度指标，进行选择性自主模拟。
研究方法
按研究目的归类文中使用的方法，便于定位所需技术。
产品清单
| 实验环节 | 名称 | 品牌 | 货号 |
|---|---|---|---|
| 模型部署 | vLLM | -- | -- |
| NVIDIA H200 | NVIDIA | -- | |
| NVIDIA RTX PRO 6000 | NVIDIA | -- | |
| 系统构建 | OpenAI Agents SDK | OpenAI | -- |
| 一致性估计 | all-MiniLM-L6-v2 | Hugging Face | sentence-transformers/all-MiniLM-L6-v2 |
| all-mpnet-base-v2 | Hugging Face | sentence-transformers/all-mpnet-base-v2 | |
| bge-base-en-v1.5 | BAAI | BAAI/bge-base-en-v1.5 | |
| 评估器模型 | Gemini 3.1 Flash-Lite | gemini-3.1-flash-lite-preview | |
| 临床智能体模型 | GLM-4.5-Air | Hugging Face | zai-org/GLM-4.5-Air-FP8 |
| GLM-5 | Hugging Face | zai-org/GLM-5-FP8 | |
| GPT-OSS | Hugging Face | openai/gpt-oss-120b | |
| Qwen-3.5 | Hugging Face | Qwen/Qwen3.5-397B-A17B-FP8 | |
| 多智能体扩展 | MedGemma | Hugging Face | google/medgemma-27b-it |
关键环节
汇总复现实验时建议重点确认的条件及原文阅读提示。
| 环节 | 核对要点 |
|---|---|
| 主要可靠性分析 | 模型：GLM-4.5-Air；温度T=0.01，top_p=1.0，top_k=0；单智能体配置；每个病例5次独立随机运行；MiniLM编码器 阅读提示：Methods中'Experimental configurations'小节和'Multi-perspective confidence framework'小节 |
| 压力测试 | 扰动条件：移除患者智能体的主诉和完整病史摘要；其他设置与基线相同；配对病例n=551 阅读提示：Methods中'Adversarial stress testing'小节和Supplementary Table 30 |
| 选择性自主分析 | 一致性阈值0.90；保留病例准确率98.9%，覆盖率49.4%；GLM-4.5-Air基线 阅读提示：Results中'Enabling selective autonomy'小节和Fig. 6a |
| 外部基准验证 | VivaBench n=990；Qwen-3.5和GPT-OSS，温度T=0.6；一致性阈值0.85时保留32.0%病例，准确率89.9% 阅读提示：Methods中'External benchmark configuration'小节和Extended Data Fig. 4 |
| 医师评估 | 第一轮111例MIRA-v2病例，第二轮70例；至少3名医师独立评审，多数票决定；使用结构化临床信息 阅读提示：Methods中'Physician evaluation'小节和Supplementary Table 3 |