微软研究院打造的医疗AI"考场"：连最强的模型也只能答对四成题目

这项由微软研究院主导的研究，于2026年6月发布，论文编号为arXiv:2606.31179，有兴趣深入了解的读者可通过该编号查询完整论文。

医疗AI正处在一个微妙的转折点。过去几年，我们见证了AI在回答医学考试题目上的惊人表现——有些模型的得分甚至超过了人类考生。然而，真实的临床工作远不是一道道选择题。一位放射科医生的日常，是翻看几十张连续的CT扫描切片，对比患者过去几年的X光片变化，再结合病历记录，最终得出判断。这种需要在海量信息中穿梭、反复比对、逐步推理的工作方式，与回答一道附有答案选项的题目，完全是两回事。

正是为了填补这个评估空白，微软研究院的团队构建了一套名为HealthAgentBench的测试平台。它不是一份试卷，而更像是一个真实的医院工作台——AI必须亲自动手：打开文件、查阅数据库、处理图像、编写代码、一步一步地完成工作，最后交出结果。

当研究团队把当前最强的十个AI系统放到这个工作台前时，结果多少令人清醒：表现最好的系统，也只完成了约42%的任务。换句话说，即便是全球顶尖的AI，面对真实的医疗工作流程，仍有超过一半的任务无法完成。这份测试平台由此成为衡量医疗AI真实能力的一把新尺子。

一、为什么需要一个“动手操作”的AI考场

要理解这项研究的意义，不妨先想象一下两种截然不同的考核方式。第一种是传统笔试：考官给考生一段简短的病例描述，问“这位患者最可能患有什么病”，考生从四个选项中选一个。第二种是临床操作考核：考官把考生带到真实的诊室，给他一叠患者档案、一批影像资料、一个数据库的访问权限，然后说“这个病人来了，你来处理”。

目前大多数AI医疗测试，做的是第一种。而微软研究院这次做的，是第二种。

之所以需要第二种，是因为现代AI系统的能力正在发生根本性的转变。以前的AI是“只读型”的——你喂给它文字，它输出文字。但现在出现了一类被称为“智能体”（Agent）的AI系统，它们可以使用工具、执行代码、操作文件、查询数据库，甚至可以自主规划解决问题的步骤。这类系统更接近于一个“能做事的助手”，而不仅仅是一个“能回答问题的知识库”。

医疗领域对这类能力的需求极为迫切。一张病理切片可能有一百亿个像素，远超任何AI系统的直接处理能力；一份完整的电子病历可能横跨十年、包含数百万条记录；一次CT扫描往往有数百张切片需要逐一检查。这些任务，靠“把资料塞进提示词里等AI回答”是根本不可能完成的。智能体AI需要自己想办法：把大文件切片处理、调用专业工具、分步骤解决问题。

然而，现有的医疗AI测试要么已经被当前模型“刷满分”而失去区分度，要么只测试单一场景，无法反映真实临床工作的复杂性。于是，这套HealthAgentBench应运而生。

二、这个“考场”到底长什么样

HealthAgentBench共包含54道任务，横跨7个大类，覆盖了患者就医全流程中不同阶段的工作。整个平台的运作方式，可以用一个类比来理解：每道任务都像是一个密室逃脱房间——AI被“锁进”一个特定的计算机环境中，里面有相关的医疗数据和工具，AI必须凭借自己的探索和操作，找到正确答案，然后写进指定的文件里“提交”，才算完成。

技术上，每道任务都被封装在一个独立的Docker容器里——可以把它理解为一个与外界隔绝的“虚拟工作站”。容器里放着真实的医疗数据，但答案绝不会出现在AI能看到的地方：答案只存在于容器外的评分程序中，由专家标注，AI无法作弊。AI只收到一段简短的自然语言说明，知道自己要做什么，但具体怎么做、用什么工具、按什么顺序操作，完全由它自己决定。

这七大类任务涵盖了相当广泛的医疗工作场景。胸部X光报告纠错任务中，AI拿到的是一位患者多年的胸片历史和一份被刻意写错的诊断报告草稿，必须自己翻看影像、对比历史记录，找出错误并改正。病理肿瘤区域选择任务中，AI面对的是一张可能有数十亿像素的全切片病理图像，必须标记出其中包含肿瘤的区域。CT异常分类任务要求AI读取一个三维的CT扫描数据文件，判断其中是否存在特定的异常表现，并且每一个异常类别都必须判断正确才算通过。临床试验匹配任务让AI为一位患者从约400份临床试验协议中找出所有符合条件的试验，一个都不能漏。电子病历数据质量审计任务则把一个被人为注入错误的医院数据库摆在AI面前，让它在包含80万行数据的8张表格中找出所有被注入的错误。电子病历事件建模任务要求AI从头构建一套机器学习流水线，基于纵向病历数据预测患者未来一年内是否会出现某种疾病。最后，电子病历格式转换任务要求AI阅读一个真实的开源数据处理代码库，修改配置文件并运行完整的数据转换流程。

所有任务的评分都采用非此即彼的二元标准：要么完全通过，要么失败，没有“差不多”的中间地带。这种严格标准的设计初衷，是确保平台能真正反映AI的实用价值——毕竟，一份有一处关键错误的诊断报告，在临床上并不比一份完全错误的报告安全多少。

三、任务的设计哲学：如何才算一道“好题”

这套平台的任务并非随意拼凑，而是经过了一套严格的筛选流程。研究团队首先要求每道任务必须真正需要智能体式的多步操作——那些只需把数据塞进提示词就能回答的问题，直接被排除在外。其次，每道任务必须对应真实的临床工作场景，数据来自真实的患者或临床文件，而非人工编造。第三，任务的覆盖面必须足够广，涵盖不同的数据类型（图像、文本、结构化数据）、不同的工作阶段（诊断、治疗规划、数据管理、研究）和不同的输出形式（文字报告、分类标签、坐标集合、代码流水线）。

在防作弊方面，团队下了不少功夫。AI看到的文件路径经过了匿名化处理，像“case_01”、“study_02_2187-11-11”这样的命名方式，让AI无法通过文件名推断出数据来源并在互联网上查找答案。数据集的名称被从所有AI可见的路径中彻底删除。评分程序使用的标准答案只存在于独立的评估模块中，完全不会出现在AI工作的环境里。此外，AI的网络浏览功能也被禁用，无法上网搜索答案。

在随机猜测成功率方面，团队也做了精心设计。那种只需猜“是”或“否”就有50%概率答对的简单二分类题目，被刻意排除。对于CT异常分类这样的任务，AI必须对多个异常类别同时做出正确判断，随机猜中全部的概率不足1%，这样才能保证测试结果真实反映AI的能力而非运气。

任务的来源有两种。一部分是对已有学术研究数据集的改造——比如电子病历事件建模任务源自斯坦福大学的EHRSHOT数据集，但原来的研究是让人类研究者开发预测模型，改造后则要求AI自主完成从探索数据到训练模型再到生成预测的全套流程，难度大幅提升。另一部分是全新创建的任务——比如电子病历数据质量审计任务，是在公开的MIMIC-IV数据集上人工注入了若干类型的错误（比如不可能出现的生理值、矛盾的人口统计信息、跨表格的记录冲突），然后让AI去找出这些错误。

四、最强AI的成绩单：喜忧参半

测试结果呈现出一幅复杂而有层次的图景，简单用“好”或“坏”来概括都失之偏颇。

从整体来看，表现最好的系统是OpenAI的Codex GPT-5.5，任务成功率约为42%。这意味着面对54道任务，它大约能稳定完成22道，剩余32道无法完成。排在其后的是基于Copilot CLI框架运行的Opus-4.8（36%）和GPT-5.5（35%），然后是原生的Claude Code Opus-4.8（32%）。表现最弱的是Codex GPT-5.4-mini，成功率只有16%。

不过，成本与效果并不成正比。Claude Code系列的Opus-4.7是最贵的，每道任务平均花费4.8美元；Claude Code Sonnet-4.6是最慢的，每道任务平均需要24分钟。但这些高昂代价换来的成绩，全部低于既便宜又快速的Codex GPT-5.5——后者每任务只花2.8美元、用时15分钟。Claude Code模型之所以更贵，是因为它们在完成每道任务时会生成多得多的输出文字，平均每次约产生4.4万个输出词元，而Codex GPT-5.5只产生约2万个。换句话说，Claude Code说了更多话，做的事情却没有更好。

不同框架对同一模型的影响也相当显著。GPT-5.5在Codex框架下成功率为42%，换到Copilot CLI框架后降至35%。反过来，Opus-4.8在Claude Code下成功率为32%，但在Copilot CLI框架下提升到36%。这种差异部分来自Copilot CLI采用的多智能体架构——它允许主模型把子任务分配给其他辅助模型来处理，所以“Copilot GPT-5.5”实际上并不是一个纯粹的GPT-5.5，而是一个以GPT-5.5为核心、可以调用其他模型协助的系统。

五、AI最擅长的：自动化医学研究流水线

如果说整体成绩令人保持谨慎，那么在某些具体任务上，AI的表现则让人看到了真实的希望。

电子病历格式转换任务几乎被所有AI系统轻松完成——十个测试系统中有九个拿到了满分，只有Claude Code Opus-4.6因为漏掉了一个人口统计字段而失败。这道任务要求AI阅读一个真实的开源ETL（即数据抽取-转换-加载）代码库，理解其工作原理，复制并修改配置文件，然后运行完整的数据处理流程，输出符合要求的医学数据格式。AI完成这类“读懂代码、按要求修改、运行并验证”的任务，表现出色。

电子病历事件建模任务更能体现AI的研究潜力。这道任务要求AI在一小时内完成一套完整的机器学习研究：探索包含2900万条记录的纵向病历数据库，设计特征工程方案，训练模型，在测试集上生成预测，最终的模型性能必须达到或超过人类专家手工设计的基线水平。Claude Code Opus-4.7以78%的成功率领跑，Codex GPT-5.5以72%紧随其后，大多数AI系统都能超过50%的成功率。

更令人印象深刻的是，AI在这道任务上所使用的方法相当轻量——它们通常采用特征计数加上梯度提升树这样的经典组合，而非复杂的深度学习模型。但就是这套简单方法，在六个疾病预测目标上大多数都达到或超过了EHRSHOT数据集原论文中基于临床语言模型的深度学习基线。用一小时、一台普通机器、不依赖任何专有资源，达到了专业研究者用昂贵深度学习方案才能达到的效果——这在一定程度上说明，当AI具备了自主规划和调试能力后，它在医学研究的自动化方面已经展现出相当实用的价值。

六、AI最困难的：在海量数据中不漏一个

临床试验匹配和电子病历数据质量审计这两类任务，共同指向了AI目前最明显的短板：在庞大的搜索空间中做到滴水不漏的全面检索。

临床试验匹配任务中，AI需要从约400份自由文本格式的临床试验协议中，找出患者符合条件的所有试验——每一个都不能漏。最好的表现来自Copilot CLI Opus-4.8，成功率67%；其次是Codex GPT-5.5，52%；而其他大多数系统只有11%到26%。

通过分析表现最好的系统的操作轨迹，研究团队发现了它的制胜策略：它先用一段轻量级的脚本对所有400份协议做初步筛选，根据关键词和人口学条件快速缩小候选范围；然后把候选协议分成五批，同时派出五个并行运行的子智能体，每个子智能体各自负责一批，逐一对照患者的详细信息做资格审查；最后，把所有子智能体的结果汇总，再对边界情况做二次核验。这种“粗筛→并行精判→集中复核”的策略，与优秀的人类搜索专家的工作方式颇为相似。

然而，即便是这套策略，也存在明显的短板。从软指标来看，最强的几个系统召回率（即找到了多少比例的符合条件试验）已经达到0.85至0.93，相当不错。但这道题的通过标准是召回率必须精确达到1.0——一个都不能漏。恰恰是这“最后一两个”，成了难以逾越的门槛。

电子病历数据质量审计任务的情况更为严峻。这道题的搜索空间是8张数据表、超过80万行数据，AI需要从中找出所有被注入的错误。没有任何AI系统的成功率超过50%，最好的Claude Code Opus-4.6也只有42%。

研究团队设计了一组对照实验，专门研究是什么让这道题这么难。他们比较了两种版本的任务：一种只告诉AI“数据里有某类错误，请找出来”；另一种额外告诉AI“错误在哪张表里，具体是什么类型”。结果，后者的召回率对所有AI系统都有显著提升，最强的系统甚至能达到接近完美的0.97。这说明，“在哪里找”的问题比“找什么”的问题更难——搜索空间的大小才是核心瓶颈。

此外，当任务要求AI在一次运行中同时找出三种不同类型的错误时，所有系统的表现都比分三次分别处理同样的错误要差得多——差距从0.06到0.34不等。这说明，当任务需要同时追踪多个目标时，AI的表现会系统性地下降。这种“同时思考多件事就容易出错”的现象，与人类在高认知负荷下的表现颇为类似。

七、医疗影像：最高的壁垒，最明显的差距

如果说文字类任务还能让AI展现出相当的实力，那么医疗影像类任务就是真正让几乎所有AI系统都陷入困境的领域。

把三类影像任务（胸部X光报告纠错、CT异常分类、病理肿瘤区域选择）和四类文字任务放在一起比较，数字非常直白：文字任务的平均成功率约为49%，影像任务的平均成功率只有17%。即便是表现最强的Codex GPT-5.5，在三类影像任务上的平均成功率也只有约35%，没有任何AI系统在任意单一影像任务上超过40%。

这种差距的根源在于，影像任务要求AI处理远超其直接接收能力的数据量，并且必须做出真正的视觉判断，而不只是文字推理。一个CT扫描通常有数百张切片；一张病理全切片图像的像素数量动辄达到数十亿。AI无法“直接看”这些图像，必须自己想办法：把图像切割成小块、生成缩略图、在不同分辨率下查看不同区域，然后基于这些碎片化的视觉信息做出判断。

在Codex GPT-5.5的成功案例中，研究团队看到了颇具创意的解题方式。在处理病理切片时，这个系统会通过OpenSlide这个开源工具读取图像金字塔（即同一张图的多个分辨率版本），先在低分辨率下生成整张切片的概览和网格图，定位可疑区域；然后针对这些区域切换到高分辨率逐块精查；最后还会专门做一轮“遗漏扫描”，检查之前没有标注为肿瘤但组织密度较高的区域，确保没有遗漏。它做出肿瘤判断的依据，是细胞的形态特征（看起来像癌细胞还是淋巴细胞），而不是简单的颜色阈值——这种形态学推理方式与病理学家的实际工作逻辑高度吻合。

然而，即便是这样出色的单次表现，也无法保证稳定复现。CT异常分类的难点在于，一些细微的病变（如轻度肺气肿、小结节）在图像噪声中极难辨认，AI往往要么漏报真实存在的异常，要么把不存在的异常标记为存在——两种错误都会导致失败，而且这两种错误出现的频率大致相当。

在AI家族差异方面，Codex GPT系列在影像任务上整体优于Claude Code系列——前者平均成功率22%，后者仅12%。但在文字类任务上，两个系列的表现旗鼓相当，均在50%左右。这种差异表明，在感知密集型的视觉任务上，不同AI架构之间存在真实的能力区分，而这种区分在文字任务上并不明显。

八、测试平台的自我验证：任务是否真的公平可靠

一套测试平台本身也需要接受审视：任务设计得是否合理？评分标准是否公正？结果是否可靠？

在可达性验证方面，团队对每道任务都进行了人工审查：既要确认任务可以被解决（即成功路径是存在的），也要排除那些存在多个同样合理答案的任务（因为这会让评分变得模糊）。任何被发现存在替代性正确解法的任务，都会被重新设计或移除。

在X光报告纠错任务中，评分采用的是LLM-as-a-judge方法：让GPT-5.4作为评判者，对AI提交的报告做5次独立评分，只要其中3次以上认定报告不含临床重大错误，就算通过。这种多数投票制减少了单次评判的随机性。每道任务的参考答案也经过了人工逐一核查，确保原始的标准答案本身是准确的——有些任务的原始报告存在问题，这些任务在核查后被直接排除。

在CT分类任务中，每个扫描的金标准标签都经过人工与配对放射学报告的核对，确保每个“阳性”或“阴性”标签都有报告原文中的明确证据支撑。病理任务的金标准来自CAMELYON16数据集的标注，该数据集是病理图像分析领域的权威基准之一。

此外，为了防止AI依赖运气完成任务，所有任务的随机猜测成功率都被刻意控制在10%以下。在CT分类任务中，AI必须同时对多个异常类别都做出正确判断，随机全对的概率以指数级下降。在临床试验匹配任务中，召回率必须精确为1.0，随机提交答案几乎不可能通过。

说到底，这套平台的意义不仅在于测出了当前AI有多强，更在于它为未来的研究指出了清晰的努力方向。

当前AI在医疗领域面临的两大核心瓶颈已经相当明确。第一个是视觉感知能力——现有的通用AI系统在处理医疗专业图像时，仍然缺乏足够的感知精度，单靠扩大模型规模可能无法解决这个问题，可能需要专门的视觉处理后端或辅助工具。第二个是大搜索空间下的完整检索能力——当需要“一个都不能漏”的全面性检索时，AI系统在认知负荷增加后的表现会系统性退化，这是当前所有测试系统共同面临的挑战。

归根结底，这项研究告诉我们：AI在医疗领域不是没有价值，而是价值的分布远比我们想象的不均匀。在构建自动化研究流水线、处理结构化数据转换这样的任务上，AI已经展现出相当实用的能力，甚至能与专业研究者媲美。但在需要精细视觉判断、或者在海量信息中不遗漏任何关键项目的场景中，距离真正可靠的临床应用还有相当长的路要走。

对普通人来说，这意味着：未来几年里，AI可能会先在医学研究的后台悄悄发挥作用——帮助研究人员更快地分析数据、发现规律——但直接参与临床诊断决策，还需要更长时间的技术积累和验证。而这套平台的价值，正在于它提供了一把可以持续量化这段“剩余距离”的尺子。有兴趣深入了解完整研究细节的读者，可通过arXiv编号2606.31179查阅原论文。

Q&A

Q1：HealthAgentBench测试平台包含哪些类型的医疗任务？

A：HealthAgentBench共包含54道任务，涵盖7大类：胸部X光报告纠错、CT异常分类、病理肿瘤区域选择、临床试验匹配、电子病历数据质量审计、电子病历事件建模，以及电子病历格式转换。这些任务覆盖了诊断、治疗规划、数据管理和医学研究等不同临床工作阶段，数据格式包括二维图像、三维CT体积、病理全切片图像、自由文本和结构化电子病历。

Q2：为什么当前最强的AI在HealthAgentBench上只能完成四成任务？

A：主要有两大瓶颈。一是医疗影像处理能力不足——CT扫描和病理切片包含海量像素，AI无法直接处理，需要自行设计分析策略，且视觉判断精度不稳定。二是大搜索空间下的完整检索能力有限——当需要在数十万行数据或数百份文件中做到“一个都不能漏”的全面检索时，AI系统在高认知负荷下表现会显著退化，这是所有当前系统共同面临的挑战。

Q3：Codex GPT-5.5和Claude Code系列在医疗任务上的差距有多大？

A：在文字类任务上，两个系列表现相当，平均成功率都在50%左右。但在医疗影像类任务上，差距相当明显：Codex GPT系列平均成功率约22%，Claude Code系列仅约12%。与此同时，Claude Code系列每道任务的费用更高（最贵达每任务4.8美元），耗时也更长，综合来看Codex GPT-5.5在性价比上具有明显优势。