一张图里藏着多少科学，AI 能读懂几分？

你有没有想过，一篇材料科学论文里的一张图，到底装了多少信息？

一个坐标轴的读数，一个光谱峰的位置，一条曲线的走势，背后可能是研究者花了几个月、做了几十次实验才拿到的结果。这张图不是插图，是证据本身。

现在的问题是：AI 能不能看懂这张图？

不是"能不能识别这是一张图"，而是能不能理解图里说的是什么科学故事。这个问题,ICDAR 2026（国际文档分析与识别大会）的一场比赛，用一套叫 ALD/E-ImageMiner 的数据集，给出了一个相当扎实的答案：现在还不太行，但差距在哪里，已经能说清楚了。

一个具体又冷门的领域，为什么被选中做试验田

这套数据集选择的领域有点意外：原子层沉积和原子层刻蚀（ALD/E）。

> 原子层沉积/刻蚀（ALD/E）：一种通过一层一层、以原子级精度控制材料生长或去除的工艺技术，广泛用于芯片制造、光伏材料等前沿领域。

听起来很小众，但正因为小众而专业，它成了一个绝佳的压力测试场景。这个领域的论文图表不是那种"一眼就能看懂"的柱状图或者饼图,而是光谱曲线、极图、分子结构示意图、电镜照片、反应流程图混杂在一起,而且往往是好几个小图拼成一张大图,每个小图讲一部分故事,合起来才是完整的结论。

研究团队从 205 篇相关论文里,提取出 1951 张图,由多国的材料科学、化学专业背景的研究者手工标注,分成 49 种图表类型。这个规模不算庞大，但标注的精细度值得说一说：每张复合图里的每个子图，都被人工圈出了具体的像素坐标框，精确到"这个子图从左上角第几个像素开始，宽多少、高多少"。

这里就要提一个反直觉的事实了：你可能觉得,给 AI 一张图,让它自己找到"图里哪部分是我需要关注的",是理所应当的能力。但现实是,如果不给它这种像素级的框定,现在的多模态大模型经常会看错子图,把 A 图的数据当成 B 图的结论来回答问题。这就是为什么标注团队要费这么大功夫,给每个子图画框——这不是锦上添花，是不这样做就没法准确评测模型到底看没看懂图。

打个比方，这就像你去考驾照的路考，考官不会直接问你"刚才那段路你觉得怎么样",而是会精确指出"刚才那个左转弯,你有没有打转向灯"。如果问题问得含糊，你说得再好听，考官也不知道你到底是真的会开车,还是碰巧蒙对了。给图打框，就是把模糊的大问题拆成精确可核查的小问题。

四个任务，测的是四种不同的"读图能力"

这套基准设计了四个任务，分别对应读图的四个层次。

第一个任务是图表分类,测试模型能不能认出"这是哪种类型的图"。这看起来最简单,但一张图可能同时包含分子结构图、极坐标图（也叫玫瓰图）、光谱图,模型要能把这几种视觉语言分辨清楚。

第二个任务是数据表提取,要求模型把图里的数值老老实实地"抄"出来,变成结构化的表格。

> 数据表提取：从图表（比如散点图、曲线图）中把具体数值恢复出来，转换成可以用程序读取的表格形式，这个过程要求数字准确，不能瞎编。

这个任务听起来很基础，但实际做起来最容易露馅。之前有研究专门测试过多模态模型在材料科学散点图上的表现，结果发现：模型在识别坐标轴、图例这些"表面信息"上表现不错,但一旦图里数据点密集、曲线重叠,模型就开始编造或者漏掉数据点。说白了，模型嘴上说得头头是道，具体数字经常是瞎猜的。

这让我想起一个场景：你让一个人复述一段新闻，他能讲出大概意思，语气腔调都对，但你追问"具体数字是多少",他就开始含糊其辞了。语言流畅和事实准确，完全是两件事，AI 在这一点上和人有点像。

第三个任务是摘要生成,要求模型不只是转述图里的内容,而是提炼出这张图想表达的核心科学信息。

第四个任务，也是这套基准里设计最讲究的部分，是视觉问答（VQA）。

> 视觉问答（VQA）：给模型一张图和一个问题,要求它结合图里的视觉信息给出答案,是评测多模态模型理解能力的常见方式。

VQA 听起来是个老套路了,市面上早就有 FigureQA、DVQA、ChartQA 这些数据集。但这些数据集里的图,大多是网上抓来的经济、社会类图表,或者是程序生成的模板化图形，跟科学论文里那种密度高、专业术语多、跨图关联复杂的图完全不是一个难度级别。这套 ALD/E 的 VQA 设计,是专门针对科学论证逻辑量身定做的。

布鲁姆分类法：把"读懂图"拆成六个台阶

这套 VQA 设计里最有意思的一点，是它借用了教育学里一个经典理论,叫布鲁姆分类法,来分层设计问题的认知难度。

> 布鲁姆分类法（修订版）：教育心理学中广泛使用的认知能力分级框架,把人类的思维活动从低到高分成记住、理解、应用、分析、评价、创造六个层次，最初用于评估学生的学习深度,这里被借来评估 AI 的理解深度。

具体而言，这套基准将问题划分为四大类别：流程类问题，即询问“先做什么后做什么”这类工艺步骤；对比趋势类问题，比如“温度升高，生长速率会如何变化”；结构性质类问题，像“分子结构改变，材料性能会怎样”；应用性能类问题，例如“这个光谱变化，对制作灯具有何意义”。

这四类问题不是随便划分的,它们分别对应布鲁姆分类里由浅到深的认知要求。举个流程类的例子：如果问题是"沉积步骤的顺序是什么",这只需要记住和理解;但如果问题是"为什么这一步需要用惰性气体吹扫",就需要理解加分析;要是问题变成"如果把吹扫时间缩短一半，结果会怎样",这就要求模型真正应用领域知识去预判后果,而不是简单地照着图念答案。

这里有个特别值得琢磨的地方：同一张图,可以配一道"是不是"的简单判断题,也可以配一道需要写一整段解释的分析题。答案格式本身也分成四种：是否题、简答题、列表题、段落题。

论文里给了个具体案例，特别能说明这套设计的用心程度。案例用的是一篇关于二硫化铅薄膜外延生长的论文里的一张五联图，从分子结构示意图到 X 射线衍射的极坐标图，再到几种不同角度扫描得到的光谱曲线。针对这张图,标注团队设计了四个问题：

第一个问题问"二硫化铅能不能在蓝宝石基底上外延生长",答案是简单的"能"。

第二个问题问"为什么极图要选在 25.95 度这个角度测量",这道题的标准答案长达一整段，涉及晶格匹配、衍射峰对应关系、外延取向关系的专业解释，是段落题里最典型的高阶分析题。

第三个问题问"什么现象暗示了薄膜内部存在无序结构",答案要求模型对比两个不同扫描方向的峰宽数据（一个是 13 度，一个是 9 度），推断出材料在面内和面外方向的无序程度。

第四个问题问"有没有 30 度或 90 度的晶格畴存在",答案需要综合面内 XRD 测量结果来判断。

这四个问题，从"看图说话"到"跨图综合推理"，跨度非常明显。这也印证了标注团队想要测的不是"AI 能不能看图",而是"AI 能不能像一个真正的材料科学家那样，把图里分散的线索拼成一个完整的科学结论"。

再打一个比方：这就像考医生的读片能力。你给一个刚入门的医学生一张 CT 片，他能看出"这里有个阴影"；但你给一个有经验的医生看,他能结合病人的病史、其他检查结果,判断出这个阴影到底是什么问题，接下来该做哪项检查来确认。如果考试只考"能不能看出阴影"，那筛选不出真正合格的医生。同理，如果 VQA 只考简单的事实提取,筛选不出真正理解科学的 AI。

现有的 AI，卡在哪一步

这套基准的设计，其实也是对当前多模态大模型能力边界的一次系统性摸底。论文里引用了不少相关研究,拼出了一幅相当清晰的画面。

有一项专门评测化学材料领域视觉理解能力的研究（叫 MaCBench）发现,模型在识别实验仪器、直接读数这类相对表层的任务上表现不错,但一旦涉及空间推理、跨模态信息整合、多步推理，表现就明显下滑。另一项研究用科学期刊封面图和配套故事做测试，发现模型很擅长"识别图里的显著物体"，但这种能力很大程度上是靠周围文字提示撑起来的，一旦把文字线索去掉，纯靠图像内容做判断，表现立刻打折。

还有一项更基础的研究专门探讨了"视觉绑定问题",发现像 GPT-4V 这样的强模型,在一些看起来很简单的场景里,居然会把物体、属性和空间关系搞混，比如认错"哪个颜色对应哪个形状"。这说明,视觉识别能力强,不代表模型真正理解了图里各个元素之间的关系。

> 视觉绑定问题：指模型在处理图像时，可能无法正确地把一个物体和它对应的属性、位置关联起来，比如混淆了"红色的圆"和"蓝色的方"，是当前视觉语言模型的一个已知短板。

这些发现放在一起看，能推出一个不算意外但值得强调的结论：模型的文字表达能力，经常比它真实的视觉理解能力更强。它说得头头是道,但这套话术很可能是从训练数据里学来的"套路"，不是真的看懂了眼前这张具体的图。这也是为什么这套 ALD/E 基准要坚持用像素级框定、精确的数值核对这些"笨办法"来评测，因为流畅的语言输出很容易骗过人类的第一印象，但骗不过精确的数字比对。

具体到材料科学图表这个细分场景，有研究专门测过散点图的图表转表格任务，发现模型能找到坐标轴和图例，整体趋势也说得对，但一旦图里的数据点比较密集、有重叠、还带着拟合曲线，输出的表格里就会开始漏数据或者编数据，而且图越复杂，出错率越高。这个发现挺关键：不是模型完全不会读图，是模型在"容易"的图上表现还行，在"科学论文里真实存在的那种复杂图"上就露馅了。这恰恰说明了为什么用真实科学文献里的图做基准，比用简单的合成图表更有价值，简单图表测不出真实场景里的坑。

从"看见"到"能证明"：科学理解的完整链条

论文里提出了一个挺有意思的框架,把"看懂一张科学图"拆解成五个递进的步骤：看见、阅读、理解、推理、论证。

看见，指的是模型要先能分辨图里的各个视觉元素，坐标轴在哪、图例是什么、曲线走向如何。阅读，指的是要能把这些视觉元素转换成具体的数值和类别，而且不能丢失它们原本的结构关系。理解，是要把这些数值和实验条件、科学变量、专业术语对应起来。推理，要求模型能推导出图里没有直接写出来的隐含关系，比如因果机制、趋势对比、结构和性能之间的关联。论证，是最高一级的要求，模型要能说清楚"我这个结论是从图里哪个地方看出来的"，区分清楚哪些是直接观察到的事实，哪些是加了自己的专业判断，如果证据不够，还要老实说"我不确定"。

这五步走下来，前面提到的四个任务恰好对应了这个链条的不同环节：分类任务对应"看见"，数据提取对应"阅读"，摘要对应"理解"，VQA 对应"推理"和部分"论证"。

论文进一步展望，未来的挑战可以往"创造"这个更高的台阶上走，也就是布鲁姆分类法里最顶层的能力：让模型不只是回答问题,而是根据图里给出的有限线索,设计出一套完整的实验方案。论文里举了个假设性的例子:给模型看一张关于铕有机杂化薄膜光学配置的图,让它设计一套用于荧光共振能量转移（FRET）实验的最简工作流程。这需要模型把图里分散的信息综合成一个有先后顺序的完整方案，还要清楚区分哪些参数是图里明确给出的,哪些是没写出来、需要自己判断的。

这已经很接近真正的科研工作了：不是回答一道有标准答案的题，而是在信息不全的情况下，设计出一条可执行的路径。

基准背后更深的野心：让 AI 学会像科学家一样思考

如果把这套基准的价值只停留在"测试模型读图能力"这个层面，其实低估了它的野心。论文花了不少篇幅去描绘一个更长远的目标，叫"从图像中获得科学概念理解"。

这个目标背后的逻辑是：现在的评测方式，往往把"理解"简化成一个单一分数，但真正的科学理解从来不是一锤子买卖，它是一整套过程，包括identify证据、关联条件、对比不同证据、判断哪些结论站得住脚。

论文提出了几条具体的延伸方向，值得挑几条重点说说。

首先是领域和图表类型的拓展。当下这套基准聚焦于原子层沉积/刻蚀这一细分领域，而未来的规划是先向相邻的材料科学子领域延伸，例如薄膜合成、半导体工艺、二维材料、催化、电化学电池材料、光伏、聚合物等，随后再进一步拓展至化学工程、电子工程、机械航空、能源生物医学工程等相关工程学科。这种扩展思路颇有讲究，并非单纯地“增加图表数量”，而是依据图表在科学论证中所承担的功能进行分类，像是显微图像对应形貌和缺陷分析，衍射图对应晶体结构分析，反应流程图对应机理呈现。如此设计的基准，才能真正检验出模型是否掌握了“迁移”能力，而非仅仅是对某个领域特定图案的死记硬背。

第二条是引入反事实测试。这个设计思路特别值得说一说：如果去掉图里某个关键子图，或者故意改动一个数值,或者把两个标签对调,一个真正理解图的模型，答案应该跟着这些改动而变化;如果改动的是无关紧要的格式细节（比如换个配色），答案应该保持稳定不变;如果关键信息被抽掉了，模型应该老实说"我现在没法判断"，而不是硬编一个答案出来。

这个设计背后有个挺扎心的现实依据：已经有研究证明，语言模型生成的"解释"经常是不忠实的,就是说它嘴上说的推理过程,跟它实际做出判断的真实依据，可能根本不是一回事。也有研究发现，模型的一部分关键计算过程,压根就不会体现在它输出的文字里。这意味着,光看模型说得多头头是道，不能证明它真的推理对了。反事实测试就是应对这个问题的办法：不看它怎么说，看它面对信息变化时，答案是不是也合理地跟着变了。

这就像审一份财务报表。审计师从来不会只听会计"口头解释这笔账怎么来的",而是会故意换一个假设条件，看看数字会不会按预期变化。如果账目背后的逻辑经不起这种"扰动测试",那这份报表大概率有问题。同理，如果 AI 的答案经不起"抽掉一张图、改一个数值"这种扰动，那它之前那套流畅的解释,可能也只是好看的表面文章。

第三条是走向真正开放式的科研挑战。论文设想了一种"影子挑战",给 AI 一个来自未发表研究的科研问题，配上相关文献里的图、表、方法和数据，让它自己去综合证据、提出假设、选择要做的分析,最后产出一份有理有据的研究提案，交给领域专家评判。这已经跳出了传统"评测题库"的范畴,更接近真正考验一个科研新人能不能独立开展研究。

这背后也有现实依据支撑：已经有研究观察到，现在的 AI 智能体虽然能完成不少扎实的工程性研究工作，但在实验判断、证据取舍、判断一个问题到底有没有被真正解决这些环节上，还是明显吃力。

数据集怎么获得，规则是什么

这套 ALD/E-ImageMiner 基准数据已经公开在 GitHub 和 Hugging Face 上,包含图像、结构化标注、评测脚本和提交指南，源论文的 PDF 文件因为版权原因没有包含在内。授权方式是混合型的：标注和生成的元数据用 CC BY 4.0（一种允许自由使用但需要署名的开放许可协议）开放,但提取出来的图片本身，版权仍然归属原始论文，使用者如果要商用或再传播，需要单独核实版权方的规定。

四个赛道（图表分类、数据表提取、摘要生成、视觉问答）都设有对应的 Codabench（一个开放的机器学习竞赛评测平台）竞赛页面，长期开放提交。

写在后面

读完这套基准的设计过程，最让我有触动的一点，是那个像素级框定子图的细节。这个看起来只是个"标注工程"的小决定，其实暴露了一个很本质的问题：我们现在评测 AI 的方式，本身就在纵容它蒙混过关。如果不给出精确的坐标框，一个模型把 A 子图的数据当成 B 子图的结论来回答，评测者可能都发现不了,因为答案听起来"差不多对"。这种"差不多对"恰恰是最危险的,它比明显的错误更难被揪出来。

还有一点值得单独说一说：论文里提到的"反事实测试"思路,让我联想到心理学里测试小孩是不是真的理解一个概念,常用的办法就是故意问一个刁钻的变体问题,看孩子是死记硬背了答案,还是真的懂了逻辑。AI 评测走到这一步,说明我们对"理解"这件事的定义,正在变得越来越苛刻,也越来越靠近人类认知科学的严谨标准。

一个问题倒是一直没在论文里看到答案：当 AI 真的能通过所有这些反事实测试、能生成完整的实验方案时,我们该拿什么新标准，去分辨它是"真的理解了科学",还是"学会了一套更精细的模仿"？

Q&A

Q1：ALD/E-ImageMiner 数据集是什么？

A：这是 ICDAR 2026 竞赛使用的一套科学图像基准数据集，包含来自 205 篇原子层沉积/刻蚀相关论文的 1951 张图，由专家标注，涵盖图表分类、数据表提取、摘要生成和视觉问答四个任务，用来评测多模态 AI 理解科学图表的能力。

Q2：现在的多模态大模型看科学图表表现怎么样？

A：表现不稳定。模型在识别坐标轴、图例这类表面信息上还行，但遇到数据点密集、曲线重叠的复杂图表时，容易漏数据或编造数字，涉及跨图推理、空间关系判断时表现明显下降，说明流畅的语言表达不代表真正看懂了图。

Q3：布鲁姆分类法在这个研究里是用来做什么的？

A：研究团队借用这套教育学理论，把视觉问答的问题按认知难度分成从"记住理解"到"分析评价"再到"创造"的多个层次，用来系统性测试 AI 对同一张图能达到多深的理解程度，而不只是简单的信息提取。