AI成绩单背后，藏着一位华人“出题人”
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
陈文虎及团队推出MMLU-Pro、MMMU等基准评测，改进大语言模型与多模态模型评估。MMLU-Pro将选项扩至10个并增加推理题，使模型准确率下降16%至33%。MMMU含1.15万道多模态题，顶尖模型准确率仅约60%。这些基准重新拉开模型差距，被行业广泛采用。
每次前沿模型一发布，AI圈儿里总会涌向那几张熟悉的成绩单。
MMLU-Pro、MMMU、MMMU-Pro……这些名字对普通用户来说有点陌生，但在模型公司和研究者眼里，它们几乎成了“标准科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek们一遍遍在这些基准上交卷。
“是骡子是马拉出来溜溜”，模型到底怎么样，分数说了算。
不少模型发布会上的性能对比图，离不开这些基准；HuggingFace上的排行榜也建立在它们之上。可以说，如今AI行业讨论模型能力时，用的已经是一套由这些基准定义的共同语言。
但有意思的是，几乎所有人都在盯着分数，却很少有人知道出题的人是谁。而MMLU-Pro、MMMU和MMMU-Pro背后，都能看到同一个名字——陈文虎。
他是加拿大滑铁卢大学计算机科学系助理教授，在谷歌学术上，论文被引用超过3万次。
他也是“老虎实验室（TIGERLab）”的创始人——英文全称Text and Image GEnerative Research Lab，因为名字里有个“虎”字，他给实验室起了个辨识度很高的中文名：虎头帮。
01 旧考卷失灵之后
陈文虎最早被更多人注意到，是因为MMLU-Pro。
MMLU曾经是大语言模型能力评估中最常用的基准之一。它像一张综合试卷，覆盖多个学科，用来衡量模型在知识理解和推理上的表现。
早期，这张卷子很有用。模型之间的差距能被分数拉开，行业也能通过它观察大语言模型是否真的在进步。
但问题很快就冒了出来。
随着模型能力不断提升，MMLU逐渐变得“不够考”了。前沿模型的分数越来越高，彼此之间的差距越来越小。
到OpenAI发布o3之后，这个问题更加明显。o3在MMLU上的准确率已经接近100%，其他前沿模型也陆续交出逼近满分的成绩。
听着像好消息，但对评估来说，反而是个麻烦。
一张试卷如果大家都能考接近满分，就很难再判断谁更强、强在哪里。它仍然能证明模型已经具备某些能力，却不再适合衡量新的进步。
AI行业需要一张更难、也更不容易被“糊弄过去”的卷子。
2024年，陈文虎和团队推出了MMLU-Pro。
MMLU-Pro不是简单把题库扩大，而是重新改造了这张考卷。
它包含12032道题，覆盖数学、物理、化学、法律、工程、心理学、健康等14个领域。相比原版MMLU，选项从4个扩展到10个，降低模型靠猜测蒙对的概率；同时加入更多偏推理的问题，清理掉原题库中相对简单、有歧义或区分度不足的题目。
效果很直接。
论文结果显示，模型在MMLU-Pro上的准确率相比原版MMLU下降了16%到33%。同一模型在24种不同提示词风格下测试时，成绩波动也从原MMLU的4%到5%，下降到约2%。
也就是说，这张新卷子不仅更难，也更稳定。
它让那些在旧考卷上看起来都很优秀的模型，重新被拉开了差距。模型到底是真会推理，还是只是更擅长应付旧题，也因此更容易被看出来。
02 好用的基准评测
MMLU-Pro很快被行业拿去用了。
它随后进入NeurIPS 2024数据集与基准评测赛道，也被EleutherAI的语言模型评测框架lm-evaluation-harness集成。对开源模型社区来说，这意味着它不再只是一篇论文里的数据集，而是进入了常用评测工具链。
很多模型发布时，开始报告MMLU-Pro分数。HuggingFace上的一些排行榜，也把它纳入评估体系。
如果说MMLU-Pro解决的是语言模型评估里的“旧考卷失灵”，那么MMMU则把陈文虎和TIGERLab推到了多模态评测的中心。
多模态模型的问题更复杂。
语言模型答题，主要处理文字。多模态模型则要同时处理图片、图表、示意图、地图、表格、乐谱、化学结构等不同形式的信息。它不只是要读懂题干，还要真正看懂图像里的内容，并把视觉信息、文本信息和学科知识放在一起推理。
MMMU基准评测包含1.15万道多模态问题，来自大学考试、测验和教材，覆盖艺术与设计、商业、科学、健康与医学、人文社科、技术与工程六大领域，进一步细分为30个学科和183个子领域。
这些题目不是简单问模型“图里有什么”，它要求模型像学生做专业题一样，把图像信息和学科知识结合起来。
MMMU发布时，研究团队测试了14个开源多模态模型，以及GPT-4V、Gemini Ultra等代表性闭源模型。即便是当时最强的闭源模型，GPT-4V和Gemini Ultra也只达到56%和59%的准确率。
这组数字说明，多模态模型看起来进步很快，但在真正需要专业理解和推理的问题上，仍然有大量空间。
后来，陈文虎团队又推出了MMMU-Pro，进一步堵住模型绕过视觉信息的空间。它过滤掉只靠文本模型也能回答的问题，扩展候选项，并引入vision-only设置，把问题嵌入图像中，要求模型同时完成视觉读取和文本理解。
简单说，就是不让模型“只看文字猜答案”。
这类工作听起来颇有点琐碎，但它们很关键。因为多模态模型未来要进入医疗、教育、科研、设计、工程等场景，仅仅能描述图片是不够的。它必须能判断、推理、解释，也必须能在复杂视觉信息中找到真正有用的部分。
03 “考卷”背后的人
陈文虎后来做MMLU-Pro和MMMU，来自于他一直以来的研究方向。
他的研究兴趣本来就与复杂信息理解、知识问答和推理有关。
他本科毕业于华中科技大学，之后到德国亚琛工业大学攻读硕士，再到加州大学圣巴巴拉分校获得计算机科学博士学位。博士期间，他已经开始围绕复杂问答、表格推理、知识证据定位等方向做研究。
这类任务有一个共同点：答案往往不在单一文本里。
它可能藏在一张表格里，也可能需要结合一段文字和一张图片，还可能需要模型先检索信息，再整合、计算和推理。模型不能只会复述已有知识。
陈文虎参与过的HybridQA、TabFact、Program of Thoughts、MAmmoTH等项目，都和这条线有关。
这也解释了他为什么会对模型评估里的漏洞敏感。
好的基准评测不是简单把题目搞得越来越难，而是要预判模型最容易在哪里“蒙对题”“看起来会”。
模型可能记住了题库，也可以靠选项猜答案，还可能用文字绕过视觉信息……好的评估得把这些漏洞补好。
博士毕业后，陈文虎进入谷歌研究院，随后在2024年至2025年参与谷歌DeepMind的Gemini多模态模型和评估工作。这段经历也很重要。长期接触前沿模型研发，让他更清楚模型能力是如何增长的，也更容易看见评估中可能存在的偏差和盲区。
2024年秋季，陈文虎加入滑铁卢大学计算机科学学院，担任助理教授。同年，他入选Canada CIFAR AI Chair。之后，他创办“老虎实验室（也就是虎头帮）”，继续围绕基础模型、多模态能力和基准评测展开研究。
虎头帮并不只是做基准评测，也在做模型和系统研究。
在视频方向上，UniVideo试图把视频理解、生成和编辑放进同一个框架，让模型不只是生成一段画面，也能理解内容、响应指令并完成修改。Vamba瞄准长视频理解，解决一小时级别视频带来的显存、计算和训练效率问题。与Meta生成式AI团队合作的MoCha，则把重点放在说话虚拟角色生成上，通过语音和文字描述生成高质量人物视频。
一个从来不做题的出题人是不可能出好题的。自己下场做模型，反过来也让他们更适合做评估。
因为真正好的评估，往往来自对模型能力边界的理解。只有知道模型是怎么做出来的，知道它在真实任务里会遇到什么问题，才更容易设计出能测出差距、也能暴露问题的题目。
如今，陈文虎进入Meta超级智能实验室，工作继续集中在多模态预训练数据和评估，并服务于Meta基础模型。
AI行业并不缺少被看见的人。聚光灯通常会落在创业者、明星研究员和大模型公司的负责人身上。新产品发布、融资消息、开源模型和团队调整，往往最容易吸引外界关注，也让这些名字更容易进入公众视野。
但今天的AI领域，华人人才的参与已经远不止这些最显眼的位置。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。