人类考92分的题，GPT-4只能考15分：测试一升级，大模型全都现原形了
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
GPT-4自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只拿到了15分，而人类能拿92。这套名叫「GAIA」的测试题由来自Meta-FAIR、Meta-GenAI、HuggingFace和AutoGPT的团队制作，提出了一些需要一系列基本能力才能解决的问题，如推理、多模态处理、网页浏览和一般工具使用能力。这些问题对人类来说非常简单，但对大多数高级AI来说却极具挑战性。如果里面的问题都能解决，通关的模型将成为AI研究的重要里程碑。GAIA的设计理念和当前的很多AI基
GPT-4 自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只拿到了 15 分，而人类能拿 92。
这套名叫「GAIA」的测试题由来自 Meta-FAIR、Meta-GenAI、HuggingFace 和 AutoGPT 的团队制作，提出了一些需要一系列基本能力才能解决的问题，如推理、多模态处理、网页浏览和一般工具使用能力。这些问题对人类来说非常简单，但对大多数高级 AI 来说却极具挑战性。如果里面的问题都能解决，通关的模型将成为 AI 研究的重要里程碑。
GAIA 的设计理念和当前的很多 AI 基准不一样，后者往往倾向于设计一些对人类来说越来越难的任务，这背后其实反映了当前社区对 AGI 理解的差异。GAIA 背后的团队认为，AGI 的出现取决于系统能否在上述「简单」问题上表现出与普通人类似的稳健性。
重写内容如下： 图片1：GAIA问题示例。完成这些任务需要大型模型具备一定的推理、多模态或工具使用等基本能力。答案是明确的，并且根据设计，在训练数据的纯文本中是找不到答案的。有些问题附带额外的证据，例如图片，这反映了真实的用例并且允许更好地控制问题
尽管 LLM 能成功完成人类难以完成的任务，但能力最强的 LLM 在 GAIA 上的表现却难以令人满意。即使配备了工具，GPT4 在最简单的任务中成功率也不超过 30%，而在最难的任务中成功率为 0%。与此同时，人类受访者的平均成功率为 92%。
因此，如果一个系统能解决 GAIA 里的问题，我们就能在 t-AGI 系统中去评估它。t-AGI 是 OpenAI 工程师 Richard Ngo 构建的一套细化 AGI 评估系统，其中包括 1-second AGI、1-minute AGI、1-hour AGI 等等，用来考察某个 AI 系统能否在限定时间里完成人类通常花相同时间可以完成的任务。作者表示，在 GAIA 测试中，人类通常需要 6 分钟左右回答最简单的问题，17 分钟左右回答最复杂的问题。
作者使用GAIA的方法设计了466个问题及其答案。他们发布了一个开发者集，其中包含166个问题和答案，另外还有300个问题没有附带答案。这个基准以排行榜的形式发布
- 排行榜地址：https://huggingface.co/spaces/gaia-benchmark/leaderboard
- 论文地址：https://arxiv.org/pdf/2311.12983.pdf
- HuggingFace 主页地址：https://huggingface.co/papers/2311.12983
GAIA 是什么
GAIA 是如何运作的？研究人员表示，GAIA 用于测试人工智能系统一般助理问题的基准。GAIA 试图规避之前大量 LLM 评估所存在的缺陷。这个基准由人类设计和注释的 466 个问题组成。这些问题基于文本，有些还附带文件（如图像或电子表格）。它们涵盖了各种辅助性质的任务，包括日常个人任务、科学和常识等
这些问题有一个简短、单一且易于验证的正确答案
想要使用 GAIA，只需向人工智能助手零样本提出问题并附上相关的依据（如果有的话）。要在 GAIA 上获得完美的得分，需要具备一系列不同的基本能力。该项目的制作者在其补充材料中提供了各种问题和元数据
GAIA 的产生既源于升级人工智能基准的需要，也源于目前广泛观察到的 LLM 评估的缺点。
设计GAIA的首要原则是针对概念上简单的问题。尽管这些问题对人类来说可能很乏味，但它们在现实世界中千变万化，对当前的人工智能系统来说是具有挑战性的。这使得我们可以专注于基本能力，比如通过推理快速适应、多模态理解和潜在的多样化工具使用，而不是专业技能方面
这些问题通常包括查找和转换从不同来源（例如提供的文档或开放且不断变化的网络）收集的信息，以产生准确的答案。要回答图 1 的示例问题，LLM 通常应该浏览网络查找研究，然后寻找正确的注册位置。这与此前基准体系的趋势相反，以前的基准对人类来说越来越困难，和 / 或在纯文本或人工环境中操作。
GAIA的第二个原则是可解释性。相比于海量问题，我们精心策划了有限数量的问题，使得新的基准更易于使用。这个任务的概念很简单（人类成功率为92%），使用户很容易理解模型的推理过程。对于图1中的一级问题，推理过程主要包括检查正确的网站，并报告正确的数字，这个过程很容易进行验证
GAIA 的第三个原则是对记忆的鲁棒性：GAIA 的目标是比大多数当前基准测试的猜题可能性更低。为了完成一项任务，系统必须计划好并成功完成一些步骤。因为根据设计，当前预训练数据中没有以纯文本形式生成结果答案。准确性的进步反映了系统的实际进步。由于它们的多样性和行动空间的大小，这些任务不能在不作弊的情况下被暴力破解，例如通过记住基本事实。尽管数据污染可能导致额外的正确率，但答案所需的准确性、答案在预训练数据中的缺失以及检查推理轨迹的可能性减轻了这种风险。
相反，多项选择答案使污染评估变得困难，因为错误的推理痕迹仍然可以得出正确的选择。如果尽管采取了这些缓解措施，还是发生了灾难性记忆问题，那么使用作者在论文中提供的指南很容易设计新问题。
图 2.：为了回答 GAIA 中的问题，GPT4（配置了代码解释器）等 AI 助手需要完成几个步骤，可能需要使用工具或读取文件。
GAIA 的最后一个原则是易用性。其中的任务是简单的提示，可能会附带一个附加文件。最重要的是，问题的答案是事实、简洁且明确的。这些属性允许简单、快速和真实的评估。问题旨在测试 zero-shot 能力，限制评估设置的影响。相反，许多 LLM 基准要求对实验设置敏感的评估，例如提示的数量和性质或基准实现。
现有模型的跑分
GAIA 的设计使得大模型智能水平的评估自动化、快速且真实。实际上，除非另有说明，每个问题都需要一个答案，该答案可以是字符串（一个或几个单词）、数字或逗号分隔的字符串或浮点数列表，但只有一个正确答案。因此，评估是通过模型的答案和基本事实之间的准精确匹配来完成的（直到与基本事实的「类型」相关的某种归一化）。系统（或前缀）提示用于告知模型所需的格式，请参见图 2。
事实上，级别为GPT4的模型很容易符合GAIA的格式。GAIA已经提供了评分和排名功能
目前只测试了大模型领域的「标杆」，OpenAI 的 GPT 系列，可见不管哪个版本分数都很低，Level 3 的得分还经常是零分。
使用 GAIA 评估 LLM 只需要能够提示模型，即有 API 访问权限即可。在 GPT4 测试中，最高分数是人类手动选择插件的结果。值得注意的是，AutoGPT 能够自动进行此选择。
只要 API 可以使用，测试时就会运行该模型三次并报告平均结果
图4：不同方法及级别的得分和回答时间
总体而言，人类在问答中的各个层面都表现出色，但目前最好的大模型显然表现不佳。作者认为，GAIA 可以对有能力的 AI 助手进行清晰的排名，同时在未来几个月甚至几年内留下很大的改进空间。
从回答花费的时间上来看，GPT-4这类大型模型具有潜在能力可以替代现有的搜索引擎
没有插件的 GPT4 结果与其他结果之间的差异表明，通过工具 API 或访问网络来增强 LLM 可以提高答案的准确性，并解锁许多新的用例，这证实了该研究方向的巨大潜力。
AutoGPT-4允许GPT-4自动使用工具，但与没有插件的GPT-4相比，Level 2甚至Level 1的结果都令人失望。这种差异可能来自于AutoGPT-4依赖GPT-4 API（提示和生成参数）的方式，并且在不久的将来需要进行新的评估。与其他LLM相比，AutoGPT-4也很慢。总体而言，人类和带有插件的GPT-4之间的协作似乎是「性能」最好的
图 5 展示了按照功能分类的模型所获得的分数。显然，仅仅使用 GPT-4 是无法处理文件和多模态的，但它能够解决注释者使用网页浏览的问题，主要是因为它能够正确地记忆需要组合的信息片段以获得答案
图 3 左：解决 GAIA 中问题需要使用的能力的数量。右：每个点对应一个 GAIA 问题。在给定位置，点的大小与问题数量成正比，并且仅显示问题数量最多的级别。这两个数字都是基于人类注释者在回答问题时报告的信息，人工智能系统的处理方式可能会有所不同。
在 GAIA 上获得完美得分需要 AI 具备先进的推理、多模态理解、编码能力和一般工具使用能力，例如网页浏览。AI 还包括需要处理各种数据模态，例如 PDF、 电子表格，图像、视频或音频。
尽管网页浏览是 GAIA 的关键组成部分，但我们不需要 AI 助手在网站上执行除「点击」之外的操作，例如上传文件、发表评论或预订会议。在真实环境中测试这些功能，同时避免制造垃圾信息需要谨慎，这个方向会留在未来的工作中。
题目难度逐渐加大：根据解决问题所需的步骤和回答问题所需的不同工具数量，该题可分为三个难度逐渐加大的等级。这些步骤或工具没有一个单一的定义，可能有多种路径可用于回答给定的问题
- Level 1 问题一般不需要工具，或者最多一个工具但不超过 5 个步骤。
- Level 2 问题通常涉及更多步骤，大约在 5-10 步之间，并且需要结合不同的工具。
- Level 3 是针对近乎完美的通用助理的问题，要求采取任意长的行动序列，使用任意数量的工具，并能够接触到真实世界。
GAIA 针对现实世界的 AI 助理设计问题，设计中的问题还包括面向残障人士的任务，如在小音频文件中查找信息。最后，该基准尽最大努力涵盖各种主题领域和文化，尽管数据集的语言仅限于英语。
请参阅原始论文以获得更多详细信息
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，