谷歌发布 BIG-Bench Mistake 数据集，有助于提升 AI 的纠错能力
谷歌研究院最近针对流行的语言模型进行了一项评估研究，使用了自家的BIG-Bench基准测试和新建立的“BIG-BenchMistake”数据集。他们主要关注了语言模型的出错概率和纠错能力。这个研究为了更好地了解市面上的语言模型的性能表现，提供了有价值的数据。谷歌研究人员表示，他们创建了一项名为“BIG-BenchMistake”的专用基准数据集，旨在评估大语言模型的“出错概率”和“自我纠错能力”。这是因为过去缺乏相应的数据集，无法对这些关键指标进行有效评估和测试。研究人员使用PaLM语言模型在自家BIG-
谷歌研究院最近针对流行的语言模型进行了一项评估研究，使用了自家的BIG-Bench基准测试和新建立的“BIG-Bench Mistake”数据集。他们主要关注了语言模型的出错概率和纠错能力。这个研究为了更好地了解市面上的语言模型的性能表现，提供了有价值的数据。
谷歌研究人员表示，他们创建了一项名为“BIG-Bench Mistake”的专用基准数据集，旨在评估大语言模型的“出错概率”和“自我纠错能力”。这是因为过去缺乏相应的数据集，无法对这些关键指标进行有效评估和测试。
研究人员使用 PaLM 语言模型在自家 BIG-Bench 基准测试任务中运行了 5 项任务，并将生成的“思维链（Chain-of-Thought）”轨迹加入了“逻辑错误”部分，以此重新测试模型的准确性。
为了提高数据集的准确性，谷歌研究人员反复进行了上述过程，并最终创建了一个专门用于评估的基准数据集，其中包含了255个逻辑错误，称为“BIG-Bench Mistake”。
研究人员指出，“BIG-Bench Mistake”数据集中的逻辑错误十分明显，因此可以作为语言模型测试的良好标准。该数据集可帮助模型从简单错误开始学习，逐步提高错误识别的能力。
研究人员利用该数据集对市面上的模型进行测试后发现，虽然大多数语言模型能够识别推理过程中的逻辑错误并进行自我修正，但这一过程并不十分理想。通常情况下，还需要人工干预来纠正模型输出的内容。
▲ 图源 谷歌研究院新闻稿
根据报告，谷歌声称其被认为是目前最先进的大语言模型，但其自我纠错能力相对有限。在测试中，成绩最好的模型只能找出52.9%的逻辑错误。
谷歌研究人员同时声称，这一 BIG-Bench Mistake 数据集有利于改善模型自我纠错能力，经过相关测试任务微调后的模型，“即便是小型模型表现也通常比零样本提示的大模型更好”。
据此，谷歌认为在模型纠错方面，可以使用专有小型模型“监督”大型模型，相对于让大语言模型学会“纠正自我错误”，部署专用于监督大模型的小型专用模型有利于改善效率、降低相关 AI 部署成本，并更便于微调。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。