华人科学团队推出「思维链集」，全面测评大模型复杂推理能力
大模型能力涌现，参数规模越大越好？然而，越来越多的研究人员声称，小于10B的模型也可以实现与GPT-3.5相当的性能。真是如此吗？OpenAI发布GPT-4的博客中，曾提到：在随意的交谈中，GPT-3.5和GPT-4之间的区别可能很微妙。当任务的复杂性达到足够阈值时，差异就会出现——GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。谷歌的开发者对PaLM模型也进行了类似的观察，他们发现，大模型的思维链推理能力明显强于小模型。这些观察都表明，执行复杂任务的能力，才是体现大模型能力的关键。
大模型能力涌现，参数规模越大越好？
然而，越来越多的研究人员声称，小于10B的模型也可以实现与GPT-3.5相当的性能。
真是如此吗？
OpenAI发布GPT-4的博客中，曾提到：
在随意的交谈中，GPT-3.5和GPT-4之间的区别可能很微妙。当任务的复杂性达到足够阈值时，差异就会出现——GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。
谷歌的开发者对PaLM模型也进行了类似的观察，他们发现，大模型的思维链推理能力明显强于小模型。
这些观察都表明，执行复杂任务的能力，才是体现大模型能力的关键。
就像那句老话，模型和程序员一样，「废话少说，show me the reasoning」。
来自爱丁堡大学、华盛顿大学、艾伦AI研究所的研究人员认为，复杂推理能力是大模型在未来进一步朝着更加智能化工具发展的基础。
基本的文字总结归纳能力，大模型执行起来确实属于「杀鸡用牛刀」。
针对这些基础能力的测评，对于研究大模型未来发展似乎是有些不务正业。
论文地址：https://arxiv.org/pdf/2305.17306.pdf
大模型推理能力哪家强？
这也就是为什么研究人员编制了一个复杂推理任务列表Chain-of-Thought Hub，来衡量模型在具有挑战性的推理任务中的表现。
测试项目包括，数学（GSM8K)），科学（MATH，定理 QA），符号（BBH） ，知识（MMLU，C-Eval），编码（HumanEval）。
这些测试项目或者数据集都是针对大模型的复杂推理能力下手，没有那种谁来都能答得八九不离十的简单任务。
研究人员依然采用思维链提示（COT Prompt）的方式来对模型的推理能力进行测评。
对于推理能力的测试，研究人员只采用最终答案的表现作为唯一的衡量标准，而中间的推理步骤不作为评判的依据。
如下图所示，当前主流模型在不同推理任务上的表现。
测试结果：模型越大推理能力越强
研究人员的研究专注于当前流行模型，包括GPT、Claude、PaLM、LLaMA和T5模型家族，具体而言：
OpenAI GPT包括GPT-4（目前最强）、GPT3.5-Turbo（更快，但能力较弱）、text-davinci-003、text-davinci-002和code-davinci-002（Turbo之前的重要版本）。
Anthropic Claude包括claude-v1.3（较慢但能力较强）和claude-instant-v1.0（较快但能力较弱）。
Google PaLM，包括PaLM、PaLM-2，以及它们的指令调整版本（FLan-PaLM和Flan-UPaLM），强基础和指令调整模型。
Meta LLaMA，包括7B、13B、33B和65B变体，重要的开放源码的基础模型。
GPT-4在GSM8K和MMLU上明显优于其他所有模型，而Claude是唯一一个与GPT系列相媲美的模型。
FlanT5 11B和LLaMA 7B等较小的模型掉队掉的厉害。
通过实验，研究人员发现，模型性能通常与规模相关，大致呈对数线性趋势。
不公开参数规模的模型，通常比公开规模信息的模型表现更好。
LLaMA-65B推理能力接近ChatGPT
另外，研究者指出，开源社区可能仍需要探索关于规模和RLHF的「护城河」以进一步改进。
论文一作符尧总结道：
1. 开源和封闭之间存在明显的差距。
2. 大多数排名靠前的主流模型是RLHF
3. LLaMA-65B非常接近code-davinci-002，GPT-3.5的基础模型
4. 综合上述，最有希望的方向是「在LLaMA 65B上做RLHF」。
针对这个项目，作者对未来的进一步优化进行了说明：
未来会增加更多包括更精心选择的推理数据集，尤其是衡量常识推理、数学定理的数据集。
以及调用外部 API 的能力。
更重要的是要囊括更多语言模型，例如基于 LLaMA 的指令微调模型，例如 Vicuna7等等开源模型。
还可以通过 API像 Cohere 8 一样访问PaLM-2 等模型的能力。
总之，作者相信这个项目可以作为评估和指导开源大语言模型发展的一个公益设施发挥很大作用。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，
FL Studio 是 Image-Line 推出的数字音频工作站，面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中，并提供大量乐器、效果器、采样与预设。
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。