通过MAmmoT，让LLM成为数学通才：从形式逻辑进阶到四则运算
数学推理是现代大型语言模型（LLM）的一个重要能力。尽管这个领域近来有了一些进展，但是闭源和开源的LLM之间仍然存在明显的差距。闭源模型如GPT-4、PaLM-2和Claude2在GSM8K和MATH等常见数学推理基准上占据主导地位，而开源模型如Llama、Falcon和OPT在所有基准上都明显落后为了解决这个问题，研究界正朝着两个方向努力（1）Galactica和MINERVA等持续型预训练方法，可以在超过千亿个数学相关网络数据的基础上对LLM进行持续训练。这种方法可以提高模型的一般科学推理能力，但计算
数学推理是现代大型语言模型（LLM）的一个重要能力。尽管这个领域近来有了一些进展，但是闭源和开源的LLM之间仍然存在明显的差距。闭源模型如GPT-4、PaLM-2和Claude 2在GSM8K和MATH等常见数学推理基准上占据主导地位，而开源模型如Llama、Falcon和OPT在所有基准上都明显落后
为了解决这个问题，研究界正朝着两个方向努力
（1）Galactica 和 MINERVA 等持续型预训练方法，可以在超过千亿个数学相关网络数据的基础上对 LLM 进行持续训练。这种方法可以提高模型的一般科学推理能力，但计算成本较高
拒绝采样微调（RFT）和WizardMath等特定数据集微调方法，即使用特定数据集的监督数据对LLM进行微调。虽然这些方法可以提高在特定领域内的性能，但无法泛化到微调数据之外的更广泛数学推理任务。例如，RFT和WizardMath可以将在GSM8K（其中之一是微调数据集）上的准确性提高30％以上，但会损害在MMLU-Math和AQuA等领域之外数据集上的准确性，使其降低多达10％
近日，来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种轻量级却又可泛化的数学指令微调方法，可用于增强 LLM 的一般性（即不限于微调任务）数学推理能力。
重写后的内容：在过去，关注的方法主要是思维链（CoT）方法，即通过逐步自然语言描述来解决数学问题。这种方法非常通用，可以应用于大多数数学学科，但在计算精度和复杂的数学或算法推理过程（例如求解二次方程根和计算矩阵特征值）方面存在一些困难
相比之下，像思维程序（PoT）和 PAL 这样的代码格式 prompt 设计方法则是利用外部工具（即 Python 解释器）来大幅简化数学求解过程。这种方法是将计算过程卸载到外部 Python 解释器来求解复杂的数学和算法推理（例如使用 sympy 求解二次方程或使用 numpy 计算矩阵特征值）。但是，PoT 难以应对更抽象的推理场景，比如常识推理、形式逻辑和抽象代数，尤其是没有内置的 API 时。
为了兼顾CoT和PoT两种方法的优点，该团队引入了一个新的数学混合指令微调数据集MathInstruct，该数据集具有两个主要特点：(1) 广泛涵盖不同的数学领域和复杂程度，(2) 将CoT和PoT原理融合在一起
MathInstruct 基于七个现有的数学原理数据集和六个新整理出的数据集。他们使用 MathInstruct 微调了不同大小（从 7B 到 70B）的 Llama 模型。他们将所得到的模型称为 MAmmoTH 模型，结果发现 MAmmoTH 的能力是前所未有的，就像是一个数学通才。
为了评估MAmmoTH，研究团队使用了一系列评估数据集，其中包括领域内的测试集（GSM8K、MATH、AQuA-RAT、NumGLUE）和领域外的测试集（SVAMP、SAT、MMLU-Math、Mathematics、SimulEq）
研究结果显示，MAmmoTH 模型在泛化到领域外数据集方面表现更好，同时也显著提升了开源 LLM 在数学推理方面的能力
值得注意的是，在常用的竞赛级MATH数据集上，MAmmoTH的7B版本能够以3.5倍的优势（35.2% vs 10.7%）击败WizardMath（这是MATH上之前最佳的开源模型），而经过微调的34B MAmmoTH-Coder甚至可以超过使用CoT的GPT-4
这项研究的贡献可以总结为两个方面：（1）在数据工程方面，他们提出了一个高质量的数学指令微调数据集，其中包含了多种不同的数学问题和混合原理。（2）在建模方面，他们训练和评估了大小从7B到70B的50多个不同的新模型和基准模型，以探究不同数据源和输入-输出格式的影响
研究结果表明，MAmmoTH和MAmmoTH-Coder等新模型在准确度方面明显超过了之前的开源模型
- 论文：https://arxiv.org/pdf/2309.05653.pdf
- 代码：https://github.com/TIGER-AI-Lab/MAmmoTH
- 数据集与模型：https://huggingface.co/datasets/TIGER-Lab/MathInstruct
该团队已经发布了他们整理得到的数据集，并开源了新方法的代码，同时在Hugging Face上发布了训练好的不同大小的模型
新提出的方法
重新整理一个多样化的混合指令微调数据集
该团队的目标是编制一份列表，其中包含高质量且多样化的数学指令微调数据集，其应具有两个主要特征：(1) 广泛涵盖不同的数学领域和复杂程度，(2) 将 CoT 和 PoT 原理组合到一起。
对于第一个特征，研究人员首先选择了一些广泛使用的高质量数据集，这些数据集涉及不同的数学领域和复杂程度，例如GSM8K、MATH、AQuA、Camel和TheoremQA。然后他们注意到现有的数据集中缺乏大学水平的数学知识，例如抽象代数和形式逻辑。为了解决这个问题，他们利用网上找到的少量种子示例，使用GPT-4合成了TheoremQA中问题的CoT原理，并通过自我指导的方式创建了“问题-CoT”配对
对于第二个特征，将 CoT 和 PoT 原理组合到一起可以提升数据集的多功能性，使其训练的模型有能力解决不同类型的数学问题。但是，大多数现有数据集提供的程序原理有限，导致 CoT 和 PoT 原理之间不平衡。为此，该团队又用到了 GPT-4，来为所选数据集补充 PoT 原理，包括 MATH、AQuA、 GSM8K 和 TheoremQA。然后再对这些 GPT-4 合成的程序进行过滤，做法是将它们的执行结果与人类标注的基本真值进行比较，这能确保所添加的都是高质量的原理。
遵循这些准则，他们创建了一个新的数据集 MathInstruct，详见下表 1。
其中包含 26 万对 (指令,响应)，覆盖广泛的核心数学领域（算术、代数、概率学、微积分和几何等），包含混合的 CoT 和 PoT 原理，并有不同的语言和难度。
重新设置训练
MathInstruct 的所有子集都被统一成了类似 Alpaca 的指令数据集的结构。这种标准化操作可以确保微调得到的模型能够一致地处理数据，无论原始数据集的格式如何
在基础模型方面，该团队选择了Llama-2和Code Llama
通过在 MathInstruct 上进行调整，他们获得了不同尺寸的模型，包括7B、13B、34B和70B
实验
评估数据集
为了评估模型的数学推理能力，该团队选择了一些评估数据集，见下表 2，其中包含许多不同领域内和领域外样本，涉及多个不同数学领域。
评估数据集包含不同难度等级，包括小学、中学和大学水平。有些数据集还包括形式逻辑和常识推理
所选择的评估数据集既有开放式问题，也有多项选择题。
对于开放式问题（如 GSM8K 和 MATH），研究者采用了 PoT 解码，因为大多数这类问题可以通过程序求解。、
对于多项选择题（如 AQuA 和 MMLU），研究者采用了 CoT 解码，因为这个数据集中的大部分问题都可以通过 CoT 更好地处理。
CoT 解码不需要任何触发词，而 PoT 解码需要一个触发语：「Let’s write a program to solve the problem」。
主要结果
下表 3 和表 4 分别报告了在领域内外数据上的结果。
总体而言，在不同的模型大小上，MAmmoTH 和 MAmmoTH-Coder 都优于之前最佳的模型。新模型在领域外数据集上取得的性能增长多于在领域内数据集上所获增长。这些结果表明新模型确实有成为数学通才的潜力。MAmmoTH-Coder-34B 和 MAmmoTH-70B 在一些数据集上的表现甚至超过了闭源 LLM。
研究人员还比较了使用不同的基础模型的情况。具体而言，他们进行了实验，比较了Llama-2和Code-Llama这两种基础模型。从上述两个表格可以看出，Code-Llama整体上优于Llama-2，尤其是在领域外数据集上。MAmmoTH和MAmmoTH-Coder之间的差距甚至可达到5%
消融研究在数据源上的探索
他们通过进行研究来探索性能增益的来源。为了更好地理解MAmmoTH相对于已有的基准模型的优势来源，研究者进行了一系列对照实验，结果如图2所示
总结起来，MAmmoTH 的显著性能优势可以归功于：1) 涵盖不同的数学领域和复杂程度的多样化数据源，2) CoT 和 PoT 指令微调的混合策略。
他们也研究了主要子集的影响。对于用于训练 MAmmoTH 的 MathInstruct 的多样化来源，理解各个来源对模型整体性能的贡献程度也很重要。他们关注的重点是四个主要子集：GSM8K、MATH、 Camel 和 AQuA。他们进行了一项实验：逐渐将每个数据集添加到训练中，并将性能与在整个 MathInstruct 上微调的模型进行比较。
根据表5的结果可以看出，如果训练数据集的多样性不足（例如只有GSM8K时），模型的泛化能力非常差：模型只能适应数据分布内的情况，难以解决GSM问题之外的问题
多样化数据源对MAmmoTH的重要影响在这些结果中得到了凸显，这也是使MAmmoTH成为数学通才的核心关键。这些结果还提供了宝贵的见解，对于我们未来的数据整理和收集工作提供了指导，例如我们应该始终收集多样化的数据，避免只收集特定类型的数据
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。