10 行代码让大模型数学提升 20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才
只要不到10行代码，就能让大模型数学能力（GSM8k）提升20%！几名独立学者提出了大模型采样的改进方案，引起了开源社区的关注。目前该方法已在Mistral-7B上取得成效，在Llama3-70B上的测试也正在进行。这种方法叫做最小p采样（min-psampling），目的是平衡生成文本的连贯性和多样性。简单说就是让模型在不同场合发挥不同的特性，例如在事实问题上保持性能稳定，在写作等场景中又能发挥创意。目前该方法已在Mistral-7B上取得成效，在Llama-70B上的测试也即将进行。在论文中作者提到，
只要不到 10 行代码，就能让大模型数学能力（GSM8k）提升 20%！
几名独立学者提出了大模型采样的改进方案，引起了开源社区的关注。
目前该方法已在 Mistral-7B 上取得成效，在 Llama3-70B 上的测试也正在进行。
这种方法叫做最小 p 采样（min-p sampling），目的是平衡生成文本的连贯性和多样性。
简单说就是让模型在不同场合发挥不同的特性，例如在事实问题上保持性能稳定，在写作等场景中又能发挥创意。
目前该方法已在 Mistral-7B 上取得成效，在 Llama-70B 上的测试也即将进行。
在论文中作者提到，该方法已经获得了开源社区的广泛应用。
同时作者还透露，Anthropic 和谷歌等闭源模型厂商也已经或正在针对 min-p 进行测试。
消息也得到了谷歌方面的确认，从 OpenAI 跳槽到谷歌的开发者社区负责人Logan Kilpatrick已经回复说 "On it"（在做了）。
微软 Copilot 的研究人员Abram Jackson看了后表示，这是他看到的首个有关推理过程 token 采样的改进，未来还有很大进步空间。
值得一提的是，这项受到广泛关注的研究，主要作者 Minh Nhat Nguyen 根本没系统学过 CS，而是靠自学成才。
在一家名为 Apart Research 的 AI 安全研究机构帮助下，Minh 和团队其他成员一起完成了该项目。
动态调整抽样阈值
min-p 是一种动态截断抽样方法，其核心是根据每一步 token 分布的最大概率，来缩放最小概率阈值。
这样做的目的，主要在于平衡生成文本的连贯性和多样性，特别是在 temperature 较高的条件下。
具体来说，min-p 引入了一个基础概率阈值p_base，表示进入采样池的最低概率要求。
在每一步生成 token 时，min-p 会将 p_base 与当前概率分布中最大的 token 概率 p_max 相乘，得到一个缩放后的绝对阈值p_scaled。
只有概率大于等于 p_scaled 的 token，才能够进入采样池。
当模型对某个 token 的预测概率非常高（即 p_max 很大）时，p_scaled 的值也会很高，导致采样池大幅缩小，绝大多数低概率 token 被过滤，只留下少数高把握的选择，确保了输出的连贯性；
而当模型对所有 token 的预测概率都比较接近（p_max 较低）时，p_scaled 的值也会相应变低，放宽了对采样池的要求，纳入更多中等概率的 token，给予模型更多发挥空间，生成更加多样化的内容。
在确定采样池后，min-p 会根据 temperature 对 token 概率分布进行缩放。
它将 token 的对数概率除以一个温度参数 τ，并进行归一化后，就得到了 temperature 缩放后的概率分布。
大于 1 的 τ 值会使概率分布更加平缓，增加低概率 token 被选中的机会；
τ 小于 1 时则会使分布更加尖锐，强化高概率 token 的优势。
最后，min-p 从缩放后的采样池中，按照调整后的概率分布，随机抽取下一个 token。
稳定性和创意，" 我全都要 "
min-p 方法的效果究竟如何呢？作者使用了Mistral-7B作为基础模型进行了测试，我们来分场景看一下结果。
在推理任务中，作者采用了 GPQA 数据集。当 temperature 为 1 时，可以看到 min-p 相比于过去的 top-p 显现出了微小的优势。
随着 temperature 增加，GPQA 得分整体上呈现出了下降趋势，但可以观察到 min-p 的下降明显比 top-p 更慢。
直到 temperature 达到 3 时 min-p 的下降趋势才变得明显，此时 top-p 的得分已接近 0。
也就是说，相比于 top-p，min-p在推理任务中更好地保持了所需要的稳定性。
同样需要保持稳定性能的还有数学类任务，这里作者使用了 GSM8K 数据集进行了测试。
结果 min-p 所对应的分数随 temperature 的下降比在 GPQA 中更快，但仍然缓于 top-p 方式。
第三类任务是创意写作，这时对稳定性的要求就不是那么高了，而是需要模型发挥更多的创意。
这项测试使用 AlpacaEval 数据集完成，实验数据是从开源社区的一名独立评估者那里获得的。
实验结果显示，在 temperature=1.5、min-p=0.1 的设置下，min-p 的性能尤其突出，可生成 top-p 方法难以生成的创意写作内容。
在该参数下，min-p 方法得到的文本获得了 58.12% 的人类评判优选率，远高于其他方法在类似设置下的表现。
论文地址：
https://arxiv.org/abs/2407.01082
GitHub：
https://github.com/menhguin/minp_paper/
参考链接：
https://x.com/menhguin/status/1826132708508213629
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。