大模型走捷径「刷榜」？数据污染问题值得重视
生成式AI元年，大家的工作节奏快了一大截。特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要Benchmark榜单，要么排第一，要么第一梯队。在兴奋于技术进展速度之快后，很多人发现似乎也有些不对味：为什么排行榜第一人人有份？这是个什么机制？于是乎，「刷榜」这个问题也开始备受关注。近日，我们关注到朋友圈和知乎社区对大模型「刷榜」这一问题的讨论越来越多。特别是，知乎一篇帖子：如何评价天工大模型技术报告中指出很多大模型用领域内数据
生成式 AI 元年，大家的工作节奏快了一大截。
特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要 Benchmark 榜单，要么排第一，要么第一梯队。
在兴奋于技术进展速度之快后，很多人发现似乎也有些不对味：为什么排行榜第一人人有份？这是个什么机制？
于是乎，「刷榜」这个问题也开始备受关注。
近日，我们关注到朋友圈和知乎社区对大模型「刷榜」这一问题的讨论越来越多。特别是，知乎一篇帖子：如何评价天工大模型技术报告中指出很多大模型用领域内数据刷榜的现象？引起了大家的讨论。
链接：https://www.zhihu.com/question/628957425
多家大模型刷榜机制曝光
该研究来自昆仑万维的「天工」大模型研究团队，他们上个月底把一份技术报告发布在了预印版论文平台 arXiv 上。
论文链接：https://arxiv.org/abs/2310.19341
论文本身是在介绍 Skywork-13B，这是天工的一个大型语言模型（LLM）系列。作者引入了使用分段语料库的两阶段训练方法，分别针对通用训练和特定领域的增强训练。
和往常有关大模型的新研究一样，作者表示在流行的测试基准上，他们的模型不仅表现出色，而且在很多中文的分支任务上取得了 state-of-art 水平（就是业内最佳）。
重点是，该报告还验证了下很多大模型的真实效果，指出了一些其他一些国产大模型存在投机取巧的嫌疑。说的就是这个表格 8：
在这里，作者为了验证目前业内几个常见大模型在数学应用问题基准 GSM8K 上的过拟合程度，使用 GPT-4 生成了一些与 GSM8K 形式上相同的样本，人工核对了正确性，并让这些模型在生成的数据集，和 GSM8K 原本的训练集、测试集上比了比，计算了损失。然后还有两个指标：
Δ1 作为模型训练期间潜在测试数据泄漏的指标，较低的值表明可能存在泄漏。没有用测试集训练，那数值应该为零。
Δ2 衡量数据集训练分割的过度拟合程度。较高的 Δ2 值意味着过拟合。如果没有用训练集训练过，那数值应该为零。
用简单的话来解释就是：如果有模型在训练的时候，直接拿基准测试里面的「真题」和「答案」来当学习资料，想以此来刷分，那么此处就会有异常。
好的，Δ1 和 Δ2 有问题的地方，上面都贴心地以灰色突出显示了。
网友对此评论道，终于有人把「数据集污染」这个公开的秘密说出来了。
也有网友表示，大模型的智力水平，还是要看 zero-shot 能力，现有的测试基准都做不到。
图：截图自知乎网友评论
在作者与读者中互动中，作者也表示，希望「让大家更理性看待刷榜这个事情，很多模型和 GPT4 的差距还很大」。
图：截图自知乎文章 https://zhuanlan.zhihu.com/p/664985891
数据污染问题值得重视
其实，这并不是一时的现象。自从有了 Benchmark，此类问题时常会有发生，就像今年 9 月份 arXiv 上一篇极具嘲讽意味的文章标题指出的一样 Pretraining on the Test Set Is All You Need。
除此之外，最近人民大学、伊利诺伊大学香槟分校一个正式研究同样指出了大模型评估中存在的问题。标题很扎眼《Don't Make Your LLM an Evaluation Benchmark Cheater》：
论文链接：https://arxiv.org/abs/2311.01964
论文指出，当前火热的大模型领域让人们关心基准测试的排名，但其公平性和可靠性正在受到质疑。其中主要的问题就是数据污染和泄露，这样的问题可能会被无意识地触发，因为我们在准备预训练语料库时可能不知道未来的评估数据集。例如，GPT-3 发现预训练语料库中包含了 Children's Book Test 数据集，LLaMA-2 的论文曾提到提取了 BoolQ 数据集中的上下文网页内容。
数据集是需要很多人花费大量精力收集、整理和标注的，优质的数据集如果优秀到能被用于评测，那自然也有可能会被另一些人用于训练大模型。
另一方面，在使用现有基准进行评估时，我们评测的大模型的结果大多是通过在本地服务器上运行或通过 API 调用来获得的。在此过程中，没有严格检查任何可能导致评估绩效异常提高的不当方式（例如数据污染）。
更糟糕的是，训练语料库的详细组成（例如数据源）通常被视为现有大模型的核心「秘密」。这就更难去探究数据污染的问题了。
也就是说，优秀数据的数量是有限的，在很多测试集上，GPT-4 和 Llama-2 也不一定就没问题。比如在第一篇论文中提到的 GSM8K，GPT-4 在官方 technical report 里提到过使用了它的训练集。
你不是说数据很重要吗，那么用「真题」刷分的大模型，性能会不会因为训练数据更优秀而变得更好呢？答案是否定的。
研究人员实验发现，基准泄漏会导致大模型跑出夸张的成绩：例如 1.3B 的模型可以在某些任务上超越 10 倍体量的模型。但副作用是，如果我们仅使用这些泄露的数据来微调或训练模型，这些专门应试的大模型在其他正常测试任务上的表现可能会受到不利影响。
因此作者建议，以后研究人员在评测大模型，或是研究新技术时应该：
- 使用更多来自不同来源的基准，涵盖基本能力（例如文本生成）和高级能力（例如复杂推理），以全面评估 LLM 的能力。
- 在使用评估基准时，在预训练数据和任何相关数据（例如训练和测试集）之间执行数据净化检查非常重要。此外，还需要报告评估基准的污染分析结果作为参考。如有可能，建议公开预训练数据的详细组成。
- 建议应采用多样化的测试提示来减少提示敏感性的影响。在基准数据和现有预训练语料库之间进行污染分析，提醒任何潜在的污染风险也很有意义。为了进行评估，建议每次提交都附有一份特殊的污染分析报告。
最后想说，好在这个问题开始逐渐引起大家的关注，无论是技术报告、论文研究还是社区讨论，都开始重视大模型「刷榜」的问题了。
对此，你有什么看法与有效建议呢？
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition