别让大模型被基准评估坑了！测试集乱入预训练，分数虚高，模型变傻
“别让大模型被基准评估给坑了”。这是一项最新研究的题目，来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校。研究发现，基准测试中相关数据意外被用于模型训练的现象，变得越来越常见了。因为预训练语料中包含很多公开文本资料，而评估基准也建立在这些信息之上，本来这种情况就在所难免。现在随着大模型试图搜集更多公开数据，问题正在加重。要知道，这种数据重叠带来的危害非常大。不仅会导致模型部分测试分数虚高，还会使模型泛化能力下降、不相关任务表现骤降。甚至可能让大模型在实际应用中产生“危害”。所以这项研究
“别让大模型被基准评估给坑了”。
这是一项最新研究的题目，来自人民大学信息学院、高瓴人工智能学院和伊利诺伊大学厄巴纳-香槟分校。
研究发现，基准测试中相关数据意外被用于模型训练的现象，变得越来越常见了。
因为预训练语料中包含很多公开文本资料，而评估基准也建立在这些信息之上，本来这种情况就在所难免。
现在随着大模型试图搜集更多公开数据，问题正在加重。
要知道，这种数据重叠带来的危害非常大。
不仅会导致模型部分测试分数虚高，还会使模型泛化能力下降、不相关任务表现骤降。甚至可能让大模型在实际应用中产生“危害”。
所以这项研究正式发出警告，并通过多项模拟测试验证了可能诱发的实际危害，具体来看。
大模型“被漏题”很危险
研究主要通过模拟极端泄露数据的情况，来测试观察大模型会产生的影响。
极端泄露数据的方式有四种：
- 使用MMLU的训练集
- 使用MMLU以外所有测试基准的训练集
- 使用所有训练集+测试prompt
- 使用所有训练集、测试集和测试prompt（这是最极端情况，仅为实验模拟，正常情况下不会发生）
然后研究人员给4个大模型进行“投毒”，然后再观察它们在不同benchmark中的表现，主要评估了在问答、推理、阅读理解等任务中的表现。
使用的模型分别是：
- GPT-Neo（1.3B）
- phi-1.5（1.3B）
- OpenLLaMA（3B）
- LLaMA-2（7B）
同时使用LLaMA（13B/30B/65B）作为对照组。
结果发现，当大模型的预训练数据中包含了某一个评测基准的数据，它会在这一评测基准中表现更好，但在其他不相关任务中的表现会下降。
比如使用MMLU数据集训练后，多个大模型在MMLU测试中分数提高的同时，在常识基准HSwag、数学基准GSM8K中分数下降。
这表明大模型的泛化能力受到影响。
另一方面，还可能造成不相关测试分数虚高。
如上给大模型进行“投毒”的四个训练集中仅包含少量中文数据，但是大模型被“投毒”后，在C3（中文基准测试）中的分数却都变高了。
这种升高是不合理的。
这种训练数据泄露的情况，甚至会导致模型测试分数，异常超越更大模型的表现。
比如phi-1.5（1.3B）在RACE-M和RACE-H上的表现优于LLaMA65B，后者是前者规模的50倍。
但这种分数升高没有意义，只是作弊罢了。
更严重的是，哪怕是没有被泄露数据的任务，也会受到影响，表现下降。
下表中可以看到，在代码任务HEval中，两个大模型都出现了分数大幅下降的情况。
同时被泄露数据后，大模型的微调提升远不如未被泄露情况。
对于发生数据重叠/泄露的情况，本项研究分析了各种可能。
比如大模型预训练语料和基准测试数据都会选用公开文本（网页、论文等），所以发生重叠在所难免。
而且当前大模型评估都是在本地进行，或者是通过API调用来获得结果。这种方式无法严格检查一些不正常的数值提升。
以及当下大模型的预训练语料都被各方视为核心机密，外界无法评估。
所以导致了大模型被意外“投毒”的情况发生。
那该如何规避这一问题呢？研究团队也出了一些建议。
如何规避？
研究团队给出了三点建议：
第一，实际情况中很难完全避免数据重叠，所以大模型应该采用多个基准测试进行更全面的评估。
第二，对于大模型开发者，应该要对数据进行脱敏，公开训练语料的详细构成。
第三，对于基准测试维护人员，应该提供基准测试数据来源，分析数据被污染的风险，使用更多样化的提示进行多次评估。
不过团队也表示本次研究中还存在一定局限。比如没有对不同程度数据泄露进行系统性测试，以及没能在预训练中直接引入数据泄露进行模拟等。
本次研究由中国人民大学信息学院、高瓴人工智能学院和伊利诺伊大学香槟分校的多位学者共同带来。
在研究团队中我们发现了两位数据挖掘领域大佬：文继荣和韩家炜。
文继荣教授现任中国人民大学高瓴人工智能学院院长、中国人民大学信息学院院长。主要研究方向为信息检索、数据挖掘、机器学习、大规模神经网络模型的训练与应用。
韩家炜教授领衔是数据挖掘领域专家，现为伊利诺伊大学香槟分校计算机系教授，美国计算机协会院士和IEEE院士。
论文地址：https://arxiv.org/abs/2311.01964。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
