智源等机构发布LM-Cocktail模型的多技能大模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害LLM原本具备的通用能力。另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。近日，智源研究院信息检索与知识
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。
一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害 LLM 原本具备的通用能力。
另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。
近日，智源研究院信息检索与知识计算组发布 LM-Cocktail 模型治理策略，旨在为大模型开发者提供一个低成本持续提升模型性能的方式：通过少量样例计算融合权重，借助模型融合技术融合微调模型和原模型的优势，实现「模型资源」的高效利用。
- 技术报告：https://arxiv.org/abs/2311.13534
- 代码：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
模型融合技术可以通过融合多个模型提高单模型的性能。受此启发，LM-Cocktail 策略进一步通过对目标任务计算不同模型的重要性，赋予不同模型不同的权重，在此基础上进行模型融合，在提升目标任务上性能的同时，保持在通用任务上的强大能力。
LM-Cocktail 策略的作用类似于制作鸡尾酒，它可以将各个模型的优势能力汇总起来，通过调配不同的模型，创造出一个拥有多种特长的「多才」模型
方法创新
具体而言，LM-Cocktail 可以通过手动选择模型配比，或者输入少量样例自动计算加权权重，来融合现有模型生成一个新模型，该过程不需要对模型进行重新训练并且具备适配多种结构的模型，如大语言模型 Llama，语义向量模型 BGE 等。
如果开发者缺乏某些目标任务的标签数据，或者缺少计算资源进行模型微调，那么可以采用LM-Cocktail策略来省去模型微调的步骤。只需构造极少量的数据样例，就可以融合开源社区中已有的大型语言模型，以调制自己的「LM鸡尾酒」
如上图所示，在特定目标任务上微调 Llama，可以显著提高目标任务上的准确度，但损害了在其他任务上的通用能力。采用 LM-Cocktail 可以解决这个问题。
LM-Cocktail 的核心是将微调后的模型与多个其他模型的参数进行融合，整合多个模型的优点，在提高目标任务上准确度的同时，保持在其他任务上的通用能力。具体形式为，给定目标任务、基础模型，以及一个在该任务上微调基础模型后得到的模型，同时收集开源社区或以往训练过的模型组成集合。通过目标任务上少量的样例计算每个模型的融合加权权重，对这些模型的参数进行加权求和，得到新的模型（具体的过程请参考论文或开源代码）。如果开源社区不存在其他模型，也可以直接融合基础模型和微调模型，在不降低通用能力的基础上提升下游任务表现。
用户在实际应用场景中，由于数据和资源的限制，可能无法进行下游任务的微调，即没有在目标任务微调过后的模型。这种情况下，用户可以通过构造非常少量的数据样例融合社区中已有的大语言模型，生成一个面向新任务的模型，提高目标任务的准确度，而无需对模型进行训练。
实验结果
1. 弹性微调以保持通用能力
从上图中可以看到，在某个目标任务上进行微调之后，微调后的模型大幅提高了在该任务上的准确度，但其他通用任务上的准确度都有所下降。例如，在 AG News 到训练集上进行微调，Llama 在 AG News 测试集上准确度从 40.80% 涨到 94.42%，但在其他任务上准确度从 46.80% 下降到了 38.58%。
然而，通过简单的融合微调后模型和原模型的参数，在目标任务上实现了具有竞争力的性能 94.46%，与微调模型相当，同时在其他任务上准确度为 47.73%, 甚至稍强于原模型的性能。在某些任务下，如 Helleswag， 融合后的模型甚至可以在该微调任务上超过微调后的模型，并在其他任务上超过原通用模型，即在继承微调模型和原模型的优点的同时，超过了他们。可以看出，通过 LM-Cocktail 计算融合比例，进一步融合其他微调模型，可以在保证目标任务准确度的同时，进一步提升在其他任务上的通用性能。
2. 混合已有模型处理新任务
重写后的内容：图表展示了语言模型目标任务MMLU
重写后的内容：图片：向量模型的目标任务是检索（信息检索）
微调模型需要大量的数据，同时需要大量的计算资源，尤其是微调大语言模型，这些在实际情况中不一定可以实现。在无法对目标任务进行微调的情况下，LM- Cocktail 可以通过混合已有的模型（来自开源社区或者自己历史训练积累）来实现新的能力。
通过只给定 5 条样例数据，LM-Cocktail 自动计算融合加权权重，从已有的模型进行筛选然后融合得到新的模型，而无需使用大量数据进行训练。实验发现，生成的新模型可以在新的任务上得到更高的准确度。例如，对于 Llama，通过 LM- Cocktail 融合现有 10 个模型（其训练任务都与 MMLU 榜单无关），可以取得明显的提升，并且要高于使用 5 条样例数据进行上下文学习的 Llama 模型。
请尝试使用 LM-Cocktail，我们欢迎您通过GitHub issue提供反馈和建议：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。