干掉「标题党」，清华团队又一开源力作！
作为一个起名困难户，高中写作文最困扰我的就是写好文章却不知道起什么题目，开始做公众号以后，每次想标题也都要掉一大把头发......最近，终于让我在GitHub发现了「取名废」之光，由清华大学与OpenBMB开源社区推出的大模型趣味应用:「智取标题」，输入正文内容就能一键生成劲爆标题！开箱即用，试过后我只能说：真香！在线体验：https://live.openbmb.org/antGitHub：https://github.com/OpenBMB/CPM-Live提到这个标题党神器，就不得不先好好聊
作为一个起名困难户，高中写作文最困扰我的就是写好文章却不知道起什么题目，开始做公众号以后，每次想标题也都要掉一大把头发......
最近，终于让我在 GitHub 发现了「取名废」之光，由清华大学与 OpenBMB 开源社区推出的大模型趣味应用:「智取标题」，输入正文内容就能一键生成劲爆标题！
开箱即用，试过后我只能说：真香！
在线体验：https://live.openbmb.org/ant
GitHub：https://github.com/OpenBMB/CPM-Live
提到这个标题党神器，就不得不先好好聊一聊它的「本体」——大模型 CPM-Ant。
CPM-Ant 作为国内首个直播训练百亿大模型， 训练耗时 68 天，于 2022 年 8 月 5 日完成，并由 OpenBMB 正式发布！
- 五大卓越特性
- 四大创新突破
- 训练过程 低成本且环境友好！
- 最重要的是——完全开源！
作为首个直播训练中文大模型，CPM-Ant 在大模型训练、微调、压缩、推理、应用等环节均提供了一份可行的实践方案，希望能为不同的关注者提供不同的帮助与参考。
下面，让我们一起来看看 CPM-Ant 发布成果内容报告吧！
模型概览
CPM-Ant 是一个开源的中文预训练语言模型，拥有 10B 参数，也是 CPM-Live 直播训练过程中的第一个里程碑。
整个训练过程低成本且环境友好，不需要高昂的硬件要求和运行成本，基于 增量微调（delta tuning）方法，在 CUGE 基准测试中取得了优异的结果。
CPM-Ant 相关代码、日志文件和模型参数在一个开放的许可协议下完全开源。除了完整的模型，OpenBMB 还提供了各种压缩版本以适应不同的硬件配置。
CPM-Ant 的五大卓越特性：
（1）计算高效
通过 BMTrain[1] 工具包，能够充分利用分布式计算资源的能力来高效训练大模型。
CPM-Ant 的训练持续了 68 天，花费了 43 万人民币，是谷歌训练 T5-11B 模型约 130 万美元费用的 1/20。训练 CPM-Ant 的温室气体排放量约为 4872kg CO₂e，而训练 T5-11B 的排放量为 46.7t CO₂e[9] ，CPM-Ant 的方案约为其排放量的 1/10。
（2）性能优异
借助 OpenDelta[3] 工具，能够非常方便地通过增量微调将 CPM-Ant 适配到下游任务。
实验表明，CPM-Ant 仅仅微调了 6.3M 参数就在 3/6 个 CUGE 任务上取得了最好的结果。这一结果超越了其他全参数微调的模型，举例来说：CPM-Ant 的微调参数量仅为 CPM2（微调了 11B 参数） 的 0.06%。
（3）部署经济
借助BMCook[7] 和 BMInf[4] 工具包，能够在有限的计算资源下驱动 CPM-Ant。
基于 BMInf ，能够替代计算集群 在单块 GPU 上进行大模型推理（即便是一块 GTX 1060 这样的消费级显卡）。为了使 CPM-Ant 的部署更加经济， OpenBMB 使用 BMCook 进一步将原始的 10B 模型压缩为不同的版本。压缩后的模型（7B，3B，1B，300M）能够适应不同低资源场景下的需求。
（4）使用便捷
不管是原始 10B 模型还是相关的压缩版本，通过几行代码就能够轻松地加载与运行。
OpenBMB 也会将 CPM-Ant 加入到 ModelCenter[8] 中，对模型的进一步开发会变得更加容易。
（5）开放民主
CPM-Ant 的训练过程完全开放。
OpenBMB 发布了所有的代码、日志文件和模型存档并提供开放获取。CPM-Ant 也采用了允许商业化的开放许可协议。
一份完整的大模型训练实践
对于有能力进行大模型训练的厂商与研究机构，CPM-Ant 训练过程提供了一份完整的中文大模型训练实战记录。
OpenBMB 发布了 CPM-Live 系列模型的 模型设计、训练方案、数据需求和实现代码。基于 CPM-Live 的模型架构，能够方便快速地设计实现大模型训练方案并整理相关的业务数据，完成模型预研和数据准备工作。
官方网站中记录了训练过程中的 全部训练动态，包括损失函数、学习率、已学习数据、吞吐量、梯度大小、花费成本曲线，以及模型内部参数均值和标准差实时展示，通过这些训练动态，使用者能够快速诊断模型训练过程是否出现问题。
模型训练内部参数实时展示
此外，OpenBMB 的研发同学每天实时更新 训练记录总结，总结内容包括损失值、梯度值、总体进展，还记录了遇到的一些问题和训练过程中的 bug，方便使用者提前了解模型训练过程中的可能会遇到的各种「坑」。
在模型训练「风平浪静」的日子，研发小哥也会抛出一些名言名句、介绍一些最新论文、甚至发起猜谜活动。
日志中的一次猜谜活动
除此之外，OpenBMB 还提供了 成本经济 的 训练方案，对于实际有大模型训练需求的企业，通过相关训练加速技术，训练成本已经降低到可以接受的水平。
使用 BMTrain[1] 工具包，百亿大模型 CPM-Ant 训练的算力花费仅 43 万人民币（当前花费依照公有云价格计算，实际成本会更低），是 11B 大模型 T5 外界估算成本 130 万美元的约 1/20！
一份屡创 SOTA 的高效微调方案
CPM-Ant 如何帮助我们进行下游任务适配？
对于大模型研究者，OpenBMB 提供了一份基于参数高效微调的大模型性能评测方案，方便快速进行下游任务适配并评测模型性能。
使用参数高效微调，即增量微调（delta tuning）来评估 CPM-Ant 在六个下游任务上的性能。实验中采用了 LoRA[2] ，它在每个注意层中插入了两个可调整的低秩矩阵，并冻结了原始模型的所有参数。使用这种方法，每个任务只微调了 6.3M 的参数，仅占总参数的 0.067%。
在 OpenDelta[3] 的帮助下，OpenBMB 进行了所有的实验，而没有修改原始模型的代码。需要指出的是，在下游任务上评测 CPM-Ant 模型时，没有使用任何数据增强的方法。实验结果如下表所示：
可以看到，在仅微调极少参数的情况下，OpenBMB 的模型在三个数据集上的性能已经超过了 CPM-2 和源 1.0。
有些任务（例如 LCSTS）在微调参数极少时可能会比较难以学习， CPM-Live 的训练过程将会持续进行，在各个任务上的性能也会被进一步打磨。
感兴趣的同学，可访问下方 GitHub 链接，抢先体验下 CPM-Ant 和 OpenDelta，进一步探索 CPM-Ant 在其他任务上的能力！
https://github.com/OpenBMB/CPM-Live
一系列硬件友好的推理方式
大模型性能固然惊艳，但高昂的硬件要求和运行成本一直困扰着许多使用者。对于大模型使用者，OpenBMB提供了一系列硬件友好的使用方式，能够较为方便地在不同硬件环境下运行不同的模型版本。
使用 BMInf[4] 工具包， CPM-Ant 可以在单卡 1060 这样的 低资源环境 中运行！
除此之外，OpenBMB 还将 CPM-Ant 进行了压缩。这些压缩的模型包括 CPM-Ant-7B/3B/1B/0.3B。而所有这些模型压缩尺寸都可以对应于现有的开源预训练语言模型的经典尺寸。
考虑到用户可能会在发布的检查点上进行进一步的开发，OpenBMB 主要使用 任务无关的结构化剪枝 来压缩 CPM-Ant。剪枝过程也是渐进的，即从 10B 到 7B，从 7B 到 3B，从 3B 到 1B，最后从 1B 到 0.3B。
在具体的剪枝过程中，OpenBMB 会训练一个 动态的可学习的掩码矩阵，然后用这个掩码矩阵来 裁剪相应的参数。最后，根据掩码矩阵的阈值修剪参数，该阈值是根据目标稀疏度确定的。更多压缩的细节可以参考技术博客[5] 。
下表展示了模型压缩的结果：
硬核的内容讲完了，那么大模型到底怎么帮我们「取标题」呢？
一款出乎意料的大模型趣味应用
基于 CPM-Ant，所有大模型开发者与爱好者都可以开发感兴趣的文本趣味应用。
为了进一步验证模型的有效性并提供范例，OpenBMB 在 CPM-Ant 基础上微调了一个 劲爆标题生成器 以展示模型能力。
只需要把正文内容粘贴到下方文本框，一键点击生成，就可以得到大模型提供的劲爆标题！
CPM-Ant 成果报告首发文章标题即由生成器生成
这款 demo将不断被打磨，并在未来添加更多的特殊效果，增强用户体验
感兴趣的用户也可以使用 CPM-Ant 构建自己的展示应用。如果有任何应用想法、需要技术支持或者在使用 demo 过程中遇到任何问题，可以随时在 CPM-Live 论坛[6] 发起讨论！
CPM-Ant 的发布是 CPM-Live 的第一个里程碑，但也仅仅是训练的第一期，未来OpenBMB还会继续进行一系列训练。
简单剧透一下，下一期的训练中将新增多语言支持、结构化输入输出等新特性，欢迎大家继续关注！
传送门｜项目链接
项目 GitHub 地址：
https://github.com/OpenBMB/CPM-Live
Demo 体验地址（仅限 PC 访问）：
https://live.openbmb.org/ant
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，