李开复发布90亿参数Yi模型，并开源代码，为普通用户提供强大的数学能力
李开复旗下AI公司零一万物，又一位大模型选手登场：90亿参数Yi-9B。它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表现最佳。老规矩，发布即开源，尤其对开发者友好：Yi-9B（BF16）和其量化版Yi-9B（Int8）都能在消费级显卡上部署。一块RTX4090、一块RTX3090就可以。深度扩增+多阶段增量训练而成零一万
李开复旗下AI公司零一万物，又一位大模型选手登场：
90亿参数Yi-9B。
它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。
在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表现最佳。
老规矩，发布即开源，尤其对开发者友好：
Yi-9B（BF 16） 和其量化版 Yi-9B（Int8）都能在消费级显卡上部署。
一块RTX 4090、一块RTX 3090就可以。
深度扩增+多阶段增量训练而成
零一万物的Yi家族此前已经发布了Yi-6B和Yi-34B系列。
这两者都是在3.1T token中英文数据上进行的预训练，Yi-9B则在此基础上，增加了0.8T token继续训练而成。
数据的截止日期是2023年6月。
开头提到，Yi-9B最大的进步在于数学和代码，那么这俩能力究竟如何提升呢？
零一万物介绍：
单靠增加数据量并没法达到预期。
靠的是先增加模型大小，在Yi-6B的基础上增至9B，再进行多阶段数据增量训练。
首先，怎么个模型大小增加法？
一个前提是，团队通过分析发现：
Yi-6B训练得已经很充分，再怎么新增更多token练效果可能也不会往上了，所以考虑扩增它的大小。(下图单位不是TB而是B)
怎么增？答案是深度扩增。
零一万物介绍：
对原模型进行宽度扩增会带来更多的性能损失，通过选择合适的layer对模型进行深度扩增后，新增layer的input/output cosine 越接近1.0，即扩增后的模型性能越能保持原有模型的性能，模型性能损失微弱。
依照此思路，零一万物选择复制Yi-6B相对靠后的16层（12-28 层)，组成了48层的Yi-9B。
实验显示，这种方法比用Solar-10.7B模型复制中间的16层（8-24层）性能更优。
其次，怎么个多阶段训练法？
答案是先增加0.4T包含文本和代码的数据，但数据配比与Yi-6B一样。
然后增加另外的0.4T数据，同样包括文本和代码，但重点增加代码和数学数据的比例。
（悟了，就和我们在大模型提问里的诀窍“think step by step”思路一样）
这两步操作完成后，还没完，团队还参考两篇论文（An Empirical Model of Large-Batch Training和Don’t Decay the Learning Rate, Increase the Batch Size）的思路，优化了调参方法。
即从固定的学习率开始，每当模型loss停止下降时就增加batch size，使其下降不中断，让模型学习得更加充分。
最终，Yi-9B实际共包含88亿参数，达成4k上下文长度。
Yi系列中代码和数学能力最强
实测中，零一万物使用greedy decoding的生成方式（即每次选择概率值最大的单词）来进行测试。
参评模型为DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B：
（1）DeepSeek-Coder，来自国内的深度求索公司，其33B的指令调优版本人类评估超越GPT-3.5-turbo，7B版本性能则能达到CodeLlama-34B的性能。
DeepSeek-Math则靠7B参数干翻GPT-4，震撼整个开源社区。
（2）SOLAR-10.7B来自韩国的Upstage AI，2023年12月诞生，性能超越Mixtral-8x7B-Instruct。
（3）Mistral-7B则是首个开源MoE大模型，达到甚至超越了Llama 2 70B和GPT-3.5的水平。
（4）Gemma-7B来自谷歌，零一万物指出：
其有效参数量其实和Yi-9B一个等级。
（两者命名准则不一样，前者只用了Non-Embedding参数，后者用的是全部参数量并向上取整）
结果如下。
首先在代码任务上，Yi-9B性能仅次于DeepSeek-Coder-7B，其余四位全部被KO。
在数学能力上，Yi-9B性能仅次于DeepSeek-Math-7B，超越其余四位。
综合能力也不赖。
其性能在尺寸相近的开源模型中最好，超越了其余全部五位选手。
最后，还测了常识和推理能力：
结果是Yi-9B与Mistral-7B、SOLAR-10.7B和Gemma-7B不相上下。
以及语言能力，不仅英文不错，中文也是广受好评：
最最后，看完这些，有网友表示：已经迫不及待想试试了。
还有人则替DeepSeek捏了一把汗：
赶紧加强你们的“比赛”吧。全面主导地位已经没有了==
传送门在此：https://huggingface.co/01-ai/Yi-9B
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。