高校研究团队提出极限压缩方案：将大模型压缩至原来尺寸的10%，仍保持83%的性能
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。不过，这个极限究竟有多大？清华大学和哈工大的一项联合研究给出的答案是：90%。他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力。可以说，玩儿的就是“既要也要”～一起来看看。大模型1bit量化方法来了从剪枝、量化，到知识蒸馏、权重低秩分解，大模型已经可以实现压缩四分之一权重而几乎无损。权重量化通常是将大型模型的参数转换为低位宽的表示形式。这可以通过对经过充分训练的模型进行转换（PTQ）或
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
不过，这个极限究竟有多大？
清华大学和哈工大的一项联合研究给出的答案是：
90%。
他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力。
可以说，玩儿的就是“既要也要”～
一起来看看。
大模型1bit量化方法来了
从剪枝、量化，到知识蒸馏、权重低秩分解，大模型已经可以实现压缩四分之一权重而几乎无损。
权重量化通常是将大型模型的参数转换为低位宽的表示形式。这可以通过对经过充分训练的模型进行转换（PTQ）或在训练过程中引入量化步骤（QAT）来实现。这种方法有助于减少模型的计算和存储需求，从而提高模型的效率和性能。通过量化权重，可以显著减少模型的大小，使其更适合在资源受限的环境中部署，同时也有
然而，现有量化方法在低于3bit时面临严重的性能损失，这主要是由于：
- 现有的参数低位宽表示方法在1bit时存在严重的精度损失。基于Round-To-Nearest方法的参数以1bit表示时，其转换的缩放系数s和零点z会失去实际意义。
- 现有的1bit模型结构没有充分考虑到浮点精度的重要性。浮点参数的缺失可能影响模型计算过程的稳定性，严重降低其本身的学习能力。
为了克服1bit超低位宽量化的阻碍，作者提出一种全新的1bit模型框架：OneBit，它包括全新的1bit线性层结构、基于SVID的参数初始化方法和基于量化感知知识蒸馏的深度迁移学习。
这种新的1bit模型量化方法能够以极大的压缩幅度、超低的空间占用和有限的计算成本，保留原模型绝大部分的能力。这对于实现大模型在PC端甚至智能手机上的部署意义非凡。
整体框架
OneBit框架总体上可以包括：全新设计的1bit模型结构、基于原模型初始化量化模型参数的方法以及基于知识蒸馏的深度能力迁移。
这种全新设计的1bit模型结构能够有效克服以往量化工作在1bit量化时严重的精度损失问题，并且在训练、迁移过程中表现出出色的稳定性。
量化模型的初始化方法能为知识蒸馏设置更好的起点，加速收敛的同时获得更加的能力迁移效果。
1、1bit模型结构
1bit要求每个权重值只能用1bit表示，所以最多只有两种可能的状态。
作者选用±1作为这两种状态，好处就是，它代表了数字系统中的两种符号、功能更加完备，同时可以通过Sign(·)函数方便地获得。
作者的1bit模型结构是通过把FP16模型的所有线性层（嵌入层和lm_head除外）替换为1bit线性层实现的。
这里的1bit线性层除通过Sign(·)函数获得的1bit权重之外，还包括另外两个关键组件—FP16精度的值向量。
△FP16线性层与OneBit线性层的对比
这种设计不仅保持了原始权重矩阵的高秩，而且通过值向量提供了必要的浮点精度，对保证稳定且高质量的学习过程很有意义。
从上图可以看出，只有值向量g和h保持FP16格式，而权重矩阵则全部由±1组成。
作者通过一个例子可以一观OneBit的压缩能力。
假设压缩一个40964096的FP16线性层，OneBit需要一个40964096的1bit矩阵和两个4096*1的FP16值向量。
这里面总的位数为16,908,288，总的参数个数为16,785,408，平均每个参数占用仅仅约1.0073 bit。
这样的压缩幅度是空前的，可以说是真正的1bit LLM。
2、参数初始化和迁移学习
为了利用充分训练好的原模型更好地初始化量化后的模型，作者提出一种新的参数矩阵分解方法，称为“值-符号独立的矩阵分解（SVID）”。
这一矩阵分解方法把符号和绝对值分开，并把绝对值进行秩-1近似，其逼近原矩阵参数的方式可以表示成：
秩-1近似可以通过常用矩阵分解方法实现，例如奇异值分解（SVD）和非负矩阵分解（NMF）。
作者在数学上给出，这种SVID方法可以通过交换运算次序来和1bit模型框架相匹配，进而实现参数初始化。
此外，符号矩阵在分解过程中对近似原矩阵的贡献也被证明，详情见论文。
作者认为，解决大模型超低位宽量化的有效途径可能是量化感知训练QAT。
因此，在SVID给出量化模型的参数起点后，作者把原模型作为教师模型并通过知识蒸馏从中学习。
具体而言，学生模型主要接受教师模型的logits和hidden state的指导。
训练时，值向量和参数矩阵的值会被更新，而在部署时，则可以直接使用量化后的1bit参数矩阵进行计算。
模型越大，效果越好
作者选择的基线是FP16 Transformer、GPTQ、LLM-QAT和OmniQuant。
后三个都属于量化领域中经典的强基线，特别是OmniQuant是自作者之前最强的2bit量化方法。
由于目前还没有1bit权重量化的研究，作者只对OneBit框架使用1bit权重量化，而对其他方法采取2bit量化设置。
对于蒸馏数据，作者仿照LLM-QAT利用教师模型自采样的方式产生数据。
作者从1.3B到13B不同大小、OPT和LLaMA-1/2不同系列的模型来证明OneBit的有效性。在评价指标上，使用验证集的困惑度和常识推理的Zero-shot准确度。详情见论文。
上表展示了OneBit相比于其他方法在1bit量化时的优势。值得注意的是，模型越大时，OneBit效果往往越好。
随着模型规模增大，OneBit量化模型降低的困惑度比FP16模型降低的困惑度要多。
以下是几种不同小模型的常识推理、世界知识和空间占用情况：
作者还比较了几种不同类型小模型的大小和实际能力。
作者发现，尽管OneBit-7B平均位宽最小、占用的空间最小、训练的步数也相对少，但它在常识推理能力上不逊于其他模型。
同时作者也发现，OneBit-7B模型在社会科学领域出现较严重的知识遗忘。
△FP16线性层与OneBit线性层的对比一个OneBit-7B指令微调后的文本生成例子
上图还展示了一个OneBit-7B指令微调后的文本生成例子。可见，OneBit-7B有效地受到了SFT阶段的能力增益，可以比较流畅地生成文本，尽管总参数只有1.3GB（与FP16的0.6B模型相当）。总的来说，OneBit-7B展示出了其实际应用价值。
分析与讨论
作者展示了OneBit对不同规模LLaMA模型的压缩比，可以看出，OneBit对模型的压缩比均超过惊人的90%。
特别是，随着模型增大，OneBit的压缩比越高。
这显示出作者方法在更大模型上的优势：以更高的压缩比获得更大的边际收益（困惑度）。此外，作者的方法在大小和性能之间做到了很好的权衡。
1bit量化模型在计算上具有优势，意义十分重大。参数的纯二进制表示，不但可以节省大量的空间，还能降低矩阵乘法对硬件的要求。
高精度模型中矩阵乘法的元素相乘可以被变成高效的位运算，只需位赋值和加法就可以完成矩阵乘积，非常有应用前景。
此外，作者的方法在训练过程中保持了出色的稳定学习能力。
事实上，二值网络训练的不稳定问题、对超参数的敏感性和收敛困难一直受到研究人员关注。
作者分析了高精度值向量在促进模型稳定收敛过程中的重要意义。
有前人工作提出过1bit模型架构并用于从头训练模型（如BitNet[1]），但它对超参数敏感并且难以从充分训练的高精度模型中迁移学习。作者也尝试了BitNet在知识蒸馏中的表现，发现其训练还不够稳定。
总结
作者提出了一种用于1bit权重量化的模型结构和相应的参数初始化方法。
在各种大小和系列的模型上进行的广泛实验表明，OneBit在代表性的强基线上具有明显的优势，并实现了模型大小与性能之间的良好折中。
此外，作者进一步分析了这种极低比特量化模型的能力和前景，并为未来的研究提供了指导。
论文地址： https://arxiv.org/pdf/2402.11295.pdf
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。