单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
FP8和更低的浮点数量化精度，不再是H100的“专利”了！老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至偶尔超过INT4，而且拥有比后者更高的精度。在此基础之上，还有端到端的大模型支持，目前已经开源并集成到了DeepSpeed等深度学习推理框架中。这一成果对大模型的加速效果也是立竿见影——在这种框架下用单卡跑Llama，吞吐量比双卡还要高2.65倍。一名机器学习研
FP8和更低的浮点数量化精度，不再是H100的“专利”了！
老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。
测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至偶尔超过INT4，而且拥有比后者更高的精度。
在此基础之上，还有端到端的大模型支持，目前已经开源并集成到了DeepSpeed等深度学习推理框架中。
这一成果对大模型的加速效果也是立竿见影——在这种框架下用单卡跑Llama，吞吐量比双卡还要高2.65倍。
一名机器学习研究人员看了后表示，微软的这项研究简直可以用crazy来形容。
表情包也第一时间上线，be like：
英伟达：只有H100支持FP8。
微软：Fine，我自己搞定。
那么，这个框架到底能实现什么样的效果，背后又采用了什么样的技术呢？
用FP6跑Llama，单卡比双卡还快
在A100上使用FP6精度，带来的是内核级的性能提升。
研究人员选取了不同大小的Llama模型和OPT模型之中的线性层，在NVIDIA A100-40GB GPU平台上，使用CUDA 11.8进行了测试。
结果相比于英伟达官方的cuBLAS（W16A16）和TensorRT-LLM（W8A16），TC-FPx（W6A16）速度提升的最大值分别是2.6倍和1.9倍。
相比于4bit的BitsandBytes（W4A16）方法，TC-FPx的最大速度提升则是达到了8.9倍。
（W和A分别代表权重量化位宽和激活量化位宽）
△归一化数据，以cuBLAS结果为1
同时，TC-FPx内核还减少了对DRAM内存的访问，并提高了DRAM带宽利用率和Tensor Cores利用率，以及ALU和FMA单元的利用率。
在TC-FPx基础之上设计的端到端推理框架FP6-LLM，也给大模型带来了显著的性能提高。
以Llama-70B为例，用FP6-LLM在单卡上的运行吞吐量，比FP16在双卡上还要高出2.65倍，在16以下的批大小中的延迟也低于FP16。
而对于参数量小一些的模型OPT-30B（FP16也使用单卡），FP6-LLM同样带来了明显的吞吐量提升和延迟降低。
而且单卡FP16在这种条件下最多支持的批大小只有4，FP6-LLM却可以在批大小为16的情况下正常运行。
那么，微软团队是怎样实现在A100上运行FP16量化的呢？
重新设计内核方案
为了实现对包括6bit在内精度的支持，TC-FPx团队设计了一个统一的内核方案，可以支持不同位宽的量化权重。
相比于传统的双内核方法，TC-FPx通过将去量化和矩阵乘法融合在单个内核中，减少了内存访问次数，提高了性能。
实现低精度量化的核心奥义则是通过去量化方式，将FP6精度的数据“伪装”成FP16，然后按照FP16的格式交给GPU进行运算。
同时团队还利用了位级预打包技术，解决GPU内存系统对非2的幂次位宽（如6-bit）不友好的问题。
具体来说，位级预打包是在模型推理之前对权重数据进行重新组织，包括将6-bit量化的权重重新排列，以便它们能够以GPU内存系统友好的方式进行访问。
此外，由于GPU内存系统通常以32位或64位的块进行数据访问，位级预打包技术将还会6-bit权重打包，使得它们能够以这些对齐的块的形式存储和访问。
预打包完成后，研究团队使用SIMT核心的并行处理能力，对寄存器中的FP6权重执行并行去量化，生成FP16格式的权重。
去量化后的FP16权重在寄存器中被重构，然后送入Tensor Core，使用重构后的FP16权重执行矩阵乘法运算，完成线性层的计算。
在此过程中，团队利用了SMIT核心的位级并行性，提高了整个去量化过程的效率。
而为了权重重构任务能够并行运行，团队还使用了一种并行权重拼接技术。
具体来说，每个权重被分割成几个部分，每个部分的位宽是2的幂次（如把6分割成2+4或4+2）。
在去量化之前，权重首先从共享内存加载到寄存器中。由于每个权重被分割成多个部分，需要在运行时在寄存器级别重构完整的权重。
为了减少运行时的开销，TC-FPx提出了一种并行提取和拼接权重的方法。这种方法使用两组寄存器来存储32个FP6权重的片段，并行地重构这些权重。
同时，为了并行提取和拼接权重，需要确保初始数据布局满足特定的顺序要求，因此TC-FPx通过在运行前对权重片段进行重排。
此外，TC-FPx还设计了一个软件流水线，将去量化步骤与Tensor Core的矩阵乘法操作融合在一起，通过指令级并行性提高了整体的执行效率。
论文地址：https://arxiv.org/abs/2401.14112
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。