Cursor 自曝黑科技：重写 MoE 生成机制，Blackwell 推理性能直接翻倍！
Cursor团队在BlackwellGPU上重构MoE生成机制，采用输出中心的WarpDecode，绕过传统专家中心路径的内存低效，实现高效推理。推理速度提升至1.84倍，吞吐量达到118-121tokens/s，输出精度接近FP32标准，提升至1.4倍。该成果显著优化了模型部署效率与性能。
最近，Cursor 团队在 Blackwell GPU 上对 MoE 模型的生成机制做了一次彻底的重新设计，结果嘛——推理速度直接翻了 1.84 倍，吞吐量冲到了 118–121 tokens/s，而且输出精度也更接近 FP32，提升了 1.4 倍。
Cursor 在 X 上发了个推，说他们重建了 MoE 模型在 Blackwell GPU 上生成 token 的方式，推理速度直接快了 1.84 倍。
这组数据确实亮眼：
- 吞吐量从 64–66 tokens/s 直接飙升到 118–121 tokens/s，提升了 1.84 倍；
- 输出质量也更接近全精度 FP32，接近度提升了 1.4 倍。
这套方法的核心是“输出中心”的 Warp Decode，它直接把传统 MoE 的“专家中心”生成方式中那些内存效率低、准确性差的问题，一次性全给解决了。
今天，我们就来拆解一下：Cursor 的 Warp Decode 到底做了什么？为什么能同时做到速度和精度的双提升？
传统MoE：专家派单，效率超低
现在的顶级大模型，大多采用 Mixture of Experts 架构——一个模型里边有几十甚至上百个“专家子网络”，输入的时候只激活其中一部分。比如在某层从 128 个专家里挑 8 个来干活，这样既能保持超大参数量，又能控制实际计算量。
传统 MoE 的计算路径大致是这样的：
- 先通过路由决定每个 token 该去哪个专家；
- 然后把属于同一个专家的 token 收集起来；
- 专家完成计算后，再把结果重新组装回去。
这种传统路径在大批量场景下效果很好，因为每个专家上的共享工作足以摊薄数据整理的额外开销。但在自回归解码阶段——也就是我们生成代码的时候——由于一次只生成几个 token，没有足够的共享工作来支撑。传统路径中的八个阶段里，有五个阶段纯粹是“数据管理”，本身并不进行任何实际计算。
到了实际应用里，结果就是：理论上 MoE 很高效，但实际上大部分时间都在运送数据，GPU 带宽利用率低，跑起来慢。
Warp Decode：围绕“输出”，跳过“中间商”
既然搬运数据太慢，Cursor 直接换了一条路。
我们先来了解 warp decode 具体是什么。根据官方描述：在 Blackwell GPU 上进行小批量解码时，围绕输出而非专家来组织 kernel 效果更好，Cursor 将这种方法称为“warp decode”。
现代 GPU 会以由 32 条并行处理通道组成的组来执行指令，这样的一组称为一个 warp。在 warp decode 中，每个 warp 都只负责计算一个输出值。warp 会直接从内存中流式读取所需的权重数据，将所有 8 个路由专家的结果汇总到一个持续累加的总值中，最后写出一个结果。
那么 warp decode 是如何运行的呢？简单来说，从围绕“专家”到围绕“输出”，中间的环节能砍则砍。
warp decode 主要通过两种机制提升性能：一是去掉传统路径所需的阶段和缓冲区，二是实现 warp 的独立性，从而带来更优的调度效果和更好的延迟隐藏能力。
具体做法
- 每个 GPU warp 只负责一个输出标量，并且这个 warp 在整个计算过程中“终身”只干这一件事。
- warps 之间完全独立，没有跨 warp 的同步或共享可变状态。
- 整个 MoE 层被极致压缩成仅两个融合内核：
moe_gate_up_3d_batched 处理 gate 和 up 投影，warp 独立完成 dot product、SiLU 激活等，中间值直接在寄存器里算，不写共享内存；
moe_down_3d_batched 处理 down 投影，每个 warp 循环遍历 top-k 专家，累加结果，最后用 warp 级别的 butterfly reduction 把部分和合并成最终输出。整个过程几乎全在寄存器里完成，避免了大量中间缓冲区和内存往返。 - 蝶形归约将 warp 内 32 个 lane 的局部部分和快速合并成最终的输出标量。当 moe_down_3d_batched 内核处理完一个 token 对应的所有 top-k 专家后，每个 warp 已经把来自不同专家的贡献累加到了自己私有的 FP32 寄存器累加器。这时，一条指令 __shfl_xor_sync 来做 warp 级别的蝶形归约，编译成底层的 PTX 指令 shfl.sync.bfly。
效果爆炸：速度+精度双开挂
完全绕过共享内存，不需要把中间结果写到 shared memory 再读回来；无 L1 缓存往返、无 bank 冲突，所有操作都在寄存器层面完成，延迟极低；无需显式屏障，同步逻辑已经内置在指令的 lane mask 里，直接保证正确性。
根据官方测试，效果确实好到爆炸：
- 在 Cursor 内部推理系统上，针对运行于 NVIDIA B200 的 Qwen-3 风格模型测试：
- 速度方面，端到端解码吞吐量提升 1.84 倍，在不同上下文长度下表现都很稳定（纯生成阶段优化）。
- 精度方面，输出与完整 FP32 参考值相比，接近程度提升 1.4 倍。
- 硬件效率方面，B200 在连续内存读取上的实测峰值为 6.8 TB/s (通过 copy kernel 测得)。在 B=32 时，warp decode 可稳定达到 3.95 TB/s，相当于该峰值的 58%。
网友热议：放到 Vera Rubin 上效果如何？
X 上的网友在体验之后也表示赞叹：“这个模型非常棒，准确度提升了很多。”
也有网友提出关键问题：这个 warp decode 是仅在 Blackwell 上运行，还是可以推广至其他平台？放到 Vera Rubin 上效果会怎么样？
根据 Cursor 官方博客，目前 warp decode 是专为 Blackwell GPU（B200）的小批量自回归解码场景量身打造的。大批量 prefill 阶段，传统 MoE 方式可能还更有优势。至于未来能不能推广到其他 GPU，还得看 Cursor 后续会不会分享更多细节。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。