千问正式开源FlashQLA 可减少训推过程注意力层的计算开销
千问开源FlashQLA：为线性注意力算子注入“硬核”效率 近日，AI开源社区迎来一则重磅消息。4月29日，千问大模型团队正式开源了FlashQLA——一个基于TileLang实现的高性能线性注意力算子库。这可不是一个简单的代码发布，其背后指向一个明确的行业痛点：随着模型参数规模与序列长度的不断攀升
千问开源FlashQLA：为线性注意力算子注入“硬核”效率
近日，AI开源社区迎来一则重磅消息。4月29日，千问大模型团队正式开源了FlashQLA——一个基于TileLang实现的高性能线性注意力算子库。这可不是一个简单的代码发布，其背后指向一个明确的行业痛点：随着模型参数规模与序列长度的不断攀升，注意力机制的计算开销，正日益成为制约训练与推理效率的关键瓶颈。
那么，FlashQLA究竟意在解决什么问题？这得从千问模型自身的演进说起。自Qwen3-Next发布以来，其采用的Gated Delta Network（GDN）架构，已成为千问全系列模型的主力注意力层。从最初的Qwen3-Next-80B-A3B，到后续推出的Qwen3.5乃至Qwen3.6系列，GDN都扮演着核心角色。然而，当模型规模一路扩展至397A17B、122A10B乃至35B、27B等不同配置时，一个现实挑战浮出水面：GDN在端到端训练与推理过程中所产生的计算开销，已经变得不容忽视。
技术内核：当“门控”遇见“并行”
面对这一挑战，FlashQLA的发布给出了颇具巧思的答案。其核心亮点主要集中在两大创新上。
首先，是**Gate驱动的自动化卡内序列并行**。传统方法在处理长序列或特定张量并行（TP）配置时，常常面临计算资源利用率不足的问题。FlashQLA巧妙地利用了GDN中Gate门控所具备的指数衰减特性，实现了智能化的并行策略。简单来说，系统能在TP、长序列、注意力头数较少等场景下，自动开启卡内序列并行。这一机制如同为GPU的流多处理器（SM）安装了智能调度器，显著提升了硬件资源的利用效率。
其次，在于**硬件友好的代数改写**。FlashQLA并非简单封装，而是对GDN Chunked Prefill的前向传播与反向传播流程，进行了深度的算子融合与性能优化。通过对计算过程进行代数层面的重构，它在确保数值精度毫发无损的前提下，有效降低了Tensor Core、CUDA Core及特殊函数单元（SFU）的计算开销。这种“从算法层面为硬件量身定制”的思路，正是实现性能突破的关键。
性能表现：效率提升肉眼可见
经过这番“内外兼修”的改造，FlashQLA交出的成绩单相当亮眼。根据官方数据，在NVIDIA Hopper架构GPU上，该算子库在多种应用场景下，相较于原有的FLA triton Kernel，实现了**2至3倍的前向传播加速**，以及**约2倍的反向传播加速**。
这意味着什么？对于需要海量数据迭代的预训练场景，计算时间的缩短直接等同于研发成本的降低与迭代速度的飞跃。而对于时延敏感的端侧智能体（Agentic）推理任务，更高的推理效率则直接转化为更流畅的用户体验和更低的部署成本。可以说，FlashQLA的推出，正是瞄准了AI工业化进程中“降本增效”的核心诉求。
开源这一高性能算子库，也体现了千问团队推动技术普惠的一向思路。将经过实战验证的底层优化成果共享给社区，无疑将助力整个行业更高效地探索更大规模的模型架构与应用边界。接下来，业界可以期待基于FlashQLA的更多模型实现与性能基准测试，其生态价值将在实际应用中逐步显现。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，