Omni-Infer v0.8.0 已经发布,超大规模 MoE 模型推理加速技术
作者:慢热型
时间:2026-08-24
浏览:1
Omni-Inferv0.8.0版本正式上线,针对超大规模混合专家架构模型提供高效推理优化能力,新增对盘古72B模型的强化学习训练支持,并已验证支持开放盘古-极致-MoE-718B、DeepSeek-R1、Qwen3-235B等众多模型在多种硬件平台和精度格式下的部署模式。
最近,Omni-Infer迎来了0.8.0版本的正式上线。这次更新的重头戏,就是针对超大规模MoE架构模型,提供了高效推理优化能力——对于正在处理庞杂MoE模型的团队来说,这无疑是个值得关注的进展。
v0.8.0
核心亮点
✓ 新增对 Pangu72B 模型的强化学习(RL)训练支持
已验证支持模型清单
| 模型名称 | 适配硬件 | 量化/精度格式 | 部署模式 |
|---|---|---|---|
| openPangu-Ultra-MoE-718B | A3 | INT8 | PD分离 |
| openPangu-Ultra-MoE-718B | A2 | INT8 | PD分离 |
| openPangu-72B | A3 | INT8 | PD分离 |
| openPangu-38B | A3 | INT8 | 混布 |
| openPangu-38B | A2 | INT8 | 混布 |
| openPangu-7B | A3 | BF16 | 混布 |
| openPangu-7B | A2 | BF16 | 混布 |
| openPangu-7BVL | A3 | BF16 | 混布 |
| DeepSeek-R1 | A3 | INT8 | PD分离 |
| DeepSeek-R1 | A3 | W4A8C16 | PD分离 |
| DeepSeek-R1 | A3 | BF16 | PD分离 |
| DeepSeek-R1 | A2 | INT8 | PD分离 |
| DeepSeek-V3.1 | A3 | INT8 | PD分离 |
| DeepSeek-V3.2 | A3 | INT8 | PD分离 |
| DeepSeek-OCR | A2 | BF16 | 混布 |
| Qwen2.5-7B | A3 | INT8 | 混布(TP≥1, DP=1) |
| Qwen2.5-7B | A2 | INT8 | 混布(TP≥1, DP=1) |
| QwQ | A3 | BF16 | PD分离 |
| QwQ | A2 | BF16 | PD分离 |
| Qwen3-235B | A3 | INT8 | PD分离 |
| Qwen3-235B | A2 | BF16 | PD分离 |
| Qwen3-32B | A3 | BF16 | PD分离 |
| Qwen3-32B | A3 | INT8 | PD分离 |
| Qwen3-30B | A3 | BF16 | PD分离 |
| Kimi-K2 | A3 | W4A8C16 | PD分离 |
| Kimi-K2 Thinking | A3 | W4A8C16 | PD分离 |
| Longcat-flash | A3 | BF16 | PD分离 |
| Ling-1T | A3 | BF16 | PD分离 |
| GPT-OSS120B | A3 | INT8 | PD分离 |
| GPT-OSS120B | A2 | INT8 | PD分离 |
| GPT-OSS20B | A3 | INT8 | PD分离 |
| GPT-OSS20B | A2 | INT8 | PD分离 |
安装资源获取
| 硬件平台 | CPU架构 | Docker镜像地址 | Tar包名称 |
|---|---|---|---|
| A3 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm | omni_infer-a3-arm:v0.8.0_vllm |
| A3 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm | omni_infer-a3-x86:v0.8.0_vllm |
| A2 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm | omni_infer-a2-arm:v0.8.0_vllm |
| A2 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm | omni_infer-a2-x86:v0.8.0_vllm |
源码及安装包下载:立即获取
作者最新文章
win10笔记本外出联网如何阻止自动下载更新包
2026-10-06 11:33
photoshop智能对象不能直接编辑
2026-10-05 13:52
3dmax动画制作教程视频零基础入门步骤讲解
2026-09-23 12:06
CPU硅脂涂抹方法图解及正确操作步骤
2026-09-22 15:23
网易2026年Q2财报:营收301亿元,游戏收入增10%,三款重点新游披露进展
2026-09-08 17:51
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































