Omni-Infer v0.8.0 已经发布,超大规模 MoE 模型推理加速技术
作者:慢热型
时间:2026-08-24
浏览:3
Omni-Inferv0.8.0版本正式上线,针对超大规模混合专家架构模型提供高效推理优化能力,新增对盘古72B模型的强化学习训练支持,并已验证支持开放盘古-极致-MoE-718B、DeepSeek-R1、Qwen3-235B等众多模型在多种硬件平台和精度格式下的部署模式。
本文目录
最近,Omni-Infer迎来了0.8.0版本的正式上线。这次更新的重头戏,就是针对超大规模MoE架构模型,提供了高效推理优化能力——对于正在处理庞杂MoE模型的团队来说,这无疑是个值得关注的进展。
v0.8.0
核心亮点
✓ 新增对 Pangu72B 模型的强化学习(RL)训练支持
已验证支持模型清单
| 模型名称 | 适配硬件 | 量化/精度格式 | 部署模式 |
|---|---|---|---|
| openPangu-Ultra-MoE-718B | A3 | INT8 | PD分离 |
| openPangu-Ultra-MoE-718B | A2 | INT8 | PD分离 |
| openPangu-72B | A3 | INT8 | PD分离 |
| openPangu-38B | A3 | INT8 | 混布 |
| openPangu-38B | A2 | INT8 | 混布 |
| openPangu-7B | A3 | BF16 | 混布 |
| openPangu-7B | A2 | BF16 | 混布 |
| openPangu-7BVL | A3 | BF16 | 混布 |
| DeepSeek-R1 | A3 | INT8 | PD分离 |
| DeepSeek-R1 | A3 | W4A8C16 | PD分离 |
| DeepSeek-R1 | A3 | BF16 | PD分离 |
| DeepSeek-R1 | A2 | INT8 | PD分离 |
| DeepSeek-V3.1 | A3 | INT8 | PD分离 |
| DeepSeek-V3.2 | A3 | INT8 | PD分离 |
| DeepSeek-OCR | A2 | BF16 | 混布 |
| Qwen2.5-7B | A3 | INT8 | 混布(TP≥1, DP=1) |
| Qwen2.5-7B | A2 | INT8 | 混布(TP≥1, DP=1) |
| QwQ | A3 | BF16 | PD分离 |
| QwQ | A2 | BF16 | PD分离 |
| Qwen3-235B | A3 | INT8 | PD分离 |
| Qwen3-235B | A2 | BF16 | PD分离 |
| Qwen3-32B | A3 | BF16 | PD分离 |
| Qwen3-32B | A3 | INT8 | PD分离 |
| Qwen3-30B | A3 | BF16 | PD分离 |
| Kimi-K2 | A3 | W4A8C16 | PD分离 |
| Kimi-K2 Thinking | A3 | W4A8C16 | PD分离 |
| Longcat-flash | A3 | BF16 | PD分离 |
| Ling-1T | A3 | BF16 | PD分离 |
| GPT-OSS120B | A3 | INT8 | PD分离 |
| GPT-OSS120B | A2 | INT8 | PD分离 |
| GPT-OSS20B | A3 | INT8 | PD分离 |
| GPT-OSS20B | A2 | INT8 | PD分离 |
安装资源获取
| 硬件平台 | CPU架构 | Docker镜像地址 | Tar包名称 |
|---|---|---|---|
| A3 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm | omni_infer-a3-arm:v0.8.0_vllm |
| A3 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm | omni_infer-a3-x86:v0.8.0_vllm |
| A2 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm | omni_infer-a2-arm:v0.8.0_vllm |
| A2 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm | omni_infer-a2-x86:v0.8.0_vllm |
源码及安装包下载:立即获取
作者最新文章
QQ邮箱地址书写时括号能不能添加
2026-10-27 23:17
搭载 RTX 5070 12GB 显卡 联想 Legion 5i 15IAX11 游戏本海外发布
2026-10-26 16:26
blender安装教程中文版详细步骤与汉化设置指南
2026-10-20 18:28
SQL分组统计查询:GROUP BY与HAVING子句用法示例
2026-10-17 13:12
漫蛙官网线路更新提醒了吗
2026-10-13 13:42
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































