本地部署大模型对比：DeepSeek-R1-0528-Qwen-8B性能评测
图片大家好，我是ai学习的老章今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双4090显卡上本地部署的<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B模型的实际表现。这是我目前最钟爱的三个DeepSeek蒸馏版本之一DeepSeek-R1-0528基于Qwen3:8B进行知识蒸馏优化，配合双4090实现本地高效推理，性能与效果兼备，深得我心LLM-Benchmark工具介绍项
图片大家好，我是 ai 学习的老章
今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双 4090 显卡上本地部署的 DeepSeek-R1-0528-Qwen-8B 模型的实际表现。
这是我目前最钟爱的三个 DeepSeek 蒸馏版本之一
DeepSeek-R1-0528 基于 Qwen3:8B 进行知识蒸馏优化，配合双 4090 实现本地高效推理，性能与效果兼备，深得我心
LLM-Benchmark 工具介绍
项目地址：https://github.com/lework/llm-benchmark
LLM-Benchmark 是一款专为大语言模型设计的自动化并发性能压测工具，适用于开发者和运维人员对本地或远程 LLM 服务进行系统性性能评估。它支持从低负载到高并发的多阶段测试，帮助定位瓶颈、优化部署策略。
核心功能亮点：
- 多阶段压力测试：支持从 1 到 300 并发逐步加压，观察模型在不同负载下的表现。
- 自动化数据采集：自动记录每轮测试的响应时间、吞吐量、错误率等关键指标。
- 可视化性能报告：生成结构化报告，直观展示 RPS、延迟、TPS 等趋势变化。
- 长短文本双模式测试：覆盖短问答与长上下文生成场景，贴近真实应用。
- 高度可配置：通过命令行灵活设置模型名、URL、并发数、请求数等参数。
- JSON 输出支持：便于后续分析或集成至 CI/CD 流程。
主要文件说明：
run_benchmarks.py：主测试脚本，执行全量多轮测试，自动生成汇总报告。
llm_benchmark.py：核心压测逻辑，处理并发请求、连接池管理及流式响应测试。
assets/：存放测试用资源文件。
README.md：详细使用文档与参数说明。
使用方式
1. 执行完整性能测试（推荐）
运行以下命令进行全量多并发测试，适合全面评估模型服务能力：
python run_benchmarks.py \ --llm_url "http://your-llm-server" \ --api_key "your-api-key" \ --model "your-model-name" \ --use_long_context
参数说明：
- --llm_url：目标 LLM 服务地址（必填）
- --api_key：认证密钥（可选）
- --model：模型名称（默认为 deepseek-r1）
- --use_long_context：启用长文本测试模式（默认关闭）
2. 单次并发测试（按需定制）
若只想测试特定并发级别，可使用单测脚本：
python llm_benchmark.py \ --llm_url "http://your-llm-server" \ --api_key "your-api-key" \ --model "your-model-name" \ --num_requests \ --concurrency
参数说明：
- --num_requests：总请求数（必填）
- --concurrency：并发数量（必填）
还可自定义输出 token 数、超时时间、输出格式等。
实测结果展示
我使用如下命令对本地部署的模型进行全量长上下文测试：
python run_benchmarks.py \ --llm_url "http://localhost:8001/v1" \ --api_key "123" \ --model "R1-0528-Qwen3-8B" \ --use_long_context
测试结果如下图所示：
图片
性能指标解读
RPS（每秒请求数）
衡量系统吞吐能力，RPS 越高，并发处理能力越强。测试中从单并发 0.91 提升至 300 并发下的 43.53，表现出色。平均延迟（秒）
用户体验的关键指标。低并发时仅 1.098 秒，300 并发上升至 12.62 秒，符合预期增长趋势。P99 延迟（秒）
反映极端情况下的响应稳定性。随着并发增加略有上升，但整体可控。平均 TPS（每秒生成 token 数）
衡量模型生成效率。峰值达 90.89 tokens/s，在 50 并发下仍保持 42.44，表现优异。首 Token 延迟（秒）
影响交互即时感。低并发下低至 0.035 秒，但在 200/300 并发时升至约 2.85 秒，说明高负载下启动响应略有延迟。成功率
所有测试场景下均为 100%，无请求失败，稳定性极佳。
对比主流平台 DeepSeek API 实际生成速度
| 平台 | 生成速度（tokens/s） | 备注 |
|---|---|---|
| DeepSeek-V3 官方宣称 | 60 | 官方数据 |
| DeepSeek-R1 实测（Content部分） | 37.76 | 118 tokens / 3.12s |
| DeepSeek-R1 总体实测 | 33.01 | 436 tokens / 13.21s |
| 深圳本地测试 DeepSeek 官方服务 | 37.117（生成），25.378（推理） | —— |
| 火山引擎（深圳） | 65.673 | 成都节点高达 72.276 |
| 火山引擎（六平台评测均值） | 32（生成），29（推理） | 稳定性突出 |
| 硅基流动（深圳） | 16.966 | —— |
| 阿里云百炼（深圳） | 11.813 | 存在明显时段波动 |
| 讯飞开放平台 | 1.2（推理均值） | 表现较弱 |
| Meta Llama API（Cerebras） | 高达 2600 | Llama 4 Cerebras |
| Groq（Llama 4 Scout） | 460 | 极速推理硬件支持 |
总结
在本地资源有限的前提下，DeepSeek-R1-0528-Qwen-8B 配合双 4090 显卡部署方案，依然是我心中最均衡、最实用的选择。
无论是吞吐能力、响应速度还是稳定性，实测表现都令人满意，尤其在中等并发下兼顾了效率与体验。相比部分公有云 API 的波动性，本地部署更可控、更安全、成本更低。
如果你也在寻找一款适合本地运行的高性能蒸馏模型，强烈推荐尝试这个组合！
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
