本地部署大模型对比：DeepSeek-R1-0528-Qwen-8B性能评测
图片大家好，我是ai学习的老章今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双4090显卡上本地部署的<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B模型的实际表现。这是我目前最钟爱的三个DeepSeek蒸馏版本之一DeepSeek-R1-0528基于Qwen3:8B进行知识蒸馏优化，配合双4090实现本地高效推理，性能与效果兼备，深得我心LLM-Benchmark工具介绍项
图片大家好，我是 ai 学习的老章
今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双 4090 显卡上本地部署的 DeepSeek-R1-0528-Qwen-8B 模型的实际表现。
这是我目前最钟爱的三个 DeepSeek 蒸馏版本之一
DeepSeek-R1-0528 基于 Qwen3:8B 进行知识蒸馏优化，配合双 4090 实现本地高效推理，性能与效果兼备，深得我心
LLM-Benchmark 工具介绍
项目地址：https://github.com/lework/llm-benchmark
LLM-Benchmark 是一款专为大语言模型设计的自动化并发性能压测工具，适用于开发者和运维人员对本地或远程 LLM 服务进行系统性性能评估。它支持从低负载到高并发的多阶段测试，帮助定位瓶颈、优化部署策略。
核心功能亮点：
- 多阶段压力测试：支持从 1 到 300 并发逐步加压，观察模型在不同负载下的表现。
- 自动化数据采集：自动记录每轮测试的响应时间、吞吐量、错误率等关键指标。
- 可视化性能报告：生成结构化报告，直观展示 RPS、延迟、TPS 等趋势变化。
- 长短文本双模式测试：覆盖短问答与长上下文生成场景，贴近真实应用。
- 高度可配置：通过命令行灵活设置模型名、URL、并发数、请求数等参数。
- JSON 输出支持：便于后续分析或集成至 CI/CD 流程。
主要文件说明：
run_benchmarks.py：主测试脚本，执行全量多轮测试，自动生成汇总报告。
llm_benchmark.py：核心压测逻辑，处理并发请求、连接池管理及流式响应测试。
assets/：存放测试用资源文件。
README.md：详细使用文档与参数说明。
使用方式
1. 执行完整性能测试（推荐）
运行以下命令进行全量多并发测试，适合全面评估模型服务能力：
python run_benchmarks.py \ --llm_url "http://your-llm-server" \ --api_key "your-api-key" \ --model "your-model-name" \ --use_long_context
参数说明：
- --llm_url：目标 LLM 服务地址（必填）
- --api_key：认证密钥（可选）
- --model：模型名称（默认为 deepseek-r1）
- --use_long_context：启用长文本测试模式（默认关闭）
2. 单次并发测试（按需定制）
若只想测试特定并发级别，可使用单测脚本：
python llm_benchmark.py \ --llm_url "http://your-llm-server" \ --api_key "your-api-key" \ --model "your-model-name" \ --num_requests \ --concurrency
参数说明：
- --num_requests：总请求数（必填）
- --concurrency：并发数量（必填）
还可自定义输出 token 数、超时时间、输出格式等。
实测结果展示
我使用如下命令对本地部署的模型进行全量长上下文测试：
python run_benchmarks.py \ --llm_url "http://localhost:8001/v1" \ --api_key "123" \ --model "R1-0528-Qwen3-8B" \ --use_long_context
测试结果如下图所示：
图片
性能指标解读
RPS（每秒请求数）
衡量系统吞吐能力，RPS 越高，并发处理能力越强。测试中从单并发 0.91 提升至 300 并发下的 43.53，表现出色。平均延迟（秒）
用户体验的关键指标。低并发时仅 1.098 秒，300 并发上升至 12.62 秒，符合预期增长趋势。P99 延迟（秒）
反映极端情况下的响应稳定性。随着并发增加略有上升，但整体可控。平均 TPS（每秒生成 token 数）
衡量模型生成效率。峰值达 90.89 tokens/s，在 50 并发下仍保持 42.44，表现优异。首 Token 延迟（秒）
影响交互即时感。低并发下低至 0.035 秒，但在 200/300 并发时升至约 2.85 秒，说明高负载下启动响应略有延迟。成功率
所有测试场景下均为 100%，无请求失败，稳定性极佳。
对比主流平台 DeepSeek API 实际生成速度
| 平台 | 生成速度（tokens/s） | 备注 |
|---|---|---|
| DeepSeek-V3 官方宣称 | 60 | 官方数据 |
| DeepSeek-R1 实测（Content部分） | 37.76 | 118 tokens / 3.12s |
| DeepSeek-R1 总体实测 | 33.01 | 436 tokens / 13.21s |
| 深圳本地测试 DeepSeek 官方服务 | 37.117（生成），25.378（推理） | —— |
| 火山引擎（深圳） | 65.673 | 成都节点高达 72.276 |
| 火山引擎（六平台评测均值） | 32（生成），29（推理） | 稳定性突出 |
| 硅基流动（深圳） | 16.966 | —— |
| 阿里云百炼（深圳） | 11.813 | 存在明显时段波动 |
| 讯飞开放平台 | 1.2（推理均值） | 表现较弱 |
| Meta Llama API（Cerebras） | 高达 2600 | Llama 4 Cerebras |
| Groq（Llama 4 Scout） | 460 | 极速推理硬件支持 |
总结
在本地资源有限的前提下，DeepSeek-R1-0528-Qwen-8B 配合双 4090 显卡部署方案，依然是我心中最均衡、最实用的选择。
无论是吞吐能力、响应速度还是稳定性，实测表现都令人满意，尤其在中等并发下兼顾了效率与体验。相比部分公有云 API 的波动性，本地部署更可控、更安全、成本更低。
如果你也在寻找一款适合本地运行的高性能蒸馏模型，强烈推荐尝试这个组合！
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，