贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
作者:RiverSoul
时间:2025-07-12
浏览:7
用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT
本文目录
用来运行 Llama 3 405B 优势明显。



数据集 1:I-243-O-770; 数据集 2:I-295-O-770; 数据集 3:I-243-O-386; 数据集 4:I-295-O-386; 数据集 5:I-221-O-201。









# Llama 8Bpython -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct# Llama 405Bpython -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 --tp 8
curl http://localhost:30000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "default","prompt": "Say this is a test","max_tokens": 7,"temperature": 0 }'python3 -m sglang.bench_serving --backend sglang --num-prompts 1000
作者最新文章
剧云网页登录入口 剧云AI电脑端访问地址
2026-11-21 13:07
AO3主页入口及最新镜像链接合集
2026-11-19 13:38
Yandex国际版入口及官网链接
2026-11-14 10:20
PixTV网页入口 PixTVAI视频生成使用要点
2026-11-08 10:55
国行Apple智能开放前要确认什么?设备、系统与功能范围
2026-11-05 16:15
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































