大模型推理部署

大模型服务计算器

输入 GPU 配置、模型和请求特征，估算显存、并发请求数、每秒 Token 数和批量任务耗时。

GPU 与模型

GPU 型号模型

3350 GB/s · 989.5 TFLOPS 32.8B · 32,768 tok

每副本 GPU 数（TP）模型副本数权重精度

每个副本把一份完整模型切分到组内 GPU。各副本独立处理请求。

请求负载

每请求输入 Token每请求回答 Token每请求额外思考 Token目标并发请求数任务总请求数

输入长度应计入系统提示和聊天历史。思考 Token 计入生成长度和上下文。

高级假设

KV 缓存精度可用显存比例（%）有效带宽比例（%）有效算力比例（%）多卡效率（%）每副本引擎并发上限

可用显存比例给运行时开销留出空间。可用同一套硬件和推理引擎的压测结果调整效率参数。

部署估算

容量估算

1 张 GPU · 200 生成 Token / 请求

并发请求容量: 133
当前场景并发: 50
单请求解码速度: 40.33 tok/s
合计解码吞吐: 2,016.37 tok/s

容量取决于 KV 缓存和引擎并发上限。当前并发还受任务量和目标并发限制。

含输入处理的生成吞吐: 618.78 tok/s
每秒完成请求数: 3.09
首 Token 耗时（无排队）: 11.23 s
单请求耗时（无排队）: 16.16 s
批量任务完成时间: 16.16 s
任务生成 Token 总数: 10,000 tok
仅按 KV 缓存计算的并发: 133
解码瓶颈: 显存带宽

单卡显存

可用预算: 72 GiB
模型权重: 32.99 GiB
每请求 KV 缓存: 0.29 GiB
估算峰值占用: 47.64 GiB

估算方法 v1.1.0

显存与并发

BF16、FP8 和 4 位权重按每参数 2、1.08 和 0.56 字节估计。GQA 和 MQA 的单卡每 Token KV 字节数为层数 × 2 × 单卡 KV 头数 × 头维度 × 元素字节数。张量并行优先切分 KV 头，不能继续切分时则复制。MLA 的压缩缓存会在每张张量并行卡上保留一份。估算容量时，将输入与生成长度之和向上对齐到 16 Token 的缓存块。

输入处理与解码

每阶段取算力耗时与显存读写耗时的较大值。输入处理按批处理并产生首 Token。解码时，同批请求共享权重读取，KV 按平均上下文长度读取。MoE 模型按激活参数量估算计算开销，按独立均匀的专家路由估算权重读取量。

服务吞吐与批量耗时

含输入处理的吞吐用每批生成 Token（回答加思考）除以整批耗时。任务耗时累加完整批次和尾批。请求均衡分配给各副本。

适用范围与校准

适用于同型号 GPU 上、权重常驻显存的文本生成。估算省略排队、CPU 卸载、专家并行、前缀复用和连续批处理。推理内核、量化版本和互联会影响结果。若设备报告的显存与标称容量不同，可改用自定义 GPU。请使用代表性请求做 vLLM 服务压测。若 Qwen 部署开启了 YaRN，可用自定义模型填写实际上下文上限。