简介:大模型推理优化的核心,是围绕显存容量、显存带宽、算力利用率和调度效率四个瓶颈做分层优化:先用量化与 KV Cache 优化压低显存和带宽压力,再用连续批处理提升吞吐,最后才上并行与硬件协同。如果你暂时不想自建推理集群,也可以先在[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的调用成本与性能表现,再决定"自建还是调 API"。
推理分两个阶段,瓶颈完全不同:
判断方法很简单:算一下算术强度(FLOPs / 访存字节),和硬件的”算力 ÷ 带宽”比值(roofline 拐点)比较。低于拐点就是带宽瓶颈,此时堆算力没用,应该优先做量化、KV Cache 压缩和算子融合。
盲目优化是最常见的浪费 。batch size 很小时,Decode 几乎必然带宽受限,这时上张量并行只会增加通信开销。
| 方案 | 权重位宽 | 特点 | 风险 |
|---|---|---|---|
| W16A16(FP16/BF16) | 16bit | 精度基线 | 显存占用最高 |
| W8A8(SmoothQuant 类) | 8bit | 权重+激活量化,能吃到 INT8 算力 | 需校准集,激活离群值需处理 |
| W4A16(GPTQ / AWQ) | 4bit | 显存降约 3/4,带宽压力同步下降 | 小模型或低精度任务上精度掉点明显 |
| FP8 | 8bit | 新一代 GPU 原生支持,精度接近 BF16 | 依赖硬件支持 |
补充两点常被忽略的: KV Cache 量化 (FP8/INT8)在高并发长上下文场景收益极大,因为 KV Cache 会随并发数和上下文长度线性膨胀; 量化后必须做业务评测 ,只看困惑度(PPL)不够,要在自己的任务集上跑准确率。
# 以 AWQ 4bit 加载为例(transformers 生态)from transformers import AutoModelForCausalLM, AutoTokenizermodel = AutoModelForCausalLM.from_pretrained("your-model-path",device_map="auto",quantization_config={"quant_method": "awq", "w_bit": 4, "zero_point": True},)
结构化剪枝(减层、减头、减中间维度)能真正换来速度,因为输出仍是稠密矩阵;非结构化稀疏虽然理论 FLOPs 下降,但需要硬件和算子支持(如部分架构的原生 2:4 稀疏)才能落地,否则只是”纸面加速”。
用大模型当教师、小模型当学生,是 降低单位推理成本最彻底的手段 。适合意图分类、信息抽取、格式转换这类任务边界清晰的场景;对开放生成类任务,蒸馏后模型的泛化能力通常有明显衰减。
这一层是长上下文和高并发的关键:
vLLM 启动示例:
vllm serve your-model-path \--quantization awq \--kv-cache-dtype fp8 \--max-model-len 32768 \--gpu-memory-utilization 0.90 \--max-num-seqs 128 \--enable-prefix-caching \--enable-chunked-prefill
| 策略 | 切分维度 | 通信特征 | 适用边界 |
|---|---|---|---|
| 张量并行 TP | 层内矩阵 | 每层两次 AllReduce,通信频繁 | 单机内 NVLink 互联 |
| 流水并行 PP | 层间 | 通信量小,但有 pipeline bubble | 跨节点、层数多的模型 |
| 专家并行 EP | MoE 专家 | All-to-All | MoE 架构 |
| 数据并行 DP | 请求 | 几乎无通信 | 副本扩容提吞吐 |
硬件协同方面,除了 GPU,国产 AI 芯片落地时要重点验证三件事: 算子覆盖率 (缺失算子会回退成慢速实现)、 精度对齐 (同一 prompt 的 logits 偏差)、 图编译兼容性 。这三项没验证就上生产,往往比不做优化更慢。
必须同时看四个指标,单看吞吐会误判:
压测脚本骨架:
import time, requestsdef bench(url, prompt, max_tokens=256):start = time.perf_counter()first_token_time, tokens = None, 0with requests.post(url, json={"prompt": prompt, "max_tokens": max_tokens, "stream": True}, stream=True) as resp:for line in resp.iter_lines():if line and first_token_time is None:first_token_time = time.perf_counter()tokens += 1end = time.perf_counter()ttft = (first_token_time - start) if first_token_time else float("inf")tpot = (end - first_token_time) / max(tokens - 1, 1)return {"TTFT(s)": round(ttft, 3), "TPOT(s)": round(tpot, 4), "tokens": tokens}
自建的成本公式:
单请求成本 = GPU 小时成本 ÷ (每小时有效输出 token 数)每小时有效 token 数 = 吞吐(tokens/s) × 3600 × SLO 达标率
注意分母里的 SLO 达标率——按峰值吞吐算出来的成本,通常比真实值乐观得多。另外别忘了闲置率、运维人力和模型迭代带来的重复投入。
如果业务波峰波谷明显、或模型还在选型阶段,直接调用 API 往往更划算。这时可以用词元所的大模型 API 服务平台做两件事:一是横向对比多个模型的调用单价与能力边界,二是通过统一 API 接入方式避免为每个模型单独写适配层,后续换模型时业务代码基本不用改。
max-num-seqs 与显存利用率,找吞吐拐点推理优化没有”一招通用”的方案,它是一套需要持续压测验证的迭代流程。想快速拿到不同模型的性能与价格基线数据,可以在百度智能云词元所先做一轮对比,把优化精力集中在真正有瓶颈的环节上。