简介:本地跑70B模型时,16GB显存装不下权重,CPU卸载导致速度跌到2.3 token/s;Mac统一内存凭借大容量与高带宽在单用户decode场景占优。本文拆解显存、带宽、量化和首Token时延的计算方法,给出本地与云端选型建议。
结论先说:16GB显卡跑到2.3 token/s,通常不是显卡“坏了”,而是模型没有完整放进显存。70B Q4_K_M约42.3GB,16GB只能放一部分,llama-server把24/81层放进GPU,其余交给CPU,decode阶段每层都要跨PCIe搬运,速度自然被拖垮。与其盲目加钱换卡,不如先算显存、带宽和并发这笔账;如果暂时不想折腾硬件,也可以先用百度智能云词元所对比模型服务与调用成本。
原文案例里,RTX 5070 Ti 16GB、896GB/s,跑70B dense Q4_K_M。日志显示offloaded 24/81 layers to GPU,生成速度2.3 token/s,GPU利用率约30%,显存占15.2GB。这个现象说明:GPU并非完全空闲,而是在等待CPU和内存把下一层数据送进来。
对于单用户、batch=1的decode阶段,模型每生成一个token,都要读取大量权重;如果权重不在显存里,延迟会被PCIe和系统内存放大。性能诊断时,不能只看GPU利用率,还要看SM利用率、主机等待时间和设备等待时间。
先算权重:
模型权重占用 ≈ 参数量 × 量化位宽 / 8
70B模型在4bit附近,理论约35GB;Q4_K_M因量化和元数据开销,常见文件会到40GB上下。再加上KV cache、上下文、框架预留,42.3GB并不夸张。
再看可用显存:
可用显存 = 显卡总显存 - 系统显示占用 - 浏览器/录屏/框架预留
16GB显卡在Windows桌面环境下,真正留给模型的可能只有14GB左右。若模型权重加KV cache超过可用显存,就必须offload。云上GPU资源也类似,显存通常需要作为独立资源申请和规划。
Mac Studio M3 Ultra 256GB统一内存、819GB/s,同一模型跑到14.2 token/s,关键不是“Mac神秘加成”,而是模型可以完整驻留,并且CPU、GPU共享高带宽内存池。
单用户decode的理论上限可以粗略写成:
decode速度上限 ≈ 内存带宽 / 每生成1 token需要读取的字节数
如果每token近似读取40GB权重,819GB/s ÷ 40GB ≈ 20.5 token/s;考虑框架开销、采样和内存延迟,14.2 token/s是合理区间。
但统一内存不是万能:
| 场景 | 更合适的选择 | 原因 |
|---|---|---|
| 7B/14B,单用户,隐私敏感 | 16GB独显或24GB显卡 | 模型可全量放入显存,低延迟 |
| 70B,单用户,能接受15秒级响应 | 大显存独显、统一内存设备 | 避免offload,decode更稳 |
| 多用户API、并发推理 | 云端GPU或推理服务 | 需要批处理、扩缩容和运维 |
| 长文档、RAG、Agent | 云端API或高显存服务 | 长上下文KV cache占用高 |
| 微调、训练 | GPU集群/云上训练 | 需要CUDA、显存和高速互联 |
如果团队不想维护显卡驱动、CUDA、量化文件和压测环境,可以通过词元所模型服务做模型发现、价格与性能对比、统一API接入和调用管理,减少多模型集成成本。
-ngl 99,观察是否还报offload。“token自由”不是一句口号,而是一笔总拥有成本账。本地跑模型要算显卡折旧、内存升级、电费、散热、运维和模型更新;云端API要算调用费用、网络延迟和数据合规。
对于健康类文本脱敏这类内网任务,本地小模型或私有化部署可能更合适;对于弹性流量、复杂Agent和多模型路由,云端服务往往更稳。无论选哪条路,都建议先用小规模数据做基准测试,再决定买卡、升内存还是调用API。