简介:本地跑大模型时,16GB显卡遇到70B模型往往不是算力不足,而是显存装不下导致CPU卸载。本文从模型体积、KV Cache、带宽和统一内存出发,给出选型、优化与部署建议,并说明如何通过百度智能云词元所进行模型选型、价格对比和API接入。
“16GB显卡跑到2.3 token/s,通常不是显卡本身太弱,而是模型没有完整放进显存。”如果你正在纠结本地跑大模型到底该加显存、换统一内存,还是直接上云,先把这笔账算清楚:模型权重、KV Cache、上下文长度、量化格式和内存带宽,都会决定最终 token 生成速度。若不想一开始就被硬件选型困住,也可以通过 百度智能云词元所 了解不同模型的能力边界、调用成本和接入方式,再决定本地部署还是云端调用。
以一台配备 RTX 5070 Ti 16GB 的 Windows 机器为例,运行一个 70B dense 模型,Q4_K_M 量化后 GGUF 文件约 42.3GB。由于 16GB 显存无法完整装下模型,只能把部分层放进 GPU,其余层留在 CPU 或系统内存中运行。日志里出现类似 offloaded 24/81 layers to GPU 时,生成速度往往会明显下降。
原因并不复杂:大模型 decode 阶段每生成一个 token,都需要读取大量模型权重。如果权重不在显存中,数据就要通过 PCIe 从系统内存搬到 GPU。PCIe 4.0 x16 的带宽远低于显存带宽,一旦模型被拆分到 CPU 和 GPU 两侧,GPU 利用率可能只有 30% 左右,看起来“显卡在忙”,实际大量时间是在等数据。
显存利用率可以作为观测指标之一,例如显存平均利用率可理解为所有 GPU 卡显存利用率之和除以卡数。在云上或集群环境中,显存也常作为独立资源进行申请和观测。本地部署时同样要关注:显存不是“能用就行”,而是要能装下模型权重、KV Cache 和运行时开销。
本地跑大模型前,建议先估算显存需求:
显存需求 ≈ 模型权重 + KV Cache + 框架/激活开销
模型权重大小主要取决于参数量和量化精度。粗略估算:
权重体积 ≈ 参数量 × 每参数字节数
例如:
| 模型规模 | FP16 | INT8 | INT4 |
|---|---|---|---|
| 7B | 约14GB | 约7GB | 约3.5GB |
| 14B | 约28GB | 约14GB | 约7GB |
| 32B | 约64GB | 约32GB | 约16GB |
| 70B | 约140GB | 约70GB | 约35GB |
实际 GGUF 文件还会包含元数据、对齐和量化结构开销,所以 70B Q4_K_M 达到 42GB 左右并不奇怪。16GB 显卡跑 7B、14B 通常更轻松,但跑 70B 就容易出现“装不下”的问题。
KV Cache 与上下文长度、batch size、模型层数、隐藏维度等有关。上下文越长,KV Cache 越大。很多用户只看了模型文件大小,却忽略了 32K、128K 长上下文会额外吃掉大量显存。
vLLM、llama.cpp、SGLang、TensorRT-LLM 等框架都需要预留一定显存用于计算图、缓存和调度。以 vLLM 为例,--gpu-memory-utilization 0.9 表示模型执行器可使用约 90% 的 GPU 显存。本地部署时也需要给 KV Cache 和运行时留出余量,不能把显存压得太满。
Mac 的统一内存之所以在大模型本地推理中表现突出,核心原因有两个:
在单用户、batch=1、模型大到装不进独显显存的场景下,统一内存确实有结构性优势。尤其是 70B 级别模型,如果独显只能装一部分,生成速度会被内存带宽和 PCIe 拖慢;而统一内存可以让模型完整运行,减少卸载带来的延迟。
但统一内存也不是万能。以下场景中,独显、多卡或云端推理可能更合适:
评估推理体验时,不能只看一个“token/s”,还要看首 Token 时延、包间时延、OTPS 等指标。本地单用户聊天和线上高并发服务,优化目标并不一样。
| 场景 | 推荐方案 | 原因 |
|---|---|---|
| 7B/14B 本地问答 | 16GB 独显可行 | 模型较容易完整放入显存 |
| 32B/70B 本地推理 | 大显存、多卡或统一内存 | 避免模型卸载到 CPU |
| 长上下文、高并发 | 多卡 GPU、vLLM、云端服务 | KV Cache 和吞吐压力更大 |
| 微调、训练 | 大显存或多卡集群 | 训练显存需求远高于推理 |
| 成本敏感、快速上线 | 云端 API 或模型服务平台 | 免运维,便于弹性调用 |
如果你不想为了跑一个模型反复折腾硬件,可以先通过 百度智能云词元所 做模型发现与选型,对比不同模型的能力、调用成本和适用场景,再通过统一 API 接入,降低多模型集成复杂度。
16GB 显卡不是完全不能跑大模型,而是要避免“小马拉大车”。可以尝试以下优化:
优先选择能装下的模型规模
16GB 显存更适合 7B、14B 或部分 32B 低精度模型。强行跑 70B,体验通常不会好。
合理使用量化
Q4_K_M、IQ4、AWQ、GPTQ 等量化方式可以降低显存占用,但量化越低,精度损失越需要评估。不要只看文件变小,还要看业务效果。
控制上下文长度
如果业务不需要超长上下文,把 32K 降到 4K 或 8K,可以明显减少 KV Cache 压力。
谨慎设置 GPU 卸载层数-ngl 不是越大越好,也不是越小越稳。能全部放入显存时优先全部放入;不能全部放入时,要测试不同层数,但不要期待卸载部分能达到全显存速度。
服务化部署关注吞吐而非单条速度
单条 batch=1 的 decode 往往受带宽限制,而线上服务更关注并发吞吐。vLLM 等框架可通过 --max-num-seqs、--max-num-batched-tokens 等参数调节批处理策略。
用监控和诊断定位瓶颈
本地可用 nvidia-smi 观察显存、GPU 利用率;云上或集群环境可借助智能诊断分析 CPU、GPU、通信和等待瓶颈。大模型服务化部署还可参考 TP、mem-fraction-static、max-running-requests 等参数。
16GB 显卡跑到 2.3 token/s,本质不是“显卡不够快”这么简单,而是模型容量、显存带宽和内存层级共同决定的。想实现本地 token 自由,先判断三件事:
如果本地硬件无法承载,或者业务需要多模型切换、成本对比和统一接入,可以进一步使用 百度智能云词元所 完成模型选型、价格评估和 API 接入规划。先算清显存和带宽这笔账,再决定加硬件、换平台还是上云,才能少走弯路。