简介:本文对比独立显卡显存与统一内存两类本地大模型推理方案。文章拆解模型装载、解码带宽瓶颈和CPU卸载的成本,给出按模型规模、提示长度和使用目标的选型判断,并列出迁移与使用注意事项,帮助读者避免按错误指标加钱。
部分企业的健康类、金融类业务数据不能发送到外部网络,因此需要在内网运行大模型。云端接口按调用量计费,且数据出境需要单独评估。本地部署可以同时解决数据边界和调用成本两个问题,但硬件选择会直接影响推理速度。
常见的两条路线是:一是在通用台式机上加装一块16GB显存的独立显卡,二是采用统一内存架构的设备,其内存容量可达256GB。两者都能运行同一个70B参数的稠密模型(4bit量化后文件约42.3GB),但在实际测试中,独立显卡方案约为2.3 token/s,统一内存方案约为14.2 token/s。差距的来源需要从模型是否能完整装入显存、解码阶段的访存特征和系统内存带宽三方面分析,否则很容易把优化方向放错。
方案A的模型权重分布在两个存储池中。放入显存的层由显卡计算,剩余的层保存在系统内存中,由CPU计算。两部分之间通过显卡与主板之间的总线交换中间结果。
典型配置为:16GB显存,显存带宽约896GB/s;64GB双通道系统内存,理论带宽约96GB/s。这类方案的推理速度由两个存储池的带宽和容量共同决定,其中系统内存的带宽往往是短板。
方案B中,CPU和GPU共享同一个内存池,权重无需人工划分到不同设备。典型配置为256GB统一内存,带宽约819GB/s。模型只要不超过可用内存容量,就能整体加载,推理框架不需要决定卸载哪些层。
两类方案解决的问题相同,即在本地完成推理,避免数据外传,并减少按量计费。它们的差异在于硬件资源的组织方式。
方案A存在两个内存池,数据需要跨越总线。当模型超过显存容量时,CPU侧的层需要从系统内存读取全部权重,每生成一个token都要重复一次。方案B的权重只存在一个内存池中,省去了跨池搬运的开销。
资源管理方式也不同。方案A需要人工指定显存中放入多少层,显存预算、上下文长度和卸载层数三者需要一起调整。方案B由系统统一分配内存,配置项较少。
大模型生成文本时分为两个阶段。提示处理阶段(prefill)一次性处理全部输入,主要受计算能力影响。解码阶段(decode)逐个生成token,在单用户、batch为1的条件下,每生成一个token都要读取一遍几乎全部权重,因此受内存带宽限制。
解码速度可以用一个粗略的上限估算:
每秒token数 ≈ 有效带宽 / 每个token需要读取的权重字节数
按这个思路估算方案A。假设按层数比例把权重分配到显存:
实测2.3 token/s,约为理论上限的75%,差距来自调度与同步开销。这说明瓶颈在CPU侧的系统内存,而不是显卡本身。显卡利用率在30%附近波动,反映的是显卡在等待CPU侧的计算结果。
如果只用显存带宽除以模型大小,结果约为896 ÷ 42.3 ≈ 21 token/s,这个数字与实测值相差近10倍。错