大模型推理一定要用HBM吗？技术定义与选型解析

一、概念定义：HBM是什么

高带宽内存（High Bandwidth Memory，简称HBM）是一种基于先进封装技术实现的高容量、高带宽动态随机存取存储器（DRAM）组合阵列。它并非某种全新的存储介质，而是在传统DRAM基础上，通过垂直堆叠裸片与先进封装工艺，重构了内存与计算芯片之间的连接方式。

从技术视角看，HBM的本质是“以封装换带宽”：它将多个DRAM裸片像多层建筑一样垂直堆叠，并通过硅通孔（TSV）和微凸块（Microbump）实现裸片间的高速互联，再经由底层基础芯片与GPU等计算芯片通信。从使用视角看，HBM是AI芯片的关键配套内存组件，其带宽与容量直接影响大模型的训练与推理效率。从业务视角看，HBM的供给能力与成本结构，正在成为影响AI算力基础设施规划的重要因素。

理解HBM，需要抓住三个关键词：垂直堆叠、宽接口、近距离。这三个特征共同决定了它相较于传统内存的性能差异。

二、背景与价值：为什么会出现HBM

传统内存的布局方式是将内存芯片并排布置在电路板上，通过较窄的总线与处理器连接。这种方式在通用计算场景下表现稳定，但随着AI模型参数规模从数亿增长到数千亿甚至数万亿，计算芯片对内存带宽的需求呈数量级上升，传统内存的“带宽墙”问题日益突出——计算单元的处理速度远超数据供给速度，形成内存瓶颈。

HBM的出现正是为了解决这一矛盾。它通过垂直堆叠缩短了数据搬运的物理距离，通过宽接口提升了单位时间的数据吞吐量，通过先进封装将内存与计算芯片紧密耦合。其核心价值可以概括为三点：

• 突破带宽瓶颈：让计算芯片能够持续获得高吞吐的数据供给，减少等待；
• 提升能效比：更短的数据传输路径意味着更低的功耗开销；
• 降低延迟：内存与计算芯片的物理距离大幅缩短，访问延迟随之下降。

这些特性使HBM成为高性能AI芯片的重要配套组件，尤其在大模型训练和高并发推理场景中，其作用难以被传统内存替代。

三、核心组成：HBM的内部结构

HBM由两部分核心芯片构成：

1. 核心芯片（Core Die，简称C-die）

C-die是包含DRAM存储单元的裸片，负责实际的数据存储。多个C-die可以垂直堆叠，堆叠层数决定了单堆栈的容量。业界常见做法是堆叠多层C-die以提升单堆栈容量，具体层数随产品代际演进而变化。

2. 基础芯片（Base Die，简称B-die）

B-die位于整个堆叠结构的底部，负责处理各类DRAM控制功能，并通过物理接口层（PHY）与GPU等计算芯片通信。它相当于堆叠结构与外部计算芯片之间的“桥接层”，承担地址管理、信号调度等职责。

在连接方式上，HBM内部采用硅通孔和微凸块将各层裸片进行堆叠键合，多层C-die与最下层的B-die连接，再通过凸块与硅中阶层（Interposer）互联，最终与计算芯片形成高密度连接。这种结构与传统内存“并排布置”的方式有本质区别，也是HBM实现高带宽的物理基础。

四、工作原理：HBM如何实现高带宽

HBM的高带宽来自“宽接口+短距离”的组合：

• 宽接口：HBM采用极宽的并行接口，单堆栈即可提供远超传统内存的带宽能力。随着代际演进，单堆栈带宽持续提升，使计算芯片能够在单位时间内获取更多数据。
• 短距离：通过硅中阶层与计算芯片近距离互联，数据传输路径大幅缩短，信号完整性与功耗表现均得到改善。
• 垂直堆叠：多层裸片垂直堆叠，在有限面积内实现更高容量，同时通过TSV实现层间高速互通。

可以用一个简化的伪代码来理解其数据通路：

计算芯片（GPU） 
  → 物理接口层（PHY）
  → 基础芯片（B-die，控制与调度）
  → 硅通孔（TSV）垂直互联
  → 多层核心芯片（C-die，数据存储）

这条通路的关键在于：数据不需要经过较长的板级走线，而是在封装内部完成高速搬运。这正是HBM能够缓解大模型“内存墙”问题的原因。

五、典型场景：HBM适合用在哪里

HBM并非万能内存，其适用场景有明确边界：

• 大模型训练：训练过程需要频繁读写海量参数与梯度，对带宽和容量要求极高，HBM是高性能训练芯片的常见配套选择。
• 高并发推理：在需要低延迟、高吞吐的在线推理服务中，HBM能够缩短单次请求的处理时间，提升整体服务能力。
• 高性能计算：部分科学计算与工程仿真场景同样受益于高带宽内存。
• 对成本不敏感的高端设备：HBM采用先进封装，成本相对较高，更适合对性能优先于成本的场景。

六、相关概念区别：HBM与传统内存、普通显存的差异

理解HBM时，容易与以下几类概念混淆：

• 与传统DRAM的区别：传统DRAM以并排布置为主，带宽受限于接口宽度与走线长度；HBM通过垂直堆叠与宽接口实现更高带宽，但封装复杂度与成本也更高。
• 与普通显存的区别：普通显存同样承担图形与计算数据存储职责，但在带宽密度和封装形态上与HBM存在差异。HBM更强调与计算芯片的紧耦合和高带宽供给。
• 与缓存（Cache）的区别：缓存位于计算芯片内部，容量小、速度极快；HBM属于主存层级，容量更大但速度低于缓存。二者是层级关系，而非替代关系。

七、使用注意事项：大模型推理是否一定要用HBM

回到核心问题：大模型推理一定要用HBM吗？答案是——不一定，但取决于场景约束。

需要优先考虑HBM的场景：

• 推理延迟要求严格，需要高吞吐支撑高并发请求；
• 模型规模较大，单次推理需要频繁搬运大量参数；
• 算力芯片本身以HBM作为配套内存设计，选型时需匹配。

可以不完全依赖HBM的场景：

• 推理任务对延迟不敏感，可接受批处理或离线推理；
• 通过模型量化、蒸馏、剪枝等手段降低了内存带宽压力；
• 采用多卡并行或分层存储策略，将部分数据放置在容量更大、带宽较低的存储层级；
• 成本敏感型业务，需要在性能与成本之间取得平衡。

在选型与使用中，还需关注以下问题：

1. 供给与成本：HBM供给紧张会直接影响整机成本与交付周期，中期随着国产HBM供应逐步落地，供需缺口有望缓解，但规划时仍需评估供应链稳定性。
2. 封装与散热：HBM采用先进封装，对散热设计提出更高要求，整机方案需同步考虑。
3. 软硬件协同：带宽优势能否发挥，取决于推理框架、算子优化与批处理策略是否匹配，单纯堆叠硬件并不必然带来线性收益。
4. 容量与带宽的平衡：带宽高不等于容量大，需根据模型参数规模与并发量综合评估单堆栈容量与堆叠层数。

八、总结

HBM是一种通过垂直堆叠与先进封装实现高带宽、低延迟、低功耗的内存技术，其核心价值在于缓解AI计算中的内存瓶颈。它不是大模型推理的“唯一解”，而是高性能场景下的重要选项。是否采用HBM，应结合推理延迟要求、模型规模、成本预算、供应链稳定性与软硬件协同能力综合判断。理解HBM的定义、结构与边界，有助于技术选型人员在算力规划中做出更理性的决策，而不是简单地“唯带宽论”。