不靠HBM的3D近存芯片：破解大模型训练内存墙

一、内存墙：比算力更隐蔽的第一瓶颈

大模型训练的主体负载是Transformer结构中的大规模矩阵乘法。从计算特征看，这类负载并不“天生缺算力”，真正稀缺的是数据供给速度：以千亿参数模型为例，权重矩阵远超片上缓存的容量上限，训练的每一步都要把权重、激活、梯度乃至优化器状态从显存搬运到计算单元。从能耗角度看，搬运一个数据的成本可达同规模浮点运算的数十倍以上，这意味着大量功耗并没有花在“计算”本身，而是花在了“搬数据”上。

业界通常把当前AI芯片面临的挑战概括为“三堵墙”：算力墙、内存墙和通信墙。其中内存墙的本质非常朴素——计算单元的处理速度远快于数据从存储送达计算单元的速度。这个差距可以用Roofline模型定量描述：芯片实际可达性能取“峰值算力”与“带宽×算术强度”两者中的较小值。当负载的算术强度（每字节数据对应的浮点运算次数）不足时，再高的峰值算力也只是纸面数字。

二、主流路线的边界：2.5D封装加高带宽存储

当前业界的主流解法，是将逻辑芯片与多组高带宽存储（HBM）堆栈并排放置在硅中介层上，通过微凸点和横向走线互连。这条路线确实把带宽提升了一个台阶，但它的扩展逻辑存在三重约束：

• 扩展手段的边际成本高：要提升带宽，只能增加HBM堆栈数量或不断抬高接口频率，前者推高封装面积与成本，后者受信号完整性和功耗制约；
• 物理距离难以压缩：横向走线是毫米级路径，凸点间距停留在几十微米量级，单位面积可布置的互连数量存在天花板；
• 供应链依赖重：逻辑die要压住功耗与面积往往依赖先进制程，HBM本身又是产能紧、价格高的稀缺资源。对国产芯片而言，这两样恰恰都是最难获取的环节。

换句话说，这条路线解决的是“带宽够不够用”，却没有回答“带宽从哪里来才可持续”。

三、把“距离”换成“密度”：晶圆级混合键合的3D近存路线

晶圆对晶圆的混合键合并不是一项全新技术。早在数年前，消费级图像传感器领域就率先实现了量产：像素层晶圆与逻辑层晶圆以“铜-铜”直连的方式垂直叠合；随后3D NAND闪存也采用了类似思路，把存储阵列晶圆与外围电路晶圆分别制造再键合到一起。但近十年来，这项工艺的主战场始终停留在传感器和闪存，没有进入大算力芯片领域。

把同样的工艺迁移到DRAM与AI逻辑芯片之间，意味着连接方式的根本改变：

• 从横向走到纵向：DRAM晶圆与逻辑晶圆面对面键合，信号路径从毫米级压缩到微米级；
• 互连密度跃升：互连间距从几十微米量级进入微米乃至亚微米级，单位面积互连数量可提升两到三个数量级；
• 带宽的决定因素改变：带宽不再由接口频率决定，而由垂直互连密度决定。这意味着逻辑层完全可以采用成熟制程，照样获得高带宽——这正是“不靠先进制程、不用HBM”的底气所在。

需要澄清一个概念：近存计算（Near-Memory Computing）不同于存内计算（In-Memory Computing）。前者保留独立的存储器件与计算单元，只是把二者距离压缩到极致，计算部分仍可沿用成熟的数字设计流程，软件生态的兼容性明显更好。这也是它更适合大算力芯片工程化落地的原因。

过去这条路线长期停留在论文和样片阶段，卡点不在原理而在工程：键合良率、散热、测试方法、软件配套，每一项都是硬骨头。

四、带宽配比：衡量AI芯片的第二把尺子

评价AI芯片，除了峰值算力，还有一个更贴近真实训练效率的指标：每TFLOPS算力分到的访存带宽。用一个示意计算说明两条路线的差距（数值为假设，仅用于说明方法）：

def bw_per_tflops(bw_tb_s, peak_tflops):
    """每TFLOPS算力可分到的带宽（GB/s），示例计算"""
    return bw_tb_s * 1024 / peak_tflops
# 假设一：某2.5D封装方案，320 TFLOPS峰值算力、2.0 TB/s带宽
print(round(bw_per_tflops(2.0, 320), 1))   # ≈ 6.4 GB/s/TFLOPS
# 假设二：某3D近存方案，500 TFLOPS峰值算力、6.0 TB/s带宽
print(round(bw_per_tflops(6.0, 500), 1))   # ≈ 12.3 GB/s/TFLOPS，约为前者2倍

结合Roofline模型可以看得更直观：

def attainable_tflops(peak_tflops, bw_tb_s, ai):
    """可达性能 = min(峰值算力, 带宽 × 算术强度)，单位TFLOPS"""
    return min(peak_tflops, bw_tb_s * ai)
for ai in [8, 32, 128]:
    print(f"算术强度={ai}: 可达性能={attainable_tflops(320, 2.0, ai)} TFLOPS")
# 输出示例：8 -> 16.0（带宽严重受限）；128 -> 256.0（接近但未达峰值）

可以看到，算术强度不足时，实际性能被带宽死死压住。大模型训练恰恰充满这类场景：优化器状态的周期性读写、混合专家结构的稀疏激活、流水线切换时的权重换入换出，都是典型的带宽敏感操作。带宽配比每提升一倍，这些环节的耗时就可以显著压缩。

五、从样片到集群：必须迈过的三道坎

一条芯片路线是否真正走出实验室，判断标尺不是单颗芯片的跑分，而是集群级的工程指标——例如百卡级集群能否连续多天无中断训练、千亿参数模型能否在一周量级完成训练适配、从项目立项到具备训练能力能否压缩到两年左右。近期国内已有团队基于该路线完成了此类验证，并向千卡规模演进。要走到这一步，至少要迈过三道坎：

1. 良率工程。两层晶圆键合后，任何一层的缺陷都会让整个堆叠报废，复合良率近似等于逻辑层良率、DRAM层良率与键合良率的乘积。业界通行做法是键合前做晶圆级测试筛选（KGD，已知良好晶圆），配合冗余电路设计与修复机制。
2. 热与功耗设计。计算层功耗密度大，又紧贴对温度敏感的DRAM层（温度升高会推高刷新率、加剧漏电），必须做热感知的层次布局、精细的功耗调度与热点管理。
3. 软件栈适配。存储层级结构变了，编译器和运行时需要重新做算子调度与数据切分，让带宽优势真正转化为训练吞吐；集群层面还要与集合通信优化协同，避免拆掉内存墙之后撞上通信墙。

维度	2.5D封装+HBM路线	3D混合键合近存路线
互连方式	中介层横向走线	晶圆级垂直键合
互连间距	数十微米量级	微米至亚微米级
带宽扩展	加堆栈、抬频率	提升垂直互连密度
制程依赖	逻辑die依赖先进制程	可用成熟制程
供给风险	依赖HBM产能	依赖键合工艺良率

六、适用边界与冷静展望

这条路线并非万能钥匙。首先，近存架构解决的是“距离”问题，不直接解决“容量”问题，训练超大模型仍需要多卡显存并行与参数分片配合；其次，软件生态需要从零适配，算子库、编译器、通信库都要感知新的层级结构，迁移成本客观存在；再次，混合键合对洁净度、对准精度和应力管理的要求极高，产能爬坡需要时间。

更可能的行业图景是多条路线长期并存：通用场景继续以2.5D封装为主，带宽饥渴型负载采用3D近存，特定推理场景探索存内计算，Chiplet技术则作为灵活组合的底座贯穿其中。

七、结语

内存墙归根结底是一个物理距离问题。晶圆级混合键合的价值，在于把“缩短距离”变成“提高密度”，从而在绕开先进制程与HBM双重约束的前提下，为构建大算力芯片提供了一条可量产、可集群化的现实路径。对工程团队而言，评估这类架构时最值得关注的三个信号是：带宽配比、集群稳定性验证的规模与时长、以及软件栈的成熟度——它们共同决定了一条技术路线能否从展台走进真正的训练机房。