3D近存计算芯片：定义、原理与工程实践

一、概念定义：什么是3D近存计算芯片

3D近存计算芯片是一种将计算逻辑层与动态随机存取存储器（DRAM）层通过晶圆对晶圆混合键合（Hybrid Bonding）实现垂直堆叠集成的AI算力芯片。其核心特征在于：存储单元不再位于计算单元之外、通过横向走线或中介层连接，而是与逻辑层在垂直方向上直接互连，使数据搬运路径大幅缩短。

从技术视角看，它属于”近存计算”（Near-Memory Computing）的一个工程实现分支。近存计算指将存储资源物理上放置到靠近计算单元的位置，以减少数据在存储与计算之间往返带来的延迟与能耗；3D近存计算则进一步利用三维集成工艺，把DRAM层直接键合在逻辑层之上，形成芯片内部的垂直互连通道。

从使用视角看，这类芯片对外仍然表现为一颗AI加速芯片：具备浮点算力规格、访存带宽规格，可接入训练框架与集群调度系统。区别在于其带宽与算力的配比设计更偏向”每完成一次运算可分到的带宽”这一指标，而非单纯追求峰值算力。

用一句话概括：3D近存计算芯片是通过晶圆级混合键合把DRAM与逻辑层垂直集成，以改变存储与计算连接方式为核心手段，缓解数据搬运瓶颈的AI算力芯片。

二、背景与价值：为什么会出现这条路线

2.1 大模型训练与推理的瓶颈迁移

随着大模型参数规模增长与Agent类推理需求上升，AI芯片的瓶颈已不只在于算力峰值。训练过程中的梯度同步、参数更新、激活值读写，推理过程中的键值缓存访问，都产生大量数据搬运需求。当计算单元处理速度远快于数据从存储送达计算单元的速度时，算力再高也会因等待数据而闲置。业界常将这类挑战概括为”三堵墙”：算力墙、内存墙和通信墙。其中内存墙的本质，就是计算与存储之间的速度失配。

2.2 主流解法的现实约束

当前行业应对内存墙的主流方案是2.5D封装加高带宽内存：逻辑芯片与多组高带宽内存并排放置在硅中介层上，通过微凸点和横向走线相连。这条路线要提升带宽，只能增加高带宽内存组数或不断提高接口频率，同时高度依赖先进制程与高带宽内存供应。对于需要在受限供应链条件下构建大规模训练集群的场景而言，这两项资源恰恰是最难稳定获取的。

2.3 换一条连接方式的价值

3D近存计算的价值不在于”堆更多存储”，而在于从根上改变存储与计算的连接方式：把横向走线变为主垂直互连，把封装外互连变为芯片内互连，从而在相同或更有限的制程与存储资源下，获得更高的带宽算力配比。原文提及的一组规格可作为理解这一价值的参照：520 TFLOPS的BF16算力对应6.4TB/s的访存带宽，每完成一次浮点运算可分到的带宽约为主流GPU的2至3.6倍。这一配比说明其设计取向是让带宽跟得上算力，而非让算力空转。

三、核心组成与工作原理

3.1 关键组成

• 逻辑层：承载矩阵运算单元、片上缓存、互连接口与调度逻辑，负责实际计算任务。
• DRAM层：由多片DRAM晶圆构成，提供高密度存储容量，作为近存介质。
• 混合键合界面：逻辑层与DRAM层之间通过晶圆对晶圆混合键合形成垂直互连，键合界面同时实现电气连接与机械结合，无需微凸点。
• 垂直互连通道：键合界面上的密集互连结构，承担逻辑层与DRAM层之间的高带宽数据传输。
• 封装与集群接口：芯片对外提供高速互连接口，用于多卡集群组网。

3.2 工作流程示意

训练任务提交
   │
   ▼
集群调度分配卡资源 → 芯片加载模型分片
   │
   ▼
逻辑层发起读写请求
   │
   ▼
垂直互连通道（键合界面）→ DRAM层就近响应
   │
   ▼
数据回传逻辑层 → 完成运算 → 结果经集群网络同步

与传统的”计算→片外存储→中介层→计算”路径相比，3D近存计算的请求路径更短，且垂直互连的并行度更高，因而在单位算力下可支撑更大的访存带宽。

3.3 工程验证的意义

原文提到，基于该架构的芯片打造的首个全国产大规模训练集群已完成交付，在128卡集群规模上连续训练72小时无中断，千亿参数级大模型仅用7天完成训练适配，并计划进一步交付千卡级集群，从项目立项到集群具备训练能力用时24个月。这些数字的技术含义是：3D近存路线不仅在样片阶段可行，而且在多卡协同、长时间稳定性、框架适配等工程维度上通过了验证。对技术选型者而言，”集群规模稳定性验证”比单卡峰值指标更能反映实际可用性。

四、典型适用场景

• 大规模预训练集群：参数规模大、梯度同步频繁，对访存带宽与互连稳定性要求高，带宽算力配比均衡的芯片有助于减少数据等待。
• 推理服务与Agent类负载：键值缓存访问密集，近存结构可降低长上下文场景下的访存延迟。
• 制程与存储供应受限环境：在不依赖最先进制程和高带宽内存供应的前提下构建算力集群，适合追求供应链可控性的项目。
• 国产化训练平台建设：需要从芯片、集群到框架适配全链路自主的工程场景。

五、相关概念区别

概念	连接方式	带宽提升手段	主要约束
3D近存计算	逻辑层与DRAM层垂直混合键合	缩短路径、提高垂直互连密度	键合工艺良率与散热设计
2.5D封装加高带宽内存	逻辑与存储并排于中介层，微凸点横向互连	增加存储组数、提高接口频率	先进制程与高带宽内存供应
传统片外存储架构	计算经总线访问独立存储	提高总线频率与通道数	总线带宽与延迟限制

需要说明的是，3D近存计算并非取代片上缓存或集群互连，而是补充”存储与计算之间”这一段的数据通路；集群层面的通信墙仍需靠高速互连与调度优化解决。

六、使用注意事项

1. 工艺与良率：晶圆级混合键合对界面平整度、洁净度要求高，选型时需关注供应商的量产良率与可靠性数据，而非仅看样片指标。
2. 散热设计：垂直堆叠使热源集中，需在板卡与机柜层面评估散热方案，避免长时间训练下的频率降级。
3. 软件栈适配：集群可用性依赖训练框架、通信库与驱动适配，原文中”7天完成训练适配”提示适配工作量可控，但实际项目仍需预留调优周期。
4. 集群规模验证：单卡指标不等于集群能力，应要求提供连续长时间训练无中断的验证记录，并关注千卡级规模的扩展效率。
5. 生态与迁移成本：评估现有模型代码、算子库与工具链的迁移工作量，优先选择支持通用编程接口的方案。
6. 供应链可持续性：确认DRAM与键合工艺的长期供应能力，避免集群交付后扩容受限。

七、总结

3D近存计算芯片的定义可以回到三个关键词：垂直集成、混合键合、带宽配比。它通过晶圆对晶圆混合键合把DRAM层与逻辑层垂直互连，从连接方式上缓解内存墙，而非依赖先进制程与高带宽内存堆叠。其核心价值在于为受限供应链条件下的大规模训练集群提供一条可工程化落地的路径；其适用边界在于键合工艺良率、散热能力与软件生态适配程度。对技术选型者而言，判断这类方案是否合适，应重点考察集群级稳定性验证、带宽算力配比与实际负载匹配度，而非单一峰值算力数字。