存算一体芯片：定义端侧AI推理的低功耗算力底座

一、概念定义：什么是存算一体芯片

存算一体（Compute-In-Memory，CIM）芯片，是一类打破传统“存储与计算分离”体系结构的AI处理器。在经典的冯·诺依曼架构中，数据存放在存储器里，运算由独立的计算单元完成，数据必须在两者之间反复搬运；而存算一体芯片把乘加（MAC）等基本运算直接“搬进”存储阵列内部，让模型权重常驻阵列、原地参与计算，从体系结构层面削减绝大部分数据搬运开销。

可以从三个视角理解这一定义：

• 技术视角：以SRAM等片上存储介质为计算载体，在存储阵列内部完成乘加运算，典型实现称为SRAM-CIM（基于SRAM的存内计算）；
• 性能视角：AI计算的瓶颈已经从“算得多快”迁移到“数据搬得多快”，CIM直接消灭搬运环节，因此能在极低功耗下兑现更高的有效算力；
• 业务视角：它面向大模型推理的“Token经济学”，用更低的单位能耗产出更多的Token，把端侧每生成一个Token的边际成本压到趋近于零，为端侧Agent提供可持续的算力底座。

换句话说，它要做的不是“又一颗跑得更快的AI芯片”，而是让智能在端侧的产出成本大幅下降。

二、背景与价值：瓶颈从“算不动”迁移到“搬不动”

过去十年，AI芯片的主线叙事是堆算力。但当Transformer成为主流模型结构之后，情况发生了本质变化：模型参数量呈指数级增长，推理过程中权重需要从存储不断送往计算单元，能耗大头从“乘加计算”转向了“权重搬运”。在先进工艺下，把一个数据从片外存储搬运到计算单元所消耗的能量，往往比完成计算本身高出一个数量级以上。

产业侧最直观的证据是高带宽内存（HBM）这类存储品类：在大模型兴起之前，它是一个几乎无人关注的小众方向；大模型兴起之后，它成了存储产业竞争最激烈的战场。这个转变说明，芯片瓶颈已经从“计算单元不够快”变成了“数据不够快”。

与此同时，业务侧出现了一个新的矛盾：云端推理普遍采用按量计费的模式，多用多付；而Agent的价值恰恰来自“越用越有用”——多轮规划、工具调用、长程任务会让Token消耗量级式增长。用得越狠，账单越吓人，这个矛盾不解决，Agent就难以从少数人的玩具变成大众化的生产力工具。端侧推理可以把边际成本从“按Token付费”变成“一次性硬件成本加少量电费”，但前提是端侧芯片必须同时满足三个约束：算得动、塞得下、耗得起。存算一体正是同时回应这三个约束的架构路线。

三、核心组成与实现路径

1. 根技术：SRAM-CIM。把乘加运算放进SRAM阵列内部完成，让权重尽量“不挪窝”。行业公开的技术评估显示，同等算力规模下，这类核心计算阵列的面积可以压缩到传统结构的约三分之一，运行功耗可以降到约十分之一。

2. 两条产品化路径：

• 2D CIM：SRAM-CIM与成熟的2D集成方式结合，偏重大容量，适合把更大的模型权重装进端侧设备；
• 3D CIM：SRAM-CIM与先进封装（3D堆叠）结合，偏重更高带宽。这里有一个容易被忽略的技术差异：业界主流的3D堆叠方案，通常是把DRAM裸片与逻辑裸片通过混合键合连接，本质上是在封装维度解决访存问题；而3D CIM进一步把堆叠下层的逻辑裸片替换为基于SRAM-CIM的计算裸片，等于在封装创新之上，又叠加了一层计算架构创新。

1. 量产物料的能力量级：公开资料显示，国内已有存算一体芯片完成两代量产。其中面向端侧的量产芯片在INT8精度下可提供约160TOPS的物理算力，典型功耗仅约10W；基于3D CIM架构的新一代芯片也已投产，支持多颗芯片全互联扩展，算力利用率较上一代提升约50%，模型覆盖目标从3B/4B量级延伸到27B/30B量级。这组指标的实际含义是：在笔记本、边缘盒子等设备可接受的功耗预算内，跑数十亿参数级别的大模型推理开始成为现实。

四、工作原理：让数据“不挪窝”

存算一体芯片的运行逻辑可以拆成四步：

• 权重驻留：模型权重一次性写入SRAM计算阵列，推理期间不再反复从片外DRAM读取；
• 原位计算：输入激活值沿阵列的字线/位线流入，乘加运算在存储阵列内部完成；
• 激活流动：真正需要搬运的只剩层与层之间的激活值，其数据量远小于权重本身；
• 解码收益：大模型自回归解码时，每生成一个Token都要把全部权重“过一遍”，是典型的访存受限负载，CIM把权重访问成本降到最低，因此对逐Token生成的场景尤其友好。

用示意代码对比两种架构的数据流：

# 传统架构（示意）：权重反复搬运
for layer in model.layers:
    W = dram.load(layer.weights)     # 搬运：能耗高、时延高
    Y = mac_unit.compute(X, W)       # 计算：能耗相对低
# 存算一体（示意）：权重常驻、原位计算
for layer in model.layers:
    W = sram_array.resident(layer.weights)  # 阵列内常驻
    Y = sram_array.mac_in_place(X, W)       # 阵列内完成MAC

五、典型应用场景

• 端侧Agent与本地智能助手：多轮对话、任务规划与工具编排使Token用量随任务复杂度非线性增长，低边际成本的本地推理是这类应用的可持续底座；
• 终端设备本地大模型：PC、手机、智能座舱、机器人等设备对功耗预算高度敏感，10W量级功耗提供上百TOPS算力的产品形态与这类约束高度契合；
• 隐私与合规敏感场景：数据不出端，推理在本地闭环完成；
• 弱网与离线环境：工业现场、车载、户外等网络不稳定场景，本地推理保障服务可用性；
• 企业轻量推理节点：在私有化环境中以低功耗硬件承载日常推理负载，与云端大算力形成端云协同。

六、与相关概念的区别

• 存算一体 vs 传统GPU/通用NPU：后者仍遵循“存储—计算分离”，靠缓存层级和带宽堆叠缓解搬运问题；CIM从结构上让计算发生在数据所在之处，因此评价重点应从峰值TOPS转向有效算力利用率与每瓦算力；
• 存算一体 vs 近存计算：近存计算是把计算单元尽量靠近存储以缩短通路，但计算仍发生在存储之外；CIM则在存储内部直接完成运算，是更彻底的一步；
• 2D CIM vs 3D CIM：前者偏重容量与成本，适合装下更大的模型；后者偏重带宽与扩展性，通过多芯互联抬高算力上限；
• 端侧推理 vs 云端推理：云端推理（如百度智能云等平台提供的按量计费通用模型服务）适合大参数模型与弹性负载；端侧推理胜在边际成本低、时延稳定、数据不出域，两者是协同而非替代关系。

七、使用与选型注意事项

• 量化精度评估：端侧芯片多以INT8等低精度运行为主，需在业务真实数据上验证量化后的精度损失；
• 容量匹配：片上SRAM容量有限，需结合模型压缩、稀疏化和KV Cache管理评估目标模型能否“塞得下”；
• 软件栈成熟度：算子覆盖度、模型转换工具链、与主流训练框架的对接程度，直接决定工程落地成本；
• 功耗与散热：除典型功耗外，还需关注峰值功耗与散热设计，避免长时间高负载导致降频；
• 有效算力评估：横向对比时应关注实际Token生成速率（如tokens/s/W），而不是仅看峰值TOPS；
• 端云协同设计：复杂任务可拆分为端侧轻推理加云端重推理，兼顾成本与能力上限。

八、总结

存算一体的定义可以浓缩为一句话：把计算搬进存储、让权重原地计算的低功耗AI推理架构。它回应的正是大模型时代的核心矛盾，数据搬运的能耗与时延增速超过了计算本身，而Agent的应用模式又要求Token的边际成本趋近于零。以SRAM-CIM为根技术、沿2D与3D两条路径产品化的存算一体芯片，已经在10W级功耗、百TOPS级算力的量级上给出了可量产的答案。对需要在端侧部署大模型推理的开发者与企业而言，它是继GPU、NPU之后值得纳入选型视野的第三条架构路线；其适用边界主要在于模型规模、量化精度与软件生态，选型时应围绕有效算力利用率和单位能耗的Token产出做综合评估。