原理概述

“芯片即模型”是一种将机器学习模型物理固化至专用芯片的架构范式。其核心思想是通过掩模ROM技术将模型权重与计算逻辑直接集成在硅片上，构建存算一体化的专用计算单元。这种架构突破了传统方案中”模型加载至内存”的范式，在专用场景下实现数量级级的能效提升。

背景问题

传统大模型推理系统面临三大核心挑战：

1. 内存墙瓶颈：计算单元与高带宽内存(HBM)间的数据传输消耗大量能量，占整体功耗的60%以上
2. 资源利用率低：通用GPU在运行特定模型时，仅30%的算力单元处于有效工作状态
3. 迭代成本高：模型升级需要重新加载权重，每次迭代产生数TB级数据迁移

某研究团队提出的HC1架构通过硬件固化模型的方式，针对性解决了上述问题，在专用场景下实现性能与成本的突破性平衡。

核心概念

1. 掩模ROM技术：通过光刻工艺将模型权重直接写入芯片金属层，形成不可更改的物理存储结构
2. 结构化ASIC设计：采用固定底层电路+可配置顶层掩模的混合设计模式，平衡专用化与灵活性
3. 存算一体架构：消除传统计算单元与存储单元间的数据总线，在存储单元内部直接完成计算操作

系统组成

HC1架构包含三大核心模块：

1. 固化模型计算阵列：

   • 由1024个16x16的矩阵乘法单元组成
   • 每个单元集成8位定点数运算逻辑
   • 通过三维堆叠技术实现层间数据直通

2. 可编程SRAM缓存区：

   • 配置16MB高速缓存
   • 支持LoRA微调权重动态加载
   • 采用双端口设计实现计算与数据加载并行

3. 控制与接口模块：

   • PCIe 4.0 x16接口
   • 集成DMA引擎实现零拷贝数据传输
   • 支持TensorFlow/PyTorch模型格式直接转换

工作流程

以Llama 3.1 8B模型推理为例，完整处理流程如下：

1. 初始化阶段：

   • 通过掩模编程将基础模型权重固化至计算阵列
   • 将微调参数加载至SRAM缓存区
   • 建立KV缓存索引表

2. 推理阶段：

   graph TD
     A[输入Token] --> B{缓存命中?}
     B -- 是 --> C[SRAM读取KV缓存]
     B -- 否 --> D[计算阵列生成新KV对]
     C & D --> E[注意力计算]
     E --> F[前馈网络计算]
     F --> G[输出Token生成]

3. 权重更新阶段：

   • 通过PCIe接口接收增量权重包
   • 仅更新SRAM区域微调参数
   • 计算阵列保持不变

关键机制

存算融合机制

传统架构中，每个矩阵乘法操作需要：

1. 从内存读取权重（400pJ/bit）
2. 从寄存器读取输入（20pJ/bit）
3. 执行MAC运算（0.1pJ/op）
4. 写回结果（40pJ/bit）

HC1架构通过存算一体设计，将步骤1-4合并为单个物理操作，能量效率提升12倍。其实现路径包括：

• 在存储单元内部集成电流镜阵列
• 采用模拟域乘法累加技术
• 通过电荷共享实现权重复用

动态分区机制

为平衡专用化与灵活性，系统采用三级存储分区：
| 区域 | 容量 | 访问速度 | 可编程性 |
|——————|————|—————|—————|
| 掩模ROM | 768Mb | 0.1ns | 不可改 |
| SRAM缓存 | 16MB | 2ns | 可重写 |
| 寄存器文件 | 256KB | 0.5ns | 可重写 |

推理过程中，系统自动将频繁访问的权重迁移至SRAM区域，实现90%以上的缓存命中率。

增量更新机制

针对模型微调场景，设计双权重存储架构：

1. 基础权重：固化在掩模ROM中，占模型总参数的98%
2. 增量权重：存储在SRAM中，通过LoRA技术实现参数高效更新

更新时仅需传输0.5%的参数数据，使模型迭代速度提升200倍。

技术优势与限制

优势表现

1. 能效比突破：在FP16精度下达到130TOPs/W，是主流GPU的8倍
2. 延迟优化：端到端推理延迟低于2ms，满足实时交互要求
3. 成本降低：单位算力成本下降至$0.03/TOPs，较云服务降低90%

适用边界

1. 模型固定性：最适合参数规模<20B的稳定模型
2. 批量大小：在batch size=1时效率最优
3. 精度要求：最佳性能体现在8位定点数运算场景

常见误区

1. 误解为传统ASIC：实际采用结构化ASIC设计，开发周期缩短至8周
2. 忽视动态更新能力：通过SRAM区域实现模型微调，支持每月迭代
3. 过度关注峰值算力：实际性能取决于模型与芯片的架构匹配度

总结

“芯片即模型”架构通过物理层融合计算与存储，在专用场景下实现了能效比的突破性提升。其核心价值在于：

1. 重新定义了模型部署的物理边界
2. 为大模型推理提供了专用化解决方案
3. 建立了硬件与算法的协同优化范式

该架构的成功实践表明，在算力需求指数级增长的AI时代，专用化计算架构将成为重要发展方向。未来随着3D集成技术和新型存储器件的成熟，这类架构有望在更多场景展现技术优势。