云厂商自研AI芯片：训推分离时代的算力突围

一、为什么云厂商集体下场做芯片

过去十年，云厂商的基础设施成本结构发生了根本性变化。大模型兴起之前，服务器采购中CPU与存储占大头；如今，AI加速卡在单台AI服务器中的成本占比普遍超过七成，且长期供不应求。完全依赖外购通用加速方案，意味着三重压力：

• 成本被锁定：定价与毛利由上游厂商主导，云厂商缺乏议价空间；
• 路线受制于人：互联协议、显存规格等关键技术由供应商定义，难以针对自身负载做深度优化；
• 供给不确定：上游产能波动会直接传导为算力供给与交付节奏的波动。

自研芯片因此从“可选项”变成“必选项”。云厂商做芯片有三个天然优势：第一，自有业务提供了稳定且规模巨大的内部负载，芯片研发摊销不必完全依赖外部市场；第二，云厂商同时掌握框架、编译器与调度系统，可以完成从模型到晶体管的垂直协同优化；第三，超大规模数据中心多年积累的运维与故障数据，能够反哺芯片的可靠性设计。国内以百度智能云为代表的厂商，走的同样是“自研芯片+自研框架+云平台”的垂直整合路线，这也是全球头部玩家的共同选择。

二、三条自研路线：推理、训练与配套芯片

从公开信息看，头部云厂商的自研芯片布局普遍呈现三条主线：

1. 推理专用芯片：性价比优先。 推理负载访存密集、并发度高，对峰值算力不敏感，但对单位token成本极度敏感。因此推理芯片通常控制制程与封装成本，堆大片上SRAM、优化低精度计算，追求“每一元钱能跑多少token”。

2. 训练专用芯片：性能与互联优先。 训练要求高精度数值、大规模集合通信与长时间稳定运行，设计重点在于芯片间互联带宽、故障恢复与弹性伸缩能力。

3. 配套芯片：体系化降本。 除AI加速器外，头部厂商还普遍自研服务器CPU、视频转码芯片、DPU等。转码、编解码、网络转发等确定性负载专用化之后，可以把昂贵的通用算力释放给AI任务，整体数据中心成本被显著摊薄。

一个值得注意的产业信号是：经过多代迭代后，头部厂商最新的芯片产品线普遍出现了“训练与推理拆分”的设计转向——同一代产品拆成两款独立芯片，各自针对负载特征做极致优化，而不是用一颗“全能芯片”勉强兼顾。

三、关键技术拆解：自研芯片强在哪

3.1 架构：为矩阵运算而生

通用GPU的前身是图形渲染管线，保留了大量为图形与通用并行计算设计的控制逻辑与缓存层次；而AI负载的核心是稠密矩阵乘法。自研芯片普遍采用脉动阵列或专用矩阵引擎，把晶体管预算集中到乘加单元上，以牺牲通用性换取单位面积算力。在推理这种算子高度固定的场景，“专用换效率”的收益尤为明显。

3.2 存储：SRAM容量决定算力利用率

AI芯片的瓶颈往往不在算力而在访存。如果片上SRAM太小，激活值和权重需要频繁往返高带宽显存，算力再高也会“饿肚子”。新一代自研芯片普遍大幅增加片上SRAM容量（部分产品达到上一代的三倍），配合优化的数据流调度，让更多计算在片上完成，通信延迟与能耗同步下降。评估一颗推理芯片时，SRAM容量与显存带宽的配比，比峰值FLOPS更能反映真实性价比。

3.3 互联：从单卡到超级集群

大模型训练的本质是数千颗芯片的协同计算。自研芯片通常配套自研高速互联与自定义拓扑，把成千上万颗芯片组成一个“超级Pod”，聚合算力可达ExaFLOPS量级。Pod规模、单芯片通信带宽、故障域隔离能力，共同决定了训练超大规模模型的实际可行性。

3.4 精度：低位宽计算的普及

从FP32到BF16、FP8再到FP4，数值精度每降低一档，算力密度与带宽压力就改善一倍以上。推理场景对数值误差容忍度较高，FP8已成为新一代芯片的标配，部分训练芯片也开始支持FP4存储与计算。当然，低位宽需要配套的量化算法与精度补偿技术，这正是软件栈的价值所在。

3.5 软件栈：真正的护城河

芯片参数只是故事的一半，决定开发者是否愿意迁移的是软件栈：

• 编译器与算子库：负责计算图优化、算子融合与自动切分；
• 框架兼容层：让主流深度学习框架的模型低成本迁移，理想状态是“改一行设备名即可运行”；
• 分布式策略：与云平台的调度、监控告警、弹性伸缩体系打通。

示意性地看，一次理想的迁移体验如下（伪代码）：

# 伪代码：训练任务迁移到自研加速设备
import dl_framework as fl
model = fl.load_pretrained("llm-base")
# 仅替换设备标识，计算图切分与精度策略由编译器自动完成
trainer = fl.Trainer(
    model,
    device="accelerator:0",
    strategy="auto-parallel",   # 自动数据/张量/流水线并行
    precision="mixed-fp8",      # 混合精度自动插入
)
trainer.fit(train_dataset)

3.6 TCO：自研的终极理由

云厂商评估自研芯片的核心指标不是峰值算力，而是整体拥有成本（TCO）。一个简化的单位成本模型如下：

def cost_per_token(chip_capex, server_capex, power_kw, pue,
                   electricity_price, years, utilization, tokens_per_sec):
    total_hours = years * 365 * 24
    energy_cost = power_kw * pue * total_hours * electricity_price
    useful_hours = total_hours * utilization
    total_cost = chip_capex + server_capex + energy_cost
    return total_cost / (useful_hours * 3600 * tokens_per_sec)

从公开披露的内部测算看，在匹配度高的推理负载上，成熟的自研芯片单颗TCO可比旗舰通用GPU方案低三到五成。但需注意，这一优势高度依赖软件栈成熟度与负载匹配度——迁移成本和长尾算子缺口可能迅速吞掉硬件端的节省。

四、训推分离：新一代芯片的设计转向

为什么最新产品线要把训练和推理拆开？根本原因是两类负载的技术诉求几乎正交：

维度	训练芯片	推理芯片
核心指标	聚合算力、互联带宽	单位token成本、时延
精度	BF16/混合精度为主	FP8/INT8为主
存储	显存容量优先	片上SRAM与带宽优先
部署形态	千卡级集群扩展	高并发、高密度部署

拆分之后，两条产品线可以按各自最优节奏迭代：训练芯片专注堆互联、堆规模；推理芯片专注堆性价比、堆密度。同时，新一代芯片普遍搭载同源自研服务器CPU，形成“加速芯片+CPU+互联+调度系统”的整机方案，进一步压缩系统级成本。

五、竞争格局：从自用到外供

行业观察显示，头部云厂商的自研AI芯片已进入多代快速迭代周期，最新一代普遍完成训推分离的设计升级，并采用最先进制程与定制化设计服务模式。出货量方面，市场分析普遍预计头部厂商单一产品线的年出货规模将迈入百万颗量级。商业化路径上，多数厂商遵循“先内部验证、再开放给云客户”的节奏：内部负载完成打磨后，以实例或专属集群形式对外提供，逐步承接外部训练与推理需求。

六、企业选型：六个评估维度

对计划使用自研算力的企业用户，建议建立如下评估框架：

1. 框架与模型兼容性：目标模型结构是否被官方支持，长尾算子是否有兜底方案；
2. 迁移成本：是否需要改动模型代码，工具链是否提供自动化迁移与精度对齐能力；
3. 规模上限：单集群规模、互联带宽、跨集群组网方案能否覆盖未来12个月的训练需求；
4. 精度与量化支持：FP8/INT8工具链完整度，量化后精度损失是否可控；
5. 供应与SLA：供货节奏、故障率承诺、配套服务能力；
6. 单位业务成本：以“每百万token成本”“单请求时延”等业务指标做横向对比，而非单卡峰值参数。

七、挑战与展望

自研芯片并非坦途。首先是生态壁垒：通用GPU近二十年积累形成的软件生态惯性巨大，迁移摩擦是所有自研路线必须跨越的鸿沟；其次是先进制程与先进封装的产能竞争，设计能力之外，供应链管理同样决定成败；最后是迭代节奏，AI模型结构快速演化，芯片可能在设计定型时就已落后于最新负载。

展望未来，算力基础设施将走向“异构并存”：通用GPU承担探索性负载与长尾算子，自研专用芯片承担规模化、确定性的训练与推理，CPU、DPU、转码芯片各司其职。云厂商的竞争力，将越来越取决于“芯片—框架—平台”垂直整合的深度，以及把硬件优势转化为开发者可感知的性价比与服务能力。对开发者而言，关注自研芯片的软件栈成熟度与单位业务成本，比追逐单点参数更有意义。