简介:昆仑芯M100和M300同属第四代产品,但设计取向不同。本文按负载特征拆解两者的定位、成本结构和接入难度,并给出可执行的测试指标,帮助基础设施团队判断推理集群和训推一体方案该怎么选。
大模型进入规模化应用后,AI算力需求分成两类。第一类是持续在线的推理请求,并发高,对延迟和单位成本敏感。第二类是参数规模很大的训练与超大模型推理,对显存容量、片间互联和多卡并行效率要求很高。两类负载的设计重点不同,用同一套硬件同时满足两者,通常要在成本或性能上做出妥协。
百度昆仑芯第四代AI芯片采用分场景的产品路线。M100面向大规模推理,尤其是MOE(混合专家)模型。该产品于2025年11月百度世界大会上发布,官方计划2026年初上市。M300面向超大规模训练和推理,官方计划2027年上市。两款产品属于同一代,但分属不同档位。
截至2026年11月,M100按计划应已进入上市阶段。具体供货情况和M300的最新排期,请以官方公告为准。
M100的核心目标是降低推理成本。推理请求持续不断,并发量大,单卡峰值算力未必是决定因素。吞吐、能效、部署密度和总拥有成本通常更关键。M100通过自研XPU架构针对MOE的稀疏激活特性做优化,让更多算力转化为有效吞吐。
M300的核心目标是承载更大规模的负载。训练超大模型需要更大的显存、更高的互联带宽和更好的多卡并行效率。M300的设计资源更多投向单芯片能力和集群扩展效率,同时也能承接大规模推理。
两者的关系是同代分层。M100解决推理成本问题,M300解决训推一体和超大规模负载问题。
| 对比维度 | 昆仑芯M100 | 昆仑芯M300 |
|---|---|---|
| 核心定位 | 大规模推理 | 超大规模训练与推理 |
| 重点优化对象 | MOE推理吞吐与能效 | 训练并行效率、显存与互联 |
| 成本取向 | 单位推理成本优先 | 承载能力优先 |
| 典型负载 | 在线推理、批量推理 | 预训练、微调、超大模型推理 |
| 上市节奏 | 官方计划2026年初上市,截至2026年11月按计划应已上市,以官方公告为准 | 官方计划2027年上市,以官方公告为准 |
| 常见部署形态 | 推理集群、超节点 | 大规模训练集群、超节点 |
具体算力、显存和带宽等参数,请以官方披露为准。
推理通常是大模型落地后的长期主要成本。M100如果能以较低成本提供足够吞吐,就能直接降低单位token的推理成本。M300的价值在于减少训练与推理分开采购、分开运维带来的重复投入。这一优势主要体现在训推一体采购和统一软件栈运维的团队中。
两者架构同源,框架适配、算子库、驱动和集群管理工具可以复用,改造量相对可控。但评估重点不同。M100接入时主要看推理服务的吞吐、延迟和稳定性是否达标。M300接入时还要评估分布式训练框架兼容性、并行策略支持度和集群网络规划等更复杂的工程问题。
在线推理服务,如对话、搜索增强和智能客服。这类场景并发高、延迟敏感,负载以MOE模型为主。应优先评估M100,并配合超节点组建推理集群。
预训练与持续微调。这类场景需要大显存和高速互联,支撑数据并行、流水并行等策略。如果推理任务也希望复用同一集群,应评估M300。
训推一体平台。团队希望统一软硬件栈、降低多平台运维成本时,可以考虑训练用M300、推理用M100的组合。训练与推理的配比应根据自身负载测算,不宜直接套用固定比例。同时要规划容量和网络拓扑,避免训练任务占满集群后影响推理服务。
早期验证。无论选哪款,都建议先申请客户测试或小规模供货,用真实模型和真实流量验证性能与稳定性,再决定规模化部署。
选型时应先问:我的负载特征匹配哪种设计取向。问题的答案比单纯比较芯片性能更有用。
签订采购合同前,建议用同一批模型和同一批流量测试以下指标:
每项指标都应设定业务可接受的阈值。测试达标后再进入规模采购。
M100和M300怎么选?
先看负载。以推理为主选M100,以训练或超大模型为主选M300。两类负载都有且需要统一管理时,可以考虑分层组合。
MOE推理应该关注什么?
关注专家路由开销、激活专家的显存占用和专家并行带来的通信量。这些因素共同决定实际吞吐,应以实测结果为准。
训推一体是否必须用M300?
不必须。如果训练需求很少,或训练可以放在其他集群完成,用M100承接推理也能满足需求。是否必要取决于训练规模和运维成本。
国产算力迁移要注意什么?
先完成模型精度对齐,再做性能压测。统一软件栈版本,并保留回退方案。试点阶段应让原有环境与新环境并行运行,再逐步切流。
M100和M300的区别在于设计取向。M100面向大规模推理,重点是MOE推理效率和单位成本。M300面向超大规模训练和推理,重点是单芯片承载能力和集群扩展效率。两者架构同源,可以共享软件栈和超节点基础设施,为推理专用和训推一体两类需求提供了不同路径。选型时,先画出自己的负载特征,再结合上市节奏和实测数据做决策,同时提前规划迁移验证和集群运维。