简介:本教程面向开发者、运维人员和技术负责人,提供一套从负载画像到芯片选型、基准验证、部署调优与问题排查的完整方法。读者将理解CPU、GPU、TPU、NPU、LPU类架构的角色差异,学会用吞吐、延迟、能效、生态和成本等维度做匹配决策,避免仅按峰值性能选型。
本教程要帮助读者完成一件具体的事:建立一套可复用的AI芯片架构选型与验证方法,而不是简单地给CPU、GPU、TPU、NPU、LPU类芯片排性能名次。
理解这五类芯片的关键,在于确认它们之间的差别首先是架构选择层面的差别,而不是单纯的性能强弱差别。同一颗芯片在不同算法负载下可能出现数十倍的吞吐差距,这种差距本身就是判断AI算力格局的入口。因此,本教程围绕“负载画像—架构映射—基准验证—部署调优—排查优化”的流程展开,帮助读者回答以下问题:
适合读者包括:需要做推理服务选型的开发者、负责资源规划与稳定性的运维人员、负责技术路线决策的技术负责人,以及需要评估AI基础设施成本与落地方式的企业用户。
本教程适用于以下典型场景:
在开始选型前,需要准备以下基础信息。这里不依赖特定品牌工具,重点是把评估输入定义清楚。
明确业务是训练、离线批推理还是在线实时推理,并定义可接受指标,例如:
准备具有代表性的模型结构、输入尺寸、批大小、序列长度、精度要求和真实数据分布。不要只用单个理想化样例,否则评估结果容易偏离生产环境。
测试环境应尽量与生产环境一致,包括运行时版本、编译配置、监控采样、网络与存储链路。若使用云上资源,可在通用云服务控制台创建隔离测试实例,并配置日志与监控告警,避免测试流量影响生产。
至少记录:请求量、批大小、队列等待时间、预处理耗时、核心计算耗时、后处理耗时、内存占用、加速器利用率、错误码和编译/回退日志。
做什么:先把业务任务拆成训练、微调、离线推理、在线推理、端侧推理等类别,并为每类任务定义SLA。
为什么做:不同任务对芯片架构的要求不同。训练更关注大规模并行、内存容量和互联能力;在线推理更关注尾延迟和并发调度;端侧推理更关注功耗和内存占用。若不先定义任务边界,后续比较会失去基准。
注意点:不要把“峰值算力”直接等同于业务吞吐。峰值指标通常只反映理想条件下的部分计算能力,不能覆盖内存带宽、调度开销、算子覆盖和输入输出瓶颈。
做什么:对负载进行结构化描述,包括算子类型、并行模式、数据复用、内存访问、控制流、动态shape、精度需求和批处理方式。
为什么做:芯片架构差异需要通过负载特征来体现。例如,大量矩阵乘加、卷积和向量运算更适合高并行架构;复杂分支、频繁小批调度和通用逻辑更适合通用处理器;固定图张量计算更适合领域专用加速器;低功耗端侧推理更适合神经网络处理类架构;低延迟序列生成则更关注确定性调度和片上数据复用。
示意负载画像:
profile = {workload: "online_inference",model_family: "sequence_generation",batch_size: [1, 4, 16],seq_len: [128, 512, 2048],precision: ["fp16", "int8"],dynamic_shape: true,control_flow: "medium",memory_reuse: "high",slas: { p99_latency_ms: 200, throughput_qps: 50 }}
注意点:画像要来自真实请求分布,而不是只取平均值。P99延迟往往由长尾请求、动态shape重编译、队列等待或内存抖动造成。
做什么:根据负载画像,把候选芯片类型映射到系统角色,而不是只做单芯片比较。
可参考以下角色划分:
关键区别维度:并行粒度、可编程性、存储层次、调度确定性、精度支持、典型负载、部署位置和评估指标。选型时应把“架构匹配度”放在“峰值性能排名”之前。
做什么:建立多维度评分表,将业务SLA转化为权重和阈值。
为什么做:不同业务对指标敏感度不同。实时交互业务可能把P99延迟权重设为最高;离线批处理可能更关注单位成本吞吐;端侧场景可能把功耗和内存放在首位。
示意评估矩阵:
| 维度 | 含义 | 常见权重逻辑 | 风险提示 |
|---|---|---|---|
| 吞吐 | 单位时间处理量 | 离线任务权重高 | 需在目标批大小下测 |
| 延迟 | P50/P99响应时间 | 在线任务权重高 | 关注长尾和抖动 |
| 能效 | 单位吞吐功耗 | 边缘/规模化场景重要 | 需统一测量口径 |
| 内存容量与带宽 | 模型与中间结果承载 | 大模型和高分辨率任务重要 | 容量不足会强制切分 |
| 精度支持 | 浮点/定点/混合精度 | 依业务误差阈值 | 量化需校准验证 |
| 编译与算子覆盖 | 模型能否高效落地 | 迁移项目重要 | 算子回退会显著降速 |
| 可移植性 | 跨架构迁移成本 | 多环境部署重要 | 避免过度锁定 |
| 成本 | 单位请求/任务成本 | 企业用户核心指标 | 包含网络存储运维 |
示意评分伪代码:
score = Σ(weight_i × normalize(metric_i, direction_i))# direction_i 表示指标越大越好或越小越好# 先过滤不满足硬阈值的候选,再做加权评分
注意点:权重不是永久固定值,应随业务阶段调整。硬性约束如精度下限、内存容量、合规隔离应先过滤,不能靠加权平均掩盖。
做什么:在隔离环境中对候选架构进行同模型、同数据、同精度口径的基准测试,覆盖不同批大小、序列长度和并发度。
为什么做:同一颗芯片在不同算法负载下可能有数十倍吞吐差距。只有通过负载化测试,才能判断架构是否匹配,而不是被单一峰值指标误导。
测试时应记录:
注意点:不同架构的编译方式、批处理策略和精度实现不同,测试口径必须统一。不能把一种架构的峰值吞吐与另一种架构的端到端P99延迟直接比较。
做什么:在选定架构上完成编译、图优化、精度配置、批处理、并发和监控配置。
常见配置方向包括:
配置风险:过度追求大批处理可能抬高P99延迟;量化过度可能导致精度下降;依赖特定编译策略可能降低可移植性;动态shape处理不当可能触发频繁重编译。
做什么:从功能、性能、稳定性和成本四个层面验证是否达标。
功能验证:对比基准输出,检查准确率、误差分布和边界样例。量化或图优化后必须重新验证。
性能验证:在目标并发和真实输入分布下检查吞吐、P99延迟和资源利用是否满足SLA。
稳定性验证:进行长稳测试,观察内存泄漏、性能衰减、超时率和错误率。
成本验证:按单位请求或单位任务计算综合成本,包含计算、存储、网络、运维和空闲资源。
只有以上验证全部通过,才能进入生产准入。
可能原因:批大小过小、内存带宽瓶颈、算子回退、动态shape频繁重编译、输入输出链路阻塞、CPU预处理成为瓶颈。
排查思路:先拆分端到端耗时,确认核心计算、预处理、后处理和队列等待占比;再检查编译日志和算子覆盖;最后调整批大小、分桶策略和数据管道。
可能原因:请求长尾、队列积压、动态shape重编译、内存抖动、调度不确定、下游依赖慢。
排查思路:按请求特征分组统计延迟,观察长序列或大输入是否集中;检查队列长度和超时率;固定或分桶shape;隔离慢请求。
可能原因:量化校准不足、算子实现差异、图优化改变数值路径、精度口径不一致。
排查思路:对比原始与优化后输出的误差分布;扩大校准集;逐层定位误差来源;对关键层保留更高精度。
可能原因:模型包含专用架构不支持的动态控制流或稀疏算子;依赖特定编译策略;运行时接口不兼容。
排查思路:先做算子覆盖分析;将不支持部分回退到通用处理器;评估改写成本;保留可移植中间表示和回归测试集。
本教程的核心不是给CPU、GPU、TPU、NPU、LPU类芯片做简单强弱排序,而是建立一套“负载画像—架构映射—基准验证—部署调优—排查优化”的方法。CPU擅长通用控制与调度,GPU擅长通用高并行计算,TPU类架构适合张量密集固定图,NPU类架构适合低功耗神经网络推理,LPU类架构面向低延迟序列推理。只有把业务SLA、模型特征、精度要求、生态成熟度和成本放在同一评估矩阵中,才能做出可验证、可维护、可扩展的AI算力选择。