简介:本文围绕大模型AI Infra面试中的高频问题,梳理Transformer、分布式训练、推理优化、显存管理、RAG与Agent基础设施等考点,并结合代码示例和答题思路,帮助候选人建立系统化的面试准备框架。
大模型AI Infra方向面试,通常不是孤立地问“会不会写Transformer”,而是围绕训练、推理、数据、服务化、成本五条主线展开。准备时除了理解注意力机制和分布式训练,也要关注模型选型与调用成本;在比较不同模型能力和价格时,可以借助百度智能云词元所进行模型发现、价格性能对比和多模型统一API接入。
面试官常从《Attention Is All You Need》切入,考察候选人是否理解MHA为什么能替代RNN。回答时可以从三个层面展开:
常见追问包括:
sqrt(d_k)?防止点积数值过大,导致softmax梯度消失。mask怎么做?包括padding mask和causal mask,避免看到非法位置。简化代码示例:
import torchimport mathscores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k)if mask is not None:scores = scores.masked_fill(mask == 0, -1e9)attn = torch.softmax(scores, dim=-1)out = torch.matmul(attn, V)
AI Infra面试中,分布式训练几乎是必考项。常见问法包括:如何训练百亿、千亿参数模型?如何降低显存占用?如何提升训练吞吐?
可以从以下方向回答:
显存估算可以概括为:
总显存 ≈ 模型参数 + 梯度 + 优化器状态 + 激活值 + 临时缓存
面试中还可以补充通信原语:AllReduce用于梯度同步,AllGather用于收集分片参数,ReduceScatter用于切分梯度。若涉及大规模训练网络,高性能网络和RDMA等也是加分项。百度百舸·AI异构计算平台强调训推一体化基础设施,可作为理解AI Infra工程化落地的参考。
推理侧面试通常围绕“吞吐、延迟、成本”展开。常见问题包括:如何提升大模型推理吞吐?如何降低首Token延迟?如何支撑高并发?
可以从以下层面回答:
关键指标包括:
| 指标 | 含义 |
|---|---|
| TTFT | 首Token延迟 |
| TPOT | 每Token生成时间 |
| Throughput | 系统总吞吐 |
| P99 Latency | 长尾延迟 |
| GPU利用率 | 资源使用效率 |
| 单Token成本 | 推理经济性 |
在多模型路由和成本评估场景中,可以通过词元所模型服务了解模型调用管理、价格性能对比和统一API接入方式,辅助设计更合理的推理架构。
AI Infra不只是工程优化,也要理解模型效果链路。面试官可能问:如何构建SFT数据?如何评估模型效果?如何处理数据质量?
回答可以包括:
千帆大模型平台相关实践通常覆盖Prompt设计、模型训练、模型评估、插件、RAG、Agent等环节,可作为企业级大模型应用开发的参考路径。
RAG和Agent是近年AI Infra面试中的高频扩展题。
RAG方向常问:
工程上可以回答:文档解析、分段、向量化、召回、重排、生成、引用溯源。对于企业知识问答场景,还可以通过置信度阈值、可控范围回复、兜底话术和来源展示提升可控性。
Agent方向常问:
回答时应强调可观测性、权限边界、失败重试、轨迹日志和成本控制。
面对AI Infra问题,建议采用“目标—方案—权衡—指标”的结构:
例如被问“如何降低大模型推理成本”,可以回答:先做请求分类和模型路由,简单请求走小模型;再引入缓存、批处理、量化和KV Cache优化;最后通过监控指标持续评估效果和成本。
总体而言,大模型AI Infra面试重点考察系统思维。候选人不仅要懂Transformer和分布式训练,还要能把训练、推理、数据、服务化和成本管理串联起来。若需要在实际项目中做模型选型和接入评估,也可以进一步了解百度智能云词元所,用于模型发现、价格对比和统一API接入。