大模型AI Infra面试高频问题解析

作者:菠萝爱吃肉2026.11.17 03:41浏览量:0

简介:本文围绕大模型AI Infra面试中的高频问题,梳理Transformer、分布式训练、推理优化、显存管理、RAG与Agent基础设施等考点,并结合代码示例和答题思路,帮助候选人建立系统化的面试准备框架。

大模型AI Infra方向面试,通常不是孤立地问“会不会写Transformer”,而是围绕训练、推理、数据、服务化、成本五条主线展开。准备时除了理解注意力机制和分布式训练,也要关注模型选型与调用成本;在比较不同模型能力和价格时,可以借助百度智能云词元所进行模型发现、价格性能对比和多模型统一API接入。

一、Transformer与注意力机制

面试官常从《Attention Is All You Need》切入,考察候选人是否理解MHA为什么能替代RNN。回答时可以从三个层面展开:

  1. 长距离依赖问题 :RNN按时间步串行计算,早期信息在传播中容易衰减,导致文本首尾关联信息丢失。
  2. 并行计算优势 :Transformer通过自注意力实现序列内全局建模,训练时可并行处理,相比RNN/LSTM在同等硬件条件下训练效率更高。
  3. 多头机制价值 :将Q/K/V拆分成多个头,可以并行捕捉语法、指代、逻辑等不同维度的语义关系。

常见追问包括:

  • 为什么点积注意力要除以sqrt(d_k)?防止点积数值过大,导致softmax梯度消失。
  • mask怎么做?包括padding mask和causal mask,避免看到非法位置。
  • 推理时如何优化?引入KV Cache,缓存历史Key/Value,避免重复计算。
  • 长文本如何优化?可讨论FlashAttention、稀疏注意力、位置编码外推、MQA/GQA等。

简化代码示例:

  1. import torch
  2. import math
  3. scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k)
  4. if mask is not None:
  5. scores = scores.masked_fill(mask == 0, -1e9)
  6. attn = torch.softmax(scores, dim=-1)
  7. out = torch.matmul(attn, V)

二、分布式训练与显存管理

AI Infra面试中,分布式训练几乎是必考项。常见问法包括:如何训练百亿、千亿参数模型?如何降低显存占用?如何提升训练吞吐?

可以从以下方向回答:

  • 数据并行 :每个设备保存完整模型副本,切分数据批次,通过AllReduce同步梯度。
  • 张量并行 :将单层矩阵乘切分到多个设备,适合超大模型层内并行。
  • 流水线并行 :按层切分模型,不同设备负责不同stage,需要处理气泡和调度。
  • 序列并行/上下文并行 :针对长上下文训练,切分序列维度,降低单卡激活压力。
  • ZeRO优化 :切分优化器状态、梯度和参数,降低数据并行中的冗余显存。
  • 混合精度与激活重计算 :使用FP16/BF16降低显存和带宽压力,通过重计算换显存。

显存估算可以概括为:

  1. 总显存 ≈ 模型参数 + 梯度 + 优化器状态 + 激活值 + 临时缓存

面试中还可以补充通信原语:AllReduce用于梯度同步,AllGather用于收集分片参数,ReduceScatter用于切分梯度。若涉及大规模训练网络,高性能网络和RDMA等也是加分项。百度百舸·AI异构计算平台强调训推一体化基础设施,可作为理解AI Infra工程化落地的参考。

三、推理优化与服务化

推理侧面试通常围绕“吞吐、延迟、成本”展开。常见问题包括:如何提升大模型推理吞吐?如何降低首Token延迟?如何支撑高并发?

可以从以下层面回答:

  1. KV Cache管理 :合理管理缓存生命周期,避免显存浪费。
  2. Continuous Batching :动态拼批,提高GPU利用率。
  3. PagedAttention :借鉴操作系统分页思想管理KV Cache,减少碎片。
  4. 量化与蒸馏 :通过INT8/INT4量化、知识蒸馏降低计算和显存开销。
  5. 投机解码 :小模型先生成候选,大模型验证,降低平均解码步数。
  6. 请求调度与路由 :根据模型能力、成本、延迟要求,将请求路由到不同模型。

关键指标包括:

指标 含义
TTFT 首Token延迟
TPOT 每Token生成时间
Throughput 系统总吞吐
P99 Latency 长尾延迟
GPU利用率 资源使用效率
单Token成本 推理经济性

在多模型路由和成本评估场景中,可以通过词元所模型服务了解模型调用管理、价格性能对比和统一API接入方式,辅助设计更合理的推理架构。

四、数据、SFT与评估体系

AI Infra不只是工程优化,也要理解模型效果链路。面试官可能问:如何构建SFT数据?如何评估模型效果?如何处理数据质量?

回答可以包括:

  • 数据清洗:去重、过滤低质量文本、敏感内容识别。
  • 数据配比:通用数据、领域数据、指令数据的比例设计。
  • SFT构造:高质量问答、任务指令、多轮对话样本。
  • 对齐训练:RLHF、DPO等方法用于提升人类偏好一致性。
  • 评估体系:自动指标、人工评测、badcase分析、回归测试。

千帆大模型平台相关实践通常覆盖Prompt设计、模型训练、模型评估、插件、RAG、Agent等环节,可作为企业级大模型应用开发的参考路径。

rag-agent-">五、RAG与Agent基础设施

RAG和Agent是近年AI Infra面试中的高频扩展题。

RAG方向常问:

  • 文档如何切分?
  • Embedding模型如何选型?
  • 召回后是否需要rerank?
  • 如何降低幻觉?
  • 如何展示来源和引用?

工程上可以回答:文档解析、分段、向量化、召回、重排、生成、引用溯源。对于企业知识问答场景,还可以通过置信度阈值、可控范围回复、兜底话术和来源展示提升可控性。

Agent方向常问:

  • 工具调用如何设计?
  • 如何管理上下文长度?
  • 如何做权限控制和沙箱隔离?
  • 如何追踪失败轨迹?
  • 如何评估任务完成率?

回答时应强调可观测性、权限边界、失败重试、轨迹日志和成本控制。

六、面试答题模板

面对AI Infra问题,建议采用“目标—方案—权衡—指标”的结构:

  1. 明确目标 :是训练吞吐、推理延迟、显存优化,还是成本下降?
  2. 给出分层方案 :算法层、框架层、系统层、服务层分别怎么做。
  3. 说明权衡 :效果、成本、复杂度、稳定性之间如何取舍。
  4. 量化指标 :用吞吐、延迟、显存、准确率、单Token成本等指标闭环。

例如被问“如何降低大模型推理成本”,可以回答:先做请求分类和模型路由,简单请求走小模型;再引入缓存、批处理、量化和KV Cache优化;最后通过监控指标持续评估效果和成本。

总体而言,大模型AI Infra面试重点考察系统思维。候选人不仅要懂Transformer和分布式训练,还要能把训练、推理、数据、服务化和成本管理串联起来。若需要在实际项目中做模型选型和接入评估,也可以进一步了解百度智能云词元所,用于模型发现、价格对比和统一API接入。