简介:本文面向需要把矩阵乘内核离线调优纳入训练、推理或高性能计算流水线的团队,给出环境核对、依赖清单、候选配置导入、批量基准执行、结果裁决、灰度发布与回退的操作步骤和验收指标。读者可据此把单次手工压测改造为可重复、可审计、可回滚的批量调优流程,并明确每一步需要替换的占位参数。
本文面向要把矩阵乘内核离线调优纳入训练、推理或高性能计算流水线的团队。调优结果以版本化资产的形式保存,服务启动时加载,线上请求路径不做实时搜索。
适用条件如下。输入形状在一段时间内保持稳定,例如固定尺寸的投影层或规则分块的矩阵乘。团队允许在发布前占用一段压测窗口。存在一个独占或半独占的GPU压测池,不与训练任务争抢资源。
不适用的情况包括:形状随请求动态变化、业务频繁改动算子结构、可用GPU不足以覆盖候选空间。这些场景应把离线调优当作补充手段,并与在线选择机制配合使用。
部署完成后,需要同时满足四个条件:调优任务无人值守完成;每条结果包含配置标识、输入形状、精度模式、耗时统计、误差和环境指纹;服务能按灰度比例加载结果;加载失败时回退到默认内核选择逻辑。
压测池、预发环境和生产环境应尽量保持同一套驱动、运行时、库版本和容器镜像。无法一致时,必须把差异写入结果元数据。具体版本号由团队在环境基线文件中固定,本文不给出固定数字,以免与你的硬件和库的官方发布说明不一致。
| 组件 | 要求 | 核对方式 | |
|---|---|---|---|
| GPU驱动 | 与压测池、生产池一致 | nvidia-smi 输出的 Driver Version |
|
| CUDA运行时 | 与所用线性代数库的官方兼容矩阵匹配 | nvcc --version |
|
| 线性代数库 | 版本固定,记录动态库路径 | `ldconfig -p \ | grep <库名>` |
| 编译工具链 | 记录编译器版本与编译选项 | gcc --version |
|
| Python运行时 | 团队统一小版本 | python3 --version |
|
| 容器基础镜像 | 使用固定 tag,禁止使用 latest | docker image inspect <镜像名> |
执行账号使用专用的非 root 账号,只授予访问指定GPU设备和写入工作目录的权限。账号、密钥和真实业务连接串不写入代码或配置文件,通过环境变量或密钥服务注入。
环境快照命令如下,输出应随结果一并归档:
nvidia-smi --query-gpu=name,driver_version,temperature.gpu,clocks.sm,power.draw --format=csv
调优入口读取一份 YAML 配置。下面的占位符需要替换为团队实际值。
job:name: <作业名称>queue: <调度队列名>timeout_sec: <单个作业单元超时秒数>max_retries: <失败重试次数>input:shape_file: <形状清单路径>dedup_keys: [m, n, k, dtype, layout]min_freq_ratio: <低于该占比的形状不调优>search:space_file: <候选空间文件路径>gpu_arch_filter: [<硬件类别>]max_concurrent_per_gpu: 1max_candidates_per_unit: <每个作业单元的候选数>benchmark:warmup_iters: <预热轮次>min_iters: <最小计时迭代次数>timing_method: <团队统一的计时方式>include_sync: trueinclude_alloc: falsemax_memory_mb: <单作业显存上限>correctness:abs_tol: <绝对误差容差>rel_tol: <相对误差容差>accum_dtype: <累加精度>repeat:confirm_runs: 2interval_min: <两次复测的最小间隔分钟数>decision:primary_metric: median_latency_mstail_percentile: 99max_tail_regress_ratio: <尾延迟允许劣化比例>min_gain_ratio: <最小中位收益比例>release:asset_version: <资产版本号>valid_days: <资产有效天数>canary_ratio: <灰度比例>rollback_metric_threshold: <回退触发阈值>
几个字段需要特别注意。include_sync 与 include_alloc 决定计时范围,不同口径的结果不能直接比较,团队内部必须统一。abs_tol 与 rel_tol 应高于业务可接受的误差,并考虑低精度累加带来的偏差。max_concurrent_per_gpu 保持为 1,防止作业之间的计时互相污染。min_gain_ratio 应高于复测的波动幅度,否则所谓收益可能只是噪声。
先设置可见的GPU和工作目录,并创建固定的子目录结构:
export CUDA_VISIBLE_DEVICES=<GPU编号>export TUNE_HOME=<工作目录>mkdir -p "$TUNE_HOME"/{input,candidates,logs,results}
确认该GPU上没有其他进程占用:
nvidia-smi --query-compute-apps=pid,process_name --format=csv
查看性能状态和温度,确认设备没有处于降频或过热状态:
nvidia-smi -q -d PERFORMANCE,TEMPERATURE
如果集群允许,可以锁定核心时钟以减少频率漂移。该操作通常需要管理员权限,且并非所有GPU都支持,执行前需要先确认:
sudo nvidia-smi -lgc <最小MHz>,<最大MHz>
最后检查日志和指标链路是否可达,使用团队约定的健康检查接口即可,例如 curl -fsS <指标服务地址>/health。初始化未通过时,不进入后续步骤。
形状清单为 CSV 文件,表头如下。下面的示例数值仅用于说明格式:
m,n,k,dtype,layout,freq,source_layer4096,4096,1024,fp16,row_major,18342,attention_proj
清单从模型导出、性能剖析或人工表格中获得,然后执行去重与过滤:
python3 <仓库路径>/tools/normalize_shapes.py \--in "$TUNE_HOME/input/raw_shapes.csv" \--out "$TUNE_HOME/input/shapes.csv" \--key m,n,k,dtype,layout \--min-freq-ratio <阈值>
脚本需要把相同键的频次合并,并保留来源层字段,方便后续判断收益是否值得投入。只优化高频且形状稳定的算子,通常比全量压测更划算。
候选空间文件描述可选配置。每一项的具体字段取决于所用线性代数库,下面只给出结构示意:
{"config_id": "<唯一标识>","tile": [<参数1>, <参数2>, <参数3>],"layout_mode": "<布局模式>","pipeline_stages": <流水级数>,"enabled_arch": ["<硬件类别>"]}
生成计划的命令如下。每个作业单元对应一个形状和一组候选,单元大小由配置中的 max_candidates_per_unit 控制:
python3 <仓库路径>/tune_run.py plan \--shapes "$TUNE_HOME/input/shapes.csv" \--space "$TUNE_HOME/candidates/space.json" \--config <配置文件路径> \--out "$TUNE_HOME/plan.json"
计划生成后先用少量形状试跑。这一步能提前暴露计时口径、权限、显存不足和并发冲突等问题,比直接跑全量清单更省GPU小时。
将计划提交到调度器,提交命令按团队平台替换:
<调度器提交命令> --plan "$TUNE_HOME/plan.json" --queue <队列名>
每个作业单元先执行预热,再采集多轮计时,剔除冷启动、时钟异常、同步错误和数值超差的样本。所有原始记录落盘,每条记录至少包含配置标识、形状键、运行序号、中位耗时、尾延迟、最大绝对误差、状态码、设备信息和环境指纹。
常见失败及处置如下:
| 现象 | 日志关键字 | 处置 |
|---|---|---|
| 同卡存在其他进程 | 计时方差异常大 | 停止占用进程,清空该卡后重跑 |
| 显存不足 | out of memory | 降低显存上限或缩小候选的分块,单独归档该形状 |
| 作业挂起 | timeout | 检查节点状态,超过重试次数后标记失败 |
关键配置需要按 confirm_runs 复测,且两次间隔不少于 interval_min,以覆盖设备状态的变化。只跑一次就选出的配置,很容易是偶发高分。
裁决按以下顺序执行,前一条不通过则不再判断后续条件:
abs_tol 或 rel_tol,直接拒绝,即使速度更快。min_gain_ratio,或收益区间下界不为正,不入库。max_tail_regress_ratio,标记为风险配置,默认不启用。资产文件结构示例如下:
{"asset_version": "<版本号>","shape_key": "<m,n,k,dtype,layout>","config_id": "<配置标识>","median_ms": "<实测值>","p99_ms": "<实测值>","max_abs_err": "<实测值>","env_fingerprint": {"gpu_name": "<GPU型号>","driver_version": "<驱动版本>","cuda_version": "<CUDA版本>","lib_version": "<库版本>","compiler_flags_hash": "<编译选项哈希>"},"valid_until": "<到期日期>"}
资产中的环境指纹是后续加载时的校验依据。驱动、固件、运行时或库版本任一变化,都应拒绝加载旧资产,并触发基线重跑。
资产先发布到预发环境,检查服务启动时的加载日志、内核选择命中率、接口时延分布和错误率。确认无异常后,按实例批次逐步灰度,灰度比例由 canary_ratio 控制。
发布时保留上一版本的资产和默认路径。回退通过切换资产指针完成,不需要重新编译服务:
<发布工具> set-active --version <旧版本号>
回退操作的耗时需要在预演中实际测量并记录。正式发布前至少演练一次回退,确认流程可用。
下表列出验收项。阈值由团队根据自身业务基线设定,本文只给出判断方法。
| 指标 | 定义 | 采集方式 | 判定方法 |
|---|---|---|---|
| 调优覆盖率 | 已完成形状数除以清单形状数 | 作业结果汇总 | 覆盖高频形状后方可进入灰度 |
| 线上命中率 | 服务命中调优资产的请求占比 | 服务侧内核选择日志 | 与离线预期对比,偏差大时检查清单 |
| 中位提升 | 相对默认路径的中位耗时变化 | 线上与基线对比 | 复测结果一致,且区间下界为正 |
| 尾延迟变化 | P99 相对基线的变化 | 接口时延分布 | 不得超过团队允许的劣化比例 |
| 数值错误事件 | 线上误差告警次数 | 告警系统 | 出现即回退,并定位来源 |
| 回退耗时 | 从发现问题到恢复默认路径的时长 | 发布工具日志 | 在预演中实测,并满足团队时限 |
| 现象 | 根因 | 处置 |
|---|---|---|
| 同一配置多次结果差异大 | 共享GPU、后台任务或降频 | 独占GPU,关闭后台任务,检查温度和功耗 |
| 线上收益明显低于离线 | 真实形状与清单不一致,或精度路径不同 | 对比线上形状日志,修正清单后重跑 |
| 资产加载失败 | 环境指纹不匹配或序列化格式错误 | 核对版本信息,重跑基线或回退默认路径 |
| 数值告警 | 低精度累加误差超过容差 | 立即回退,缩小候选范围并收紧容差 |
| GPU小时超出预算 | 候选空间过大,复测次数过多 | 启用早停,剪枝低价值形状,归档收益低于阈值的作业 |
上线后,调优资产需要持续监控。建议至少采集以下指标,并按业务节奏设置告警阈值:
tune_job_success_ratio:作业成功率,按队列和日期汇总。tune_queue_wait_seconds:平均排队时长,用于判断压测窗口是否足够。tune_asset_hit_ratio:资产命中率,低于预期时检查清单与线上形状是否一致。tune_fallback_count:回退次数,突增时优先排查资产与环境的匹配情况。tune_gpu_hours:GPU小时消耗,用于控制成本。告警阈值需要结合历史数据校准,不应直接套用他人的数值。
满足以上五项后,再扩大灰度范围。调优的价值来自环境一致、口径清晰、误差可控和结果可回滚,而不是单次跑分的高低。