简介:本文面向开发者、运维人员和技术负责人,讲解优化后的AI模型如何整理成模型包、通过模型中心发布到开放托管仓库,并配套文档、权限分离与校验流程。读者可掌握版本规范、manifest编写、sha256校验、三层接入验证和回滚方法,减少接入排查时间。
读完本文,你可以把一个已优化的模型整理成可下载、可校验、可接入的模型包,并让没有参与开发的外部开发者仅凭文档完成首次调用。
完成标准如下:
不适用范围如下:
| 项目 | 类别 | 说明 |
|---|---|---|
| 基线模型与优化后模型 | 必需 | 两者都要保存,便于对比与回溯 |
| 固定评测集及其哈希值 | 必需 | 评测集变化后,对比结果失去意义 |
| 版本规范与变更记录模板 | 必需 | 统一版本号与CHANGELOG格式 |
| 许可证文件 | 必需 | 与manifest中的license字段保持一致 |
| 发布、审核、下载、删除权限 | 必需 | 四类权限分配给不同账号 |
| 灰度发布通道 | 可选 | 先向小范围用户开放,再全量发布 |
| 自动化发布流水线 | 可选 | 减少手工操作带来的遗漏 |
| 性能监控面板 | 可选 | 持续观察下载成功率和运行指标 |
每个版本使用独立目录,目录结构如下:
text-classifier-int8/├── index.json└── 1.2.0/├── model.onnx├── config.json├── vocab.txt├── manifest.yaml├── README.md├── LICENSE├── CHANGELOG.md├── SHA256SUMS├── eval/│ ├── env.txt│ ├── baseline.json│ ├── optimized.json│ └── opt_config.yaml└── examples/└── quickstart.py
版本号采用“主版本.次版本.修订号”格式,规则如下:
只要权重文件有变化,版本号至少要升到次版本。这样接入方才能判断二进制文件是否已经更新。
manifest.yaml 是接入方理解模型的入口。示例如下,其中的名称和数值仅作演示:
name: text-classifier-int8version: 1.2.0base_version: 1.1.0task: text-classificationinputs:- name: input_idsdtype: int64shape: [1, -1]outputs:- name: logitsdtype: float32shape: [1, 3]optimization:methods: [int8-quantization]target_runtime: onnxruntime>=1.16metrics:accuracy_drop_max: 0.5p95_latency_ms_max: 40dependencies:python: ">=3.9"license: Apache-2.0files:- path: model.onnxsha256: <64位十六进制值>
各字段的校验规则如下:
| 字段 | 类型 | 必填 | 校验规则 | 缺失或错误时的后果 |
|---|---|---|---|---|
| name | 字符串 | 是 | 仅含小写字母、数字和连字符 | 仓库无法建立索引 |
| version | 字符串 | 是 | 符合X.Y.Z格式,且与目录名一致 | 版本冲突,可能覆盖旧包 |
| base_version | 字符串 | 是 | 对应版本在仓库中存在 | 无法追溯优化来源 |
| inputs / outputs | 列表 | 是 | 名称、dtype、shape与模型实际一致 | 接入方调用时报错 |
| optimization.methods | 列表 | 是 | 只能填写已记录的方法 | 精度问题无法归因 |
| metrics.accuracy_drop_max | 数值 | 是 | 与eval/optimized.json中的结果一致 | 接入方对精度的预期有误 |
| dependencies | 对象 | 是 | 写明语言与推理框架的最低版本 | 运行环境出现依赖冲突 |
| license | 字符串 | 是 | 使用SPDX标识符 | 合规审查无法通过 |
| files | 列表 | 是 | 每个文件都有sha256值 | 无法验证文件完整性 |
按以下顺序执行,每一步的输入和输出都要保存:
pip freeze > eval/env.txt。