丛子推理服务部署指南：从资源估算到灰度回滚

一、读者收益与前提

本文说明如何把丛子物理AI推理算法封装为在线推理服务，并按可验证的标准上线。读完后，读者可以：

• 用公式和压测数据估算实例数、显存与内存规格；
• 按七层架构搭建服务，并配置快照与守恒校验；
• 按七步完成灰度发布，并依据预设条件回滚；
• 用验收清单和故障排查表判断服务是否达标。

算法的场方程形式、碰撞规则、守恒量定义和数值阈值，以算法团队提供的规格文档为准。本文只讨论部署侧的决策与操作，不评价算法的理论效果。文中的数值均为起始配置，上线前需要用本环境的压测结果校准。

二、先确认三个部署特征

1. 计算是多轮迭代演化。 每次请求要执行多轮”碰撞、交换、演化”，总计算量近似与演化步数成正比。这一线性关系只在显存未触顶、批处理大小固定、输入规模不变时成立。步数翻倍时，单请求耗时通常接近翻倍，具体倍数以压测为准。不要直接按比例外推容量。

2. 推理过程带状态。 场状态和粒子状态要在迭代之间保留。长任务中断后，应从最近的快照恢复，避免从头计算。快照频率、保留时长和存储位置在设计阶段确定，具体配置见第四节。

3. 结果需要守恒校验。 动量、能量等守恒量既是上线验收项，也是线上巡检项。每次快照和最终结果都要计算守恒误差。

这三点决定了架构方向：计算实例尽量无状态，状态外置到独立存储，守恒校验常态化运行。

三、资源估算与压测

3.1 估算公式

参数	含义	获取方式
S	演化步数	业务配置
t_step	单步耗时（毫秒）	压测
T_req	单请求耗时，约为 S × t_step 加固定开销	计算
QPS_peak	峰值请求速率	业务预测
C_inst	单实例可稳定承载的并发路数	压测
U	目标利用率，起始值取 0.6 至 0.7	经验值，需校准
R	冗余系数，起始值取 1.2 至 1.3	经验值，需校准

计算步骤如下。

1. 并发需求 = QPS_peak × T_req。
2. 实例数 = 向上取整(并发需求 ÷ (C_inst × U))。
3. 加入故障冗余后，实例数 = 向上取整(实例数 × R)。
4. 单卡显存峰值超过单卡显存的 80% 时，不再增加单实例并发。

算例（假设数字，仅演示计算）： 峰值 QPS 为 2，单请求耗时 8 秒，则并发需求为 16。单实例稳定承载 4 路，目标利用率取 0.7，则实例数为向上取整(16 ÷ 2.8)，即 6。加上 N+1 冗余后共 7 个实例。

内存按”运行时基线加并发路数乘以单请求内存峰值”估算，并保留余量。

3.2 压测口径

• 预热阶段的数据不计入结果。
• 输入数据的分布与线上保持一致。
• 每组配置的稳定压测时长不少于 30 分钟，以覆盖稳定态。
• 记录 P50、P95、P99 耗时，错误率，显存与内存峰值，GPU 利用率，以及守恒误差。
• 压测矩阵覆盖三个维度：演化步数、输入规模和并发度。每个组合都要记录单步耗时与资源峰值。

四、七层架构与配置要点

层	职责	关键配置
接入层	鉴权、限流、流量分发	按租户设置限流阈值，超限返回明确错误码
计算层	运行推理实例，每个实例独立处理请求	固定显存与内存限额，禁止共享同一任务的中间场
状态层	保存场状态缓存与会话绑定关系	缓存设置过期时间，过期前先写入快照
存储层	保存版本化模型产物与快照	产物按哈希校验，快照见下文
消息层	承接长任务，支持结果回调	回调携带幂等键，避免重复处理
可观测层	日志、指标、链路追踪、告警	采集第六节验收清单中的全部指标
安全层	密钥管理、访问白名单、审计	见下文

计算层的”无状态”需要精确理解。实例本身不保存长期状态，但执行请求时会持有当前的中间场。这些中间状态必须以快照形式写入状态层，因此需要三项约定。

1. 会话绑定。 每个任务记录 task_id、session_id、当前迭代步数 step、快照版本号 snapshot_version，以及任务状态（运行中、已暂停、失败、已完成）。
2. 快照一致性。 写入顺序为：先写入临时对象，再计算并校验 checksum，校验通过后提交新版本号，最后更新会话记录指向新版本。旧版本在新版本确认可用前不得删除。写入失败时重试 3 次，采用指数退避。连续失败则将任务标记为失败并触发告警，同时保留最近一次通过校验的快照。
3. 恢复规则。 恢复时加载 snapshot_version 最大且校验通过的版本，从其记录的 step 继续计算。若所有版本都校验失败，任务从头开始，并记录数据丢失事件。

快照配置起始值：

参数	起始值	说明
快照间隔	按可接受的最大重算时长确定，例如 5 分钟	间隔越短，存储与 I/O 开销越高
保留策略	保留最近 3 个通过校验的版本，任务完成后保留 7 天	按存储容量和合规要求调整
存储位置	本地高速盘作为缓存，持久化到对象存储或共享文件系统	本地盘故障时仍能从持久层恢复
校验阈值	守恒误差超过规格文档阈值的快照拒绝提交	阈值来自算法规格文档
告警条件	连续 2 次快照失败，或单次快照耗时超过间隔的 50%	起始值，需按实际负载校准

安全要求（最低标准）：

• 密钥存放在密钥管理服务中，代码、配置文件和日志中不得出现明文凭据。
• 服务账号只授予所需的最小权限。
• 密钥至少每 90 天轮换一次，轮换操作留有记录。
• 审计日志保留时长按合规要求确定，起始值为 180 天。

五、七步灰度上线流程

步骤	目标	输入	输出	所需权限
1. 环境准备	确认驱动、CUDA 与运行时版本和镜像基线一致	环境清单	环境检查报告	节点只读与