推理服务类型

一见平台提供两类推理服务：

平台支持将模型部署为自定义服务，作为租户的专属服务，供技能评测和API调用，支持服务进行详情查看和版本更新等操作。

选择选择“模型>推理服务>自定义服务”，进入「自定义服务」页面。

完整部署流程

1准备模型 → 创建推理服务 → 部署服务 → 服务运行 → 调用服务
2    ↓           ↓           ↓         ↓         ↓
3模型仓库      填写信息      等待部署   监控状态   技能/API

创建自定义服务

1. 点击【创建推理服务】，金服创建推理服务弹窗。
2. 填写服务名称、选择需要部署的模型，支持选择“场景模型”中的模型或“模型仓库”中的模型。

3. 创建后，可查看服务状态。只有“运行中”的模型服务，该模型才能正常使用。

服务状态说明

查看推理服务详情

在「自定义服务」列表中，点击服务名称或【查看】按钮，进入「推理服务详情」页面。

服务监控展示推理服务的运行状态和性能指标：

操作记录展示服务的所有操作历史：

卸载服务

适用场景：

• 暂时不需要使用该模型服务
• 释放计算资源
• 降低运营成本

操作步骤：

1. 在「自定义服务」列表中，找到状态为「运行中」的服务
2. 点击操作栏的【卸载】按钮
3. 在弹窗中确认卸载信息
4. 点击【确定】，开始卸载

注意事项：

• 卸载后，技能编排中调用该模型的功能将无法使用
• 卸载后，API调用将返回错误
• 卸载不会删除服务，可以随时重新部署
• 如有技能正在使用该模型，请先修改技能编排

删除服务

适用场景：

• 不再需要该模型服务
• 清理无用的服务

操作步骤：

1. 在「自定义服务」列表中，找到需要删除的服务
2. 点击操作栏的【删除】按钮
3. 在弹窗中输入服务名称进行确认
4. 点击【确定】，删除服务

注意事项：

• 删除操作不可恢复，请谨慎操作
• “运行中”的服务需先卸载，才能删除
• 如有技能正在使用该模型，请先修改技能编排

常见问题

Q1：服务部署失败怎么办？

可能原因：

1. 模型文件损坏或格式不正确
2. 计算资源不足
3. 网络问题
4. 模型版本不兼容

解决方案：

1. 查看「推理服务详情」中的错误日志
2. 检查模型文件是否完整
3. 检查模型格式是否符合要求
4. 稍后重试部署
5. 联系技术支持

Q2：服务状态一直是「部署中」怎么办？

可能原因：

1. 模型较大，部署时间较长
2. 系统资源紧张，排队等待
3. 部署过程卡住

解决方案：

1. 耐心等待（大型模型可能需要10-15分钟）
2. 刷新页面查看最新状态
3. 如超过30分钟仍未完成，联系技术支持

Q3：卸载服务后，之前创建的技能还能用吗？

回答：不能。卸载服务后：

• 技能编排中调用该模型的节点将无法执行
• 技能运行会报错："模型服务不可用"
• 需要重新部署服务，或修改技能编排使用其他模型