平台支持将模型发布为在线服务，同时在服务发布后对服务进行详情查看和版本更新等操作。

登录到千帆大模型操作台，在左侧功能列选择模型推理，进入服务管理主任务界面。

预置服务

您可在此处查询到目前所有的预置服务，可以选择开通付费或者终止付费，也可以跳转到相关API文档进行参考，日志投递可查看更多信息内容。

部分文心模型服务已由QPS切换为TPM，相关速率限制的具体概念解释可点击参考文档。

如您在切换速率限制服务后遇到问题，可参考常见问题或提交工单。

发布服务

若您需要发布专属服务，选择我的服务模块中的创建服务按钮，跳转至服务发布界面。

服务配置

当模型发布为在线服务后，该模型下不同的模型版本仅能在此在线服务URL下更新版本，且仅支持同种大模型算法进行更新服务，建议您在训练时，同一训练任务使用相同的基础大模型进行训练。

字段	内容	描述
服务名称	用户定义的服务名称	必填项，不超过20字，支持中英文
服务描述	用户定义的服务描述	非必填，最多支持300个字符
选择模型	模型名称	必选项，选择对应发布的模型，可以是运行成功的自训练模型或预置模型，并选定模型版本
API地址	用户定义的接口地址	必填项,仅支持英文，接口地址需要多于5个字符但不能超过20个字符。 同一个账户下的接口地址不支持重复。

资源配置

在资源配置中，首先需确认付费信息，在此基础上进行资源信息的完善。

付费信息

• 按算力单元计费：预付费形式，服务按照部署资源（私有资源池）使用时长收费，相关计费逻辑可查看计费详情，如您遇到算力单元售罄可提交工单排队申请。
• 按Tokens计费：后付费形式，服务按照部署服务实际调用量收费，公共资源池和私有资源池均支持的类型，相关计费逻辑和支持范围可查看计费详情。

注意：全量模型支持按部署时长付费，但是只有经过平台SFT后的模型(查看范围)在部署时，支持按服务调用进行付费。

资源信息

1. 当您选择按照“部署时长”进行预付费时：

字段	内容	描述
资源池	公共资源池、私有资源池	选择服务可托管的资源池，如服务托管在私有资源池，可设定在线服务部署的算力单元来保障QPS。
购买时长	时间单位：月	月数范围：1-12。
资源配置	选择配置AI加速卡或CPU	按照模型实际情况进行选择，部分模型服务默认配置。
副本数	设置副本数量	设置多副本可提高服务性能
总预估QPS	平台自动生成	服务运行中产生的并发，受服务和生效时间限制。

当前私有资源池按照租赁方式计费的算力单元单价如下：

• 按月度的租赁方式：RMB￥15,000 元/月 x 1副本 x 1算力单元。
• 折后价为：RMB￥7,500 元/月 x 1副本 x 1算力单元。

ERNIE 3.5暂不支持私有资源池租赁。
私有资源池资源租赁限时5折优惠，详细金额及示例可查看价格文档。

2.当您选择“服务调用”进行后付费时：

平台将按照部署服务的实际调用量进行付费，平台自动生成预估首Tokens时延（实际调用服务时延会随网络通信等因素影响，请以实际调用服务时延为准）和总预估QPS。

具体付费金额可查看价格文档

此计费方式仅限部署经过平台SFT后的模型(查看范围)。

更多信息

最后，您可以选择是否开启日志投递功能，开启功能后的服务日志可以通过百度日志服务（Baidu Log Service，简称BLS）进行统一纳管理，前提需要您开通BLS服务，可以创建或者选择已经创建的日志集，关于日志集的内容可查看以下相关参考：

创建日志集 编辑日志集

特别注意

1. 申请发布后，服务发布失败、账单异常等情况，请在百度智能云控制台内提交工单反馈。
2. 已购算力单元到期前的7/3/1天，系统会分别发送即将到期的短信至主账号或子账号，如您需继续使用可对此服务续费，可在购买信息处设置多个消息接收人。

列表查看

公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示：

服务详情

服务详情中可查看本次服务的基本信息和历史版本内容。

• 版本基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。

• 版本列表来源为更新服务。

更新服务

在线服务支持服务的版本更新，更新来源为模型的其他版本，历史版本将会在服务详情中进行展示。

允许您选择同类模型下的任意模型的任意版本。

服务上/下线

在线服务支持对已发布的服务指定版本或者已下线的服务进行上线，同时也可对已发布的服务进行下线操作。

1）对于暂停服务的模型服务版本，可以服务详情版本列表的“上线”按钮。无需其他操作，审核通过后即可恢复暂停服务前的版本服务。

2)运行中的多版本服务，点击“服务详情”，可以对指定版本进行单独上线，平滑版本更替，不会直接影响正在运行中的版本服务。

3）对于运行中的服务，已经确认暂时不需要，可以进行暂时下线工作，可以在服务列表的操作列直接操作，也可以到服务详情-版本列表中选择“下线”。

如遇上线失败等特殊情况，请提交工单反馈。

日志投递/解绑

如您在创建服务时，未开启日志投递功能，可以在列表页开启日志投递功能；如您在创建服务时，已经开启日志投递功能，需要进行变更或者关闭，也可在列表页进行日志解绑。相关操作可查看更多信息。

删除服务

如果您明确不再需要某项服务，可以点击操作列的“删除”按钮，如果服务仍在发布中的，需要先“下线”此服务，才能进行删除操作。

关于私有资源池发布，详情参考发布模型的资源配置列，价格可参考价格文档内容。