在线服务
平台支持将模型发布为在线服务,同时在服务发布后对服务进行详情查看和版本更新等操作。
登录到千帆大模型操作台,在左侧功能列选择模型推理,进入服务管理主任务界面。
预置服务
您可在此处查询到目前所有的预置服务,可以选择开通付费或者终止付费,也可以跳转到相关API文档进行参考,日志投递可查看更多信息内容。
部分文心模型服务已由QPS切换为TPM,相关速率限制的具体概念解释可点击参考文档。
发布服务
若您需要发布专属服务,选择我的服务模块中的创建服务按钮,跳转至服务发布界面。
服务配置
当模型发布为在线服务后,该模型下不同的模型版本仅能在此在线服务URL下更新版本,且仅支持同种大模型算法进行更新服务,建议您在训练时,同一训练任务使用相同的基础大模型进行训练。
字段 | 内容 | 描述 |
---|---|---|
服务名称 | 用户定义的服务名称 | 必填项,不超过20字,支持中英文 |
服务描述 | 用户定义的服务描述 | 非必填,最多支持300个字符 |
选择模型 | 模型名称 | 必选项,选择对应发布的模型,可以是运行成功的自训练模型或预置模型,并选定模型版本 |
API地址 | 用户定义的接口地址 | 必填项,仅支持英文,接口地址需要多于5个字符但不能超过20个字符。 同一个账户下的接口地址不支持重复。 |
资源配置
在资源配置中,首先需确认付费信息,在此基础上进行资源信息的完善。
付费信息
- 按算力单元计费:预付费形式,服务按照部署资源(私有资源池)使用时长收费,相关计费逻辑可查看计费详情,如您遇到算力单元售罄可提交工单排队申请。
- 按Tokens计费:后付费形式,服务按照部署服务实际调用量收费,公共资源池和私有资源池均支持的类型,相关计费逻辑和支持范围可查看计费详情。
注意:全量模型支持按部署时长付费,但是只有经过平台SFT后的模型(查看范围)在部署时,支持按服务调用进行付费。
资源信息
- 当您选择按照“部署时长”进行预付费时:
字段 | 内容 | 描述 |
---|---|---|
资源池 | 公共资源池、私有资源池 | 选择服务可托管的资源池,如服务托管在私有资源池,可设定在线服务部署的算力单元来保障QPS。 |
购买时长 | 时间单位:月 | 月数范围:1-12。 |
资源配置 | 选择配置AI加速卡或CPU | 按照模型实际情况进行选择,部分模型服务默认配置。 |
副本数 | 设置副本数量 | 设置多副本可提高服务性能 |
总预估QPS | 平台自动生成 | 服务运行中产生的并发,受服务和生效时间限制。 |
当前私有资源池按照租赁方式计费的算力单元单价如下:
- 按月度的租赁方式:RMB¥15,000 元/月 x 1副本 x 1算力单元。
- 折后价为:RMB¥7,500 元/月 x 1副本 x 1算力单元。
ERNIE 3.5暂不支持私有资源池租赁。
私有资源池资源租赁限时5折优惠,详细金额及示例可查看价格文档。
创建服务-计费单位选择算力单元时:
- 购买时长单位是月:支持自动续费
自动续费默认是关闭的,需要手动打开。打开后,需要选择续费周期,建议选择1个月。选择X个月的意思是每X个月续费1次,续费时长是X个月。 自动续费是在当前资源到期前的7、3、1天分别扣费,直到扣费成功为止。
2.当您选择“服务调用”进行后付费时:
平台将按照部署服务的实际调用量进行付费,平台自动生成预估首Tokens时延(实际调用服务时延会随网络通信等因素影响,请以实际调用服务时延为准)和总预估QPS。
具体付费金额可查看价格文档
此计费方式仅限部署经过平台SFT后的模型(查看范围)。
更多信息
最后,您可以选择是否开启日志投递功能,开启功能后的服务日志可以通过百度日志服务(Baidu Log Service,简称BLS)进行统一纳管理,前提需要您开通BLS服务,可以创建或者选择已经创建的日志集,关于日志集的内容可查看以下相关参考:
特别注意
- 申请发布后,服务发布失败、账单异常等情况,请在百度智能云控制台内提交工单反馈。
- 已购算力单元到期前的7/3/1天,系统会分别发送即将到期的短信至主账号或子账号,如您需继续使用可对此服务续费,可在购买信息处设置多个消息接收人。
列表查看
公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示:
服务详情
服务详情中可查看本次服务的基本信息和历史版本内容。
- 版本基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。
- 版本列表来源为更新服务。
更新服务
在线服务支持服务的版本更新,更新来源为模型的其他版本,历史版本将会在服务详情中进行展示。
允许您选择同类模型下的任意模型的任意版本。
服务上/下线
在线服务支持对已发布的服务指定版本或者已下线的服务进行上线,同时也可对已发布的服务进行下线操作。
1)对于暂停服务的模型服务版本,可以服务详情版本列表的“上线”按钮。无需其他操作,审核通过后即可恢复暂停服务前的版本服务。
2)运行中的多版本服务,点击“服务详情”,可以对指定版本进行单独上线,平滑版本更替,不会直接影响正在运行中的版本服务。
3)对于运行中的服务,已经确认暂时不需要,可以进行暂时下线工作,可以在服务列表的操作列直接操作,也可以到服务详情-版本列表中选择“下线”。
如遇上线失败等特殊情况,请提交工单反馈。
日志投递/解绑
如您在创建服务时,未开启日志投递功能,可以在列表页开启日志投递功能;如您在创建服务时,已经开启日志投递功能,需要进行变更或者关闭,也可在列表页进行日志解绑。相关操作可查看更多信息。
删除服务
如果您明确不再需要某项服务,可以点击操作列的“删除”按钮,如果服务仍在发布中的,需要先“下线”此服务,才能进行删除操作。