百舸平台提供更灵活的部署方式，您可以将通过Docker构建的镜像使用此功能部署为推理服务，将模型文件或代码挂载到服务实例中。本文将为您介绍如何使用控制台部署及管理服务。

准备工作

1. 登录百舸异构计算平台，在通用计算资源池中创建资源池购买推理算力资源。注意：操作系统版本建议选择Ubuntu 22.04 。
2. 进入容器引擎CCE > Helm > Helm模版，在百度智能云模版中安装 cce-inference-controller到kube-system命名空间，并修改replicaCount为1。
3. 准备部署自定义服务所需的信息：

• 服务镜像地址，例如：registry-vpc.cn-shanghai.aliyuncs.com/xxx/yyy:zzz。
• 镜像的启动运行命令，例如：/data/eas/ENV/bin/python /data/eas/app.py。
• 镜像中进程监听的网络端口号，例如：8000。

部署服务

1. 登录百舸异构计算平台，点击左侧导航栏中的 在线服务部署 > 自定义部署 自定义服务进入列表页面。
2. 单击 部署服务 进入创建页面。
3. 在创建页面填写相关参数，具体参数如下：

基本信息

参数名称	参数说明
服务名称	1.支持小写字母、数字以及 - 且开头必须是小写字母，结尾必须是小写字母或数字，长度1-50； 2.服务名称不可重复。
资源池/队列	选择推理服务需要部署到的资源池和队列。
加速芯片	选择GPU卡型号。
实例数	1.服务的实例数量； 2.实例数量 >= 1。
服务容错	开启服务容错，资源出现异常时服务会自动重建，并隔离故障节点。
存储卷	您需要选择存储类型并定义存储卷名称和文件挂载源路径，平台将会为您创建对应存储类型的存储卷。目前平台支持PFS、本地盘、HostPath临时卷。

注意：

1. 选择PFS类型时，需要所属资源池已关联PFS并行文件存储系统实例。暂不支持PFS L2。
2. 服务创建成功后，不支持修改原有的存储类型、卷名称、源路径。
3. 升级服务，新增的存储卷和被删除的存储卷为相同源路径时，卷名称不能相同。

容器配置

参数名称	参数说明
容器名称	支持小写字母、数字以及 - 且开头必须是小写字母，结尾必须是小写字母或数字，长度1-50。
服务镜像	支持选择存储在CCR企业版的镜像或输入自建镜像仓库的镜像地址，若需私有镜像仓库授权，请输入账号密码。
端口	1.支持自定义监听和调用端口，开启公网访问后会自动暴露此端口； 2.每个容器最多可设置5个端口； 注意：8001、8002端口已被系统占用，为了避免服务因端口冲突而无法正常完成启动，请勿设置为8001、8002。
启动命令	镜像的启动运行命令，如python/mnt/run.py
资源申请	1.设置容器运行所需的CPU、内存、加速芯片数量; 2.如容器运行不需要GPU资源，加速芯片数量可设置为0
环境变量	1.将被注入到容器实例中的环境变量; 2.变量名仅支持大小写字母、数字、下划线，且不能以数字作为开头。
存储挂载	选择存储卷设置容器挂载目标路径。
健康检查	可通过健康检查自动检测并恢复异常状态的容器，确保只有健康的实例接收流量并避免向不健康的实例分配资源。 1.可以配置存活探针、就绪探针、启动探针策略 2.三种检查方法： http_get：通过容器的IP地址、端口号及路径调用 HTTP Get方法，如果响应的状态码大于等于200且小于400，则容器健康。 tcp_socket：在容器中执行指定命令，如果执行成功后退出码为0则健康检查成功。 exec：在容器中执行指定命令，如果执行成功后退出码为0则健康检查成功。

流量接入

参数名称	参数说明
公网访问	服务内部默认与公网不通，若需要公网访问到该服务，请开启公网访问配置访问方式，选择一个弹性公网IP。

高级配置

参数名称	参数说明
日志持久化	平台默认存储100条日志，开启日志持久化功能会将日志持久化保存到日志服务（BLS）中，日志存储、读取、写入和索引会产生费用，详情参考价格详情。
滚动更新	支持为服务设置滚动更新策略，需要输入滚动更新过程中最大不可用和最大超量实例数比例。 1.最大不可用：滚动更新过程中不可用实例的数量占预期实例数的百分比，范围1%-100%。示例：预期实例数为10，最大不可用为20%，则更新过程中可用的实例数最少有8个。 2.最大超量：滚动更新过程中超出预期的实例数量占预期实例数的百分比，范围1%-100%。 示例：预期实例数为10，最大超量为10%，则更新过程中实例数最多可达11个。
共享内存	设置共享内存大小
自定义监控指标	如需根据业务逻辑设置自定义的监控指标，可开启此开关，设置监控端口。

完成上述表单的配置后，点击 完成 开始部署自定义服务，待服务状态到达运行中即可进行模型推理。

升级服务

服务部署成功后，您可以通过 升级服务 修改镜像版本、存储挂载、健康检查、滚动更新策略等信息，填写本次变更内容的描述。 平台会记录详细的版本变更记录，您可在服务详情中查看版本变更记录。

手动扩缩容

服务部署成功后，如果您的服务流量有变化，您可以进行扩缩容操作以满足您的流量负载要求。

实例摘流

当某个实例出现故障或性能问题，为了避免服务中断，可以通过实例摘流来平滑过渡。开启实例摘流后，需要等待几分钟生效。

流量接入

服务部署成功后，您可通过流量接入修改服务的访问方式。