ModelBuilder批量预测
更新时间：2024-12-18
前提条件
需要当前账号拥有千帆ModelBuilder相关权限（权限分配可参考账号创建与权限分配）、EasyDAP数据湖管理与分析平台相关权限（权限分配可参考多用户访问控制）、BOS相关权限
-
需具有ModelBuilder以下任一权限：
- 完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy
- 运维操作千帆大模型平台预测服务的权限：QianfanServiceOperateAccessPolicy
-
需要具有EDAP以下任一权限：
- EDAP管理员权限：EDAPFullControl
- EDAP数据管理员权限：EDAPDataManage
- 需具有BOSFullControlAccessPolicy权限
节点配置
| 配置项 | 说明 |
|---|---|
| 节点名称 | 填写节点名称。中文、英文、数字、中划线、下划线，不能以中划线、下划线开头，不超过50个字符。 |
| 选择模型 | 选择预置模型或我的模型，系统会自动加载当前用户在ModelBuilder上拥有权限的模型列表，选择模型后进一步选择对应的模型版本。 |
| 输入数据路径 | 输入BOS路径。数据输入bos目录，BOS服务说明请参考BOS介绍，说明： （1）建议bos目录下不要嵌套目录 （2）数据尽可能均分到目录下的每个文件，单个任务文件数量100（含子目录） （3）全部文件累计大小不超过300MB （4）文件格式要求，示例请参考本文文件源数据格式说明： （5）示例输入文件路径：bos:/bucket-name/文件夹名称/ |
| 输出数据路径 | 输入BOS路径。结果输出bos目录，BOS服务说明请参考BOS介绍，说明： （1）固定输出格式为jsonl （2）示例输出文件：bos:/bucket-name/文件夹名称/ （3）输出文件数量与输入文件数量一一对应 |
| 参数设置 | 单击添加参数按钮，填写参数配置，可自定义请求ModelBuilder推理服务时的参数。 |
执行设置
- 配置
打开最长执行时间按钮，填写执行时间。当超过这个时间上限后，任务状态为失败。
- 执行依赖
打开失败重试按钮，填写相关参数。具体说明如下：
| 配置项 | 配置项说明 |
|---|---|
| 重试次数 | 最小1次，最大100次 |
| 时间间隔 | 最小1ms，最大为一天 |
| 设置依赖节点 | 本节点依赖其他任务节点。只有当被依赖节点执行成功之后，此节点才会被执行。 |
| 优先级设置 | 作业节点的优先级。平台一共分为5级优先级。1-5，数字越高优先级越高。当在同一层级的任务，优先执行优先级高的作业。 |
注意事项
任务数量限制：一个账号处于排队中（Queuing）、运行中（Running）、运行终止中（Stopping）状态的批量任务不能超过5个。否则提交任务会报错TaskRunningNumberExceedLimit；在任务调度过程中，可以通过在执行设置处配置重试次数解决该问题。