创建工作流
更新时间:2025-01-23
百舸「工作流」为您提供数据处理、训练推理等业务场景中需要组件化编排的流式服务。平台提供了不同的工作流模板和组件,您可直接使用工作流模板运行工作流,也可根据我们提供的组件进行自定义编排工作流。
使用前提
- 白名单:百舸工作流服务当前以客户白名单方式提供,请您联系百度工作人员开通工作流使用白名单。后续我们将逐步取消白名单限制。
- 计算资源:在使用工作流前,您需要创建资源池,百舸为您提供了通用资源池和托管资源池,您可根据您的业务规模和需求创建。参考资源池创建方式。
- 存储资源:工作流计算过程中产生的中间数据和组件输入输出的数据需要存储资源,目前工作流仅支持并行文件存储服务(PFS),请您确保工作流使用的资源池关联PFS服务。后续我们将逐渐支持更多存储方式。
- 工作流配置文件:平台支持通过Yaml文件上传的方式创建工作流,您需提前准备带有平台支持的组件内容的Yaml源文件,也可使用此模板进行试用:视频处理流水线模板。注意,模板使用时需自行配置计算资源信息和存储资源信息。
创建步骤
- 登录百舸异构计算平台AIHC控制台。
- 点击页面左侧菜单栏「工作流」,进入工作流模块首页。
-
创建工作流,平台提供多种创建方式,基本配置信息包括:
- 工作流名称:支持中文、英文、数字、中划线、下划线等命名方式。
- 资源池:选择工作流运行的百舸资源池。
- 存储类型/存储实例/挂在路径:工作流的数据存储和中间数据存储路径,选择资源池后自动根据资源池生成该资源池的存储实例,需要用户填写中间数据的挂载路径。
- 模板:可以选择平台已提供的工作流模板创建。
- 描述:对工作流的简单信息描述。
方法一:点击「创建工作流」,直接创建工作流,并填写工作流相关字段后,在yaml编辑器中编辑工作流信息;
方法二:在本地编写好工作流的Yaml文件,点击「导入工作流」,导入文件并填写基本配置信息进行创建。
方法三:通过工作流的「模板」页面,创建平台提供的模板工作流。平台目前预制文生视频处理流水线模板,使用方式请参考:视频处理工作流模板
- 工作流编排:完成工作流基本信息填写后,点击「确认」进入工作流编排页面。目前平台支持Yaml编辑工作流,编辑后显示的组件支持通过「可视化模式」进行字段调整。
将Yaml源文件上传后,可以直接被解析至Yaml编辑器中,用户也可以直接在Yaml编辑器中编写源码信息、修改源码字段,右侧将自动生成工作流预览视图。当前暂不支持在可视化预览画布中进行拖拉转编辑,平台将逐步支持此类操作。
页面上方切换「可视化模式」,可以对组件节点参数信息进行修改,在可视化画布中点击需要修改参数的组件节点,右侧出现对应组件的节点信息。节点参数信息修改后,对应Yaml源码中信息也会被修改。
- 保存工作流:点击右上角「保存」,保存工作流编辑信息;
- 运行工作流:点击右上角「运行」,可以运行工作流。为保证用户存储数据信息不被覆盖,同一个工作流下仅支持一个「运行中」任务。 运行后将跳转至运行记录页面,至此,您已成功运行一个工作流。
工作流运行后,可参考下方更多操作文档,管理您的工作流及运行记录: