定时任务
更新时间:2024-10-25
注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。
简介
通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。
规划准备
- 请预先规划时间策略,即自动启动集群运行作业的时间。本文以自2015年12月11日19点55分至2015年12月18日19点55分期间每半小时自动启动集群为例。
- 请确定数据在BOS中的存储地址,并根据规划好的时间策略存储输入数据。依照例子中的时间策略,地址分别是bos://{bucket_name}/input/201512111955/data.txt,bos://{bucket_name}/input/201512112025/data.txt,bos://{bucket_name}/input/201512112055/data.txt,如此类推。
创建定时任务
- 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击“创建任务”,进入创建定时任务页。
-
配置“任务参数”区:
- 在“任务名称”栏输入任务名称。
- 在“集群模板”栏选择设置定时任务的集群模板。
-
配置“执行策略”区:
- 在“执行频率”栏,可设置间隔的分钟数、小时数和天数。其中,最小间隔不能小于5分钟。
- 在“任务开始方式”栏,选择“立即开始”则即刻开始执行任务,选择“Y-M-D H:M:S”则指定开始任务的具体时间点。
- 在“任务结束方式”栏,选择“永不结束”则任务无结束时间,选择“Y-M-D H:M:S”则指定结束任务的具体时间点。
- 在“作业设置”区,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数,其中输入bos输入\输出地址时依照时间策略输入带有%Y%m%d%H%M字串的地址。依照例子中的时间策略,bos输入地址是:bos://{Bucket_name}/input/%Y%m%d%H%M/data.txt。bos输出地址是:bos://{Bucket_name}/output/%Y%m%d%H%M,作业设置完毕后请点击“确定”完成定时任务的作业添加。
-
点击“完成”,定时任务创建完毕。
- 系统启动集群时可根据输入/输出地址自动匹配字符串对应时间的文件夹。即2015年12月11日15:38启动集群时调用地址是bos://{bucket_name}/input/201512111538/data.txt的数据,运行结果自动输出至地址是bos://{Bucket_name}/output/201512111538文件夹内。
- 可在“产品服务>MapReduce>MapReduce-定时任务”页中查看已创建的任务。
- 点击已创建定时任务对应的“查看执行历史”可查看任务执行记录。
- (可选)点击“停止”,可暂停该任务,点击“开启”,可重新启动该任务。
修改定时任务
对已创建的定时任务,您可修改时间策略和作业。具体操作如下:
- 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击已创建的定时任务,打开“定时任务详情”页。
- 修改时间策略:在“执行详情”区,点击“调整执行策略”,在弹出的对话框中设定新的执行策略后,点击“确定”即可。
- 修改作业:在“作业信息”区,可修改或删除已有作业,点击作业名称对应的“编辑”或“删除”按钮即可。也可添加新的作业,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数。