定时任务
所有文档
menu

MapReduce

定时任务

产品详情自助选购

注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。

简介

通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。

规划准备

  1. 请预先规划时间策略,即自动启动集群运行作业的时间。本文以自2015年12月11日19点55分至2015年12月18日19点55分期间每半小时自动启动集群为例。
  2. 请确定数据在BOS中的存储地址,并根据规划好的时间策略存储输入数据。依照例子中的时间策略,地址分别是bos://{bucket_name}/input/201512111955/data.txt,bos://{bucket_name}/input/201512112025/data.txt,bos://{bucket_name}/input/201512112055/data.txt,如此类推。

创建定时任务

  1. 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击“创建任务”,进入创建定时任务页。
  2. 配置“任务参数”区:

    • 在“任务名称”栏输入任务名称。
    • 在“集群模板”栏选择设置定时任务的集群模板。
  3. 配置“执行策略”区:

    • 在“执行频率”栏,可设置间隔的分钟数、小时数和天数。其中,最小间隔不能小于5分钟。
    • 在“任务开始方式”栏,选择“立即开始”则即刻开始执行任务,选择“Y-M-D H:M:S”则指定开始任务的具体时间点。
    • 在“任务结束方式”栏,选择“永不结束”则任务无结束时间,选择“Y-M-D H:M:S”则指定结束任务的具体时间点。
  4. 在“作业设置”区,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数,其中输入bos输入\输出地址时依照时间策略输入带有%Y%m%d%H%M字串的地址。依照例子中的时间策略,bos输入地址是:bos://{Bucket_name}/input/%Y%m%d%H%M/data.txt。bos输出地址是:bos://{Bucket_name}/output/%Y%m%d%H%M,作业设置完毕后请点击“确定”完成定时任务的作业添加。
  5. 点击“完成”,定时任务创建完毕。

  6. 系统启动集群时可根据输入/输出地址自动匹配字符串对应时间的文件夹。即2015年12月11日15:38启动集群时调用地址是bos://{bucket_name}/input/201512111538/data.txt的数据,运行结果自动输出至地址是bos://{Bucket_name}/output/201512111538文件夹内。
  7. 可在“产品服务>MapReduce>MapReduce-定时任务”页中查看已创建的任务。
  8. 点击已创建定时任务对应的“查看执行历史”可查看任务执行记录。
  9. (可选)点击“停止”,可暂停该任务,点击“开启”,可重新启动该任务。

修改定时任务

对已创建的定时任务,您可修改时间策略和作业。具体操作如下:

  1. 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击已创建的定时任务,打开“定时任务详情”页。
  2. 修改时间策略:在“执行详情”区,点击“调整执行策略”,在弹出的对话框中设定新的执行策略后,点击“确定”即可。
  3. 修改作业:在“作业信息”区,可修改或删除已有作业,点击作业名称对应的“编辑”或“删除”按钮即可。也可添加新的作业,点击“添加作业”,在弹出的对话框内参照创建作业的步骤2的信息说明设置作业参数。
上一篇
诊断、调优
下一篇
权限管理