当你使用 qhold 命令暂停了一个作业后,可以使用 qrls 命令来释放暂停状态,使作业恢复运行。 基本用法如下: Plain Text 复制 1 qrls job_id 其中 job_id 是要释放暂停状态的作业的标识符。 qdel qdel 是 SGE(Sun Grid Engine)中用于删除作业的命令。它可以用来取消或删除已经提交到队列中的作业。
扩增集群节点时可以释放集群,扩增的节点也均被释放 集群扩增节点的过程中不影响作业的提交和运行 新增加的task节点上没有datanode服务,属于任务节点 在集群运行作业期间提交的缩减task节点的请求,会在作业运行完之后处理 复制集群 在 产品服务-MapReduce-集群列表 页,点击被复制集群对应的 复制 按钮,进入该集群的配置页。
支持 == one_failed 对于本节点直接依赖的上游节点,只要有一个节点执行失败,就能满足条件。 与该节点具有 直接依赖关系的节点 ,表达式中的 jobName 失效,但是需要用 * 作为占位符填充进表达式。
本模块提供的自动搜索作业,旨在帮助用户实现在各种AI框架以及各种应用场景下的超参搜索需求。用户只需上传数据及代码,指定训练框架、搜索算法以及需要搜索的超参数,即可完成超参搜索任务。 自动搜索作业目前支持以下5种超参搜索算法: 1. 随机搜索 2. 贝叶斯搜索 3. 进化算法 4. 进化-CMAES 5.
创建训练作业 创建训练作业 前提条件 自定义作业需要依赖于BOS对象存储读取输入文件,创建自定义作业之前需要保证您已经开通了BOS对象存储的服务。 授权自定义作业读写您的BOS对象存储,以顺利进行自定义作业的配置。 在BOS中存储创建Bucket,并且存储用于训练的代码文件和数据集,创建一个空文件夹用于输出文件的存储 新建作业 在导航栏选择『自定义作业-训练作业』,进入训练作业的列表页。
具体操作如下: 在“产品服务>MapReduce>MapReduce-定时任务”页中,点击已创建的定时任务,打开“定时任务详情”页。 修改时间策略:在“执行详情”区,点击“调整执行策略”,在弹出的对话框中设定新的执行策略后,点击“确定”即可。 修改作业:在“作业信息”区,可修改或删除已有作业,点击作业名称对应的“编辑”或“删除”按钮即可。
Spark作业 新增文件夹/作业 Spark作业支持按照文件夹进行分组管理,新建作业前可以选择新增文件夹。 选择侧边导航或者快速访问中 数据加工>开发(顶部导航)>实时开发(侧边导航)>Spark作业 后进入作业组。 新建文件夹。单击新建按钮选择 新建文件夹 ,填写相关配置项即可新建成功。 新建作业。单击新建按钮选择 新建作业 ,文件夹支持自行选择存放,填写完毕点击确定新建成功。
下线 对当前已上线的实时作业进行下线操作同时会一并删除当前实时作业实例,但在任务运维中下线的实时作业在开发作业中不会被删除,仍可进行作业发布,发布后的作业看展示历史实时作业实例。 删除 可对下线状态的作业进行删除。 查看实例 单击操作列 查看实例 ,可跳转至实时作业实例列表,查看当前实时作业生成的历史作业实例。 查看详情 单击操作列 查看详情 ,跳转作业详情界面,可对作业进行操作。
实时作业 实时作业实例列表 列表形式展示实时作业实例,可选择展示项进行展示。支持按照实例ID、责任人和任务名称进行筛选。 表一 具体列表展示项说明 展示项说明 展示项说明 实例ID 显示实时作业实例ID。 作业名称 显示实时作业名称。 运行状态 显示当前实时作业实例的运行状态。支持按照运行状态筛选。运行状态详情参照运行状态说明。 作业类型 展示当前作业类型。
Spark作业示例: Plain Text 复制 1 spark-submit --master yarn \ 2 --deploy-mode cluster \ 3 --queue <queue-name> \ 4 --class <main-class> \ 5 <application-jar> MapReduce作业示例: Plain Text 复制 1