作业运维
更新时间:2021-05-14
概述
作业运维 主要为用户提供作业启停操作、作业详情、实时监控、运行日志等内容。
作业启停
作业发布后,用户可以在 作业运维 页面查看到已发布的作业列表,用户可以根据需要启动、停止作业。 点击 启动 按钮后,弹出 启动作业窗口,用户可根据场景需求设置网络类型、安全组、CU数量及CU规格。
说明:
- 选择作业启动时间:当作业是第一次启动时,默认从当前时间点启动作业;当不是第一次启动时,为用户提供上次作业停止时间点、当前时间点两个选项,当选择 上次作业停止时间点 时,作业会在上次停止时间点对应的上一个checkpoint开始执行作业。
- 如果作业被修改,有可能无法正常从 上次作业停止时间点 启动,此时需从 当前时间点 启动。
作业详情
进入到 作业运维 页面后,点击作业名称,可查看该作业详细信息。
作业详情包括用户最新发布的 作业代码 及 作业属性 。
- 作业属性:查看作业的基本信息和作业配置信息。
- 作业代码:为用户提供查看全部代码,如需编辑作业,可返回 作业开发 页面。
实时监控
实时监控提供作业运行状况的指标,根据不同的作业类型会有不同的监控项,用户可选择展示数据的时间区间。
- FLINK:作业重启信息、Checkpoint统计、Task背压情况、作业每秒吞吐量(条数与流量)
- SPARK:Task成功/失败率、作业每秒吞吐量(条数)、处理延迟
运行日志
作业日志现阶段仅保留最后一次提交的运行日志,根据不同作业类型会分为 Driver/Executor 及 JobManager/TaskManager。具体日志内容分node保存,按小时进行切分。