作业运维
所有文档

          百度流式计算 BSC

          作业运维

          概述

          作业运维 主要为用户提供作业启停操作、作业详情、实时监控、运行日志等内容。

          作业启停

          作业发布后,用户可以在 作业运维 页面查看到已发布的作业列表,用户可以根据需要启动、停止作业。 点击 启动 按钮后,弹出 启动作业窗口,用户可根据场景需求设置网络类型、安全组、CU数量及CU规格。

          说明:

          • 选择作业启动时间:当作业是第一次启动时,默认从当前时间点启动作业;当不是第一次启动时,为用户提供上次作业停止时间点、当前时间点两个选项,当选择 上次作业停止时间点 时,作业会在上次停止时间点对应的上一个checkpoint开始执行作业。
          • 如果作业被修改,有可能无法正常从 上次作业停止时间点 启动,此时需从 当前时间点 启动。

          作业详情

          进入到 作业运维 页面后,点击作业名称,可查看该作业详细信息。

          作业详情包括用户最新发布的 作业代码 及 作业属性 。

          • 作业属性:查看作业的基本信息和作业配置信息。
          • 作业代码:为用户提供查看全部代码,如需编辑作业,可返回 作业开发 页面。

          实时监控

          实时监控提供作业运行状况的指标,根据不同的作业类型会有不同的监控项,用户可选择展示数据的时间区间。

          • FLINK:作业重启信息、Checkpoint统计、Task背压情况、作业每秒吞吐量(条数与流量)
          • SPARK:Task成功/失败率、作业每秒吞吐量(条数)、处理延迟

          运行日志

          作业日志现阶段仅保留最后一次提交的运行日志,根据不同作业类型会分为 Driver/Executor 及 JobManager/TaskManager。具体日志内容分node保存,按小时进行切分。

          上一篇
          编辑作业
          下一篇
          模板管理