百度流式计算 BSC
百度流式计算(BSC)包含8种监控对象类型,分别是:FLINK_STREAM:SQL、FLINK_STREAM:JAR、FLINK_BATCH:SQL、FLINK_BATCH:JAR、SPARK_STREAM:SQL、SPARK_STREAM:JAR、SPARK_BATCH:SQL、SPARK_BATCH:JAR,各个类型包含的监控指标列表如下:
FLINK_STREAM:SQL
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
isBackPressured |
Task 是否存在背压 |
1是;0:否 |
ApplicationId,SubTaskIndex,TaskName |
lastCheckpointSize |
上一次 checkpoint 状态大小 |
Bytes |
ApplicationId |
numberOfCompletedCheckpoints |
checkpoint 成功数 |
次 |
ApplicationId |
numberOfFailedCheckpoints |
checkpoint 失败数 |
次 |
ApplicationId |
numBytesInPerSecond |
Task每秒输入流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesInPerSecondPerJob |
作业每秒输入流量 |
Bytes/s |
ApplicationId |
numBytesOutPerSecond |
Task每秒输出流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesOutPerSecondPerJob |
作业每秒输出流量 |
Bytes/s |
ApplicationId |
numRecordsInPerSecond |
Task每秒输入条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsInPerSecondPerJob |
作业每秒输入条数 |
条/s |
ApplicationId |
numRecordsOutPerSecond |
Task每秒输出条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsOutPerSecondPerJob |
作业每秒输出条数 |
条/s |
ApplicationId |
numRestarts |
作业重启次数 |
次 |
ApplicationId |
restartingTime |
作业重启耗时 |
秒 |
ApplicationId |
totalNumberOfCheckpoints |
checkpoint 总个数 |
次 |
ApplicationId |
FLINK_STREAM:JAR
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
isBackPressured |
Task 是否存在背压 |
1是;0:否 |
ApplicationId,SubTaskIndex,TaskName |
lastCheckpointSize |
上一次 checkpoint 状态大小 |
Bytes |
ApplicationId |
numberOfCompletedCheckpoints |
checkpoint 成功数 |
次 |
ApplicationId |
numberOfFailedCheckpoints |
checkpoint 失败数 |
次 |
ApplicationId |
numBytesInPerSecond |
Task每秒输入流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesInPerSecondPerJob |
作业每秒输入流量 |
Bytes/s |
ApplicationId |
numBytesOutPerSecond |
Task每秒输出流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesOutPerSecondPerJob |
作业每秒输出流量 |
Bytes/s |
ApplicationId |
numRecordsInPerSecond |
Task每秒输入条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsInPerSecondPerJob |
作业每秒输入条数 |
条/s |
ApplicationId |
numRecordsOutPerSecond |
Task每秒输出条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsOutPerSecondPerJob |
作业每秒输出条数 |
条/s |
ApplicationId |
numRestarts |
作业重启次数 |
次 |
ApplicationId |
restartingTime |
作业重启耗时 |
秒 |
ApplicationId |
totalNumberOfCheckpoints |
checkpoint 总个数 |
次 |
ApplicationId |
FLINK_BATCH:SQL
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
isBackPressured |
Task 是否存在背压 |
1是;0:否 |
ApplicationId,SubTaskIndex,TaskName |
lastCheckpointSize |
上一次 checkpoint 状态大小 |
Bytes |
ApplicationId |
numberOfCompletedCheckpoints |
checkpoint 成功数 |
次 |
ApplicationId |
numberOfFailedCheckpoints |
checkpoint 失败数 |
次 |
ApplicationId |
numBytesInPerSecond |
Task每秒输入流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesInPerSecondPerJob |
作业每秒输入流量 |
Bytes/s |
ApplicationId |
numBytesOutPerSecond |
Task每秒输出流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesOutPerSecondPerJob |
作业每秒输出流量 |
Bytes/s |
ApplicationId |
numRecordsInPerSecond |
Task每秒输入条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsInPerSecondPerJob |
作业每秒输入条数 |
条/s |
ApplicationId |
numRecordsOutPerSecond |
Task每秒输出条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsOutPerSecondPerJob |
作业每秒输出条数 |
条/s |
ApplicationId |
numRestarts |
作业重启次数 |
次 |
ApplicationId |
restartingTime |
作业重启耗时 |
s |
ApplicationId |
totalNumberOfCheckpoints |
checkpoint 总个数 |
次 |
ApplicationId |
FLINK_BATCH:JAR
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
isBackPressured |
Task 是否存在背压 |
1是;0:否 |
ApplicationId,SubTaskIndex,TaskName |
lastCheckpointSize |
上一次 checkpoint 状态大小 |
Bytes |
ApplicationId |
numberOfCompletedCheckpoints |
checkpoint 成功数 |
次 |
ApplicationId |
numberOfFailedCheckpoints |
checkpoint 失败数 |
次 |
ApplicationId |
numBytesInPerSecond |
Task每秒输入流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesInPerSecondPerJob |
作业每秒输入流量 |
Bytes/s |
ApplicationId |
numBytesOutPerSecond |
Task每秒输出流量 |
Bytes/s |
ApplicationId,SubTaskIndex,TaskName |
numBytesOutPerSecondPerJob |
作业每秒输出流量 |
Bytes/s |
ApplicationId |
numRecordsInPerSecond |
Task每秒输入条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsInPerSecondPerJob |
作业每秒输入条数 |
条/s |
ApplicationId |
numRecordsOutPerSecond |
Task每秒输出条数 |
条/s |
ApplicationId,SubTaskIndex,TaskName |
numRecordsOutPerSecondPerJob |
作业每秒输出条数 |
条/s |
ApplicationId |
numRestarts |
作业重启次数 |
次 |
ApplicationId |
restartingTime |
作业重启耗时 |
s |
ApplicationId |
totalNumberOfCheckpoints |
checkpoint 总个数 |
次 |
ApplicationId |
SPARK_STREAM:SQL
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
inputRowsPerSecond |
作业每秒输入条数 |
条/s |
ApplicationId |
latency |
作业处理延迟 |
s |
ApplicationId |
processedRowsPerSecond |
作业每秒处理条数 |
条/s |
ApplicationId |
taskCompletedNums |
Executor中task成功次数 |
次 |
ApplicationId,ExecutorId |
taskCompletedNumsPerJob |
作业task成功次数 |
次 |
ApplicationId |
taskFailedNums |
Executor中task失败次数 |
次 |
ApplicationId,ExecutorId |
taskFailedNumsPerJob |
作业task失败次数 |
次 |
ApplicationId |
SPARK_STREAM:JAR
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
inputRowsPerSecond |
作业每秒输入条数 |
条/s |
ApplicationId |
latency |
作业处理延迟 |
s |
ApplicationId |
processedRowsPerSecond |
作业每秒处理条数 |
条/s |
ApplicationId |
taskCompletedNums |
Executor中task成功次数 |
次 |
ApplicationId,ExecutorId |
taskCompletedNumsPerJob |
作业task成功次数 |
次 |
ApplicationId |
taskFailedNums |
Executor中task失败次数 |
次 |
ApplicationId,ExecutorId |
taskFailedNumsPerJob |
作业task失败次数 |
次 |
ApplicationId |
SPARK_BATCH:SQL
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
inputRowsPerSecond |
作业每秒输入条数 |
条/s |
ApplicationId |
latency |
作业处理延迟 |
s |
ApplicationId |
processedRowsPerSecond |
作业每秒处理条数 |
条/s |
ApplicationId |
taskCompletedNums |
Executor中task成功次数 |
次 |
ApplicationId,ExecutorId |
taskCompletedNumsPerJob |
作业task成功次数 |
次 |
ApplicationId |
taskFailedNums |
Executor中task失败次数 |
次 |
ApplicationId,ExecutorId |
taskFailedNumsPerJob |
作业task失败次数 |
次 |
ApplicationId |
SPARK_BATCH:JAR
指标英文名称(Metric name) |
指标中文名称 |
单位 |
维度 |
inputRowsPerSecond |
作业每秒输入条数 |
条/s |
ApplicationId |
latency |
作业处理延迟 |
s |
ApplicationId |
processedRowsPerSecond |
作业每秒处理条数 |
条/s |
ApplicationId |
taskCompletedNums |
Executor中task成功次数 |
次 |
ApplicationId,ExecutorId |
taskCompletedNumsPerJob |
作业task成功次数 |
次 |
ApplicationId |
taskFailedNums |
Executor中task失败次数 |
次 |
ApplicationId,ExecutorId |
taskFailedNumsPerJob |
作业task失败次数 |
次 |
ApplicationId |