消息服务for Kafka-专享版

更新时间：2024-04-16

消息服务 for Kafka-专享版包含5种监控对象类型，分别是：服务监控（Broker）、主题监控（Topic）、主机监控（Node）、集群监控（Cluster）、消费组监控（ConsumerGroup），各个类型包含的监控指标列表如下：

服务监控（Broker）

指标英文名称（metric name）	指标中文名称	单位	维度
ActiveControllerCount	活跃Controller节点个数	个	ClusterId,BrokerId
BrokerBytesInPerSec	生产消息流量	Bytes/s	ClusterId,BrokerId
BrokerBytesOutPerSec	消费消息流量	Bytes/s	ClusterId,BrokerId
BrokerBytesRejectedPerSec	拒绝写入流量	Bytes/s	ClusterId,BrokerId
BrokerDeleteSegmentsByThresholdPerSec	日志文件删除速率	个/s	ClusterId,BrokerId
BrokerDeleteSizeByThresholdPerSec	日志删除速率	Bytes/s	ClusterId,BrokerId
BrokerFailedFetchRequestsPerSec	失败读取请求频率	次/s	ClusterId,BrokerId
BrokerFailedProduceRequestsPerSec	失败写入请求频率	次/s	ClusterId,BrokerId
BrokerFetchMessageConversionsPerSec	读取消息格式转换频率	条/s	ClusterId,BrokerId
BrokerMessagesInPerSec	生产消息速率	条/s	ClusterId,BrokerId
BrokerProduceMessageConversionsPerSec	写入消息格式转换频率	条/s	ClusterId,BrokerId
BrokerReassignmentBytesInPerSec	重新分区流入流量	Bytes/s	ClusterId,BrokerId
BrokerReassignmentBytesOutPerSec	重新分区流出流量	Bytes/s	ClusterId,BrokerId
BrokerReplicationBytesInPerSec	副本同步流入流量	Bytes/s	ClusterId,BrokerId
BrokerReplicationBytesOutPerSec	副本同步流出流量	Bytes/s	ClusterId,BrokerId
BrokerTotalFetchRequestsPerSec	读取请求频率	次/s	ClusterId,BrokerId
BrokerTotalProduceRequestsPerSec	写入请求频率	次/s	ClusterId,BrokerId
CpuUsedPercent	节点CPU使用率	%	ClusterId,BrokerId
DiskUsedPercent	节点磁盘使用率	%	ClusterId,BrokerId
EventQueueSize	Controller事件队列大小	个	ClusterId,BrokerId
FdUsed	文件句柄使用量	个	ClusterId,BrokerId
FetchConsumerRequestLocalTimeMsP75	消费请求Leader处理耗时P75	ms	ClusterId,BrokerId
FetchConsumerRequestLocalTimeMsP95	消费请求Leader处理耗时P95	ms	ClusterId,BrokerId
FetchConsumerRequestLocalTimeMsP99	消费请求Leader处理耗时P99	ms	ClusterId,BrokerId
FetchConsumerRequestQueueTimeMsP75	消费请求队列等待耗时P75ms		ClusterId,BrokerId
FetchConsumerRequestQueueTimeMsP95	消费请求队列等待耗时P95	ms	ClusterId,BrokerId
FetchConsumerRequestQueueTimeMsP99	消费请求队列等待耗时P99ms		ClusterId,BrokerId
FetchConsumerRequestRemoteTimeMsP75	消费请求等待Follower耗时P75	ms	ClusterId,BrokerId
FetchConsumerRequestRemoteTimeMsP95	消费请求等待Follower耗时P95	ms	ClusterId,BrokerId
FetchConsumerRequestRemoteTimeMsP99	消费请求等待Follower耗时P99	ms	ClusterId,BrokerId
FetchConsumerRequestsErrorsPerSec	失败消费请求频率	次/s	ClusterId,BrokerId
FetchConsumerRequestsPerSec	消费请求频率	次/s	ClusterId,BrokerId
FetchConsumerRequstTotalTimeMsP75	消费请求处理耗时P75	ms	ClusterId,BrokerId
FetchConsumerRequstTotalTimeMsP95	消费请求处理耗时P95	ms	ClusterId,BrokerId
FetchConsumerRequstTotalTimeMsP99	消费请求处理耗时P99	ms	ClusterId,BrokerId
FetchConsumerResponseQueueTimeMsP75	消费请求响应队列耗时P75	ms	ClusterId,BrokerId
FetchConsumerResponseQueueTimeMsP95	消费请求响应队列耗时P95	ms	ClusterId,BrokerId
FetchConsumerResponseQueueTimeMsP99	消费请求响应队列耗时P99	ms	ClusterId,BrokerId
FetchConsumerResponseSendTimeMsP75	消费请求响应发送耗时P75	ms	ClusterId,BrokerId
FetchConsumerResponseSendTimeMsP95	消费请求响应发送耗时P95	ms	ClusterId,BrokerId
FetchConsumerResponseSendTimeMsP99	消费请求响应发送耗时P99	ms	ClusterId,BrokerId
FetchFollowerRequestLocalTimeMsP75	副本同步请求Leader处理耗时P75	ms	ClusterId,BrokerId
FetchFollowerRequestLocalTimeMsP95	副本同步请求Leader处理耗时P95	ms	ClusterId,BrokerId
FetchFollowerRequestLocalTimeMsP99	副本同步请求Leader处理耗时P99	ms	ClusterId,BrokerId
FetchFollowerRequestQueueTimeMsP75	副本同步请求队列耗时P75	ms	ClusterId,BrokerId
FetchFollowerRequestQueueTimeMsP95	副本同步请求队列耗时P95ms		ClusterId,BrokerId
FetchFollowerRequestQueueTimeMsP99	副本同步请求队列耗时P99	ms	ClusterId,BrokerId
FetchFollowerRequestRemoteTimeMsP75	副本同步请求等待Follower耗时P75	ms	ClusterId,BrokerId
FetchFollowerRequestRemoteTimeMsP95	副本同步请求等待Follower耗时P95	ms	ClusterId,BrokerId
FetchFollowerRequestRemoteTimeMsP99	副本同步请求等待Follower耗时P99	ms	ClusterId,BrokerId
FetchFollowerRequestsErrorsPerSec	失败副本同步请求频率	次/s	ClusterId,BrokerId
FetchFollowerRequestsPerSec	副本同步请求频率	次/s	ClusterId,BrokerId
FetchFollowerRequstTotalTimeMsP75	副本同步请求处理耗时P75	ms	ClusterId,BrokerId
FetchFollowerRequstTotalTimeMsP95	副本同步请求处理耗时P95	ms	ClusterId,BrokerId
FetchFollowerRequstTotalTimeMsP99	副本同步请求处理耗时P99	ms	ClusterId,BrokerId
FetchFollowerResponseQueueTimeMsP75	副本同步请求响应队列耗时P75	ms	ClusterId,BrokerId
FetchFollowerResponseQueueTimeMsP95	副本同步请求响应队列耗时P95	ms	ClusterId,BrokerId
FetchFollowerResponseQueueTimeMsP99	副本同步请求响应队列耗时P99	ms	ClusterId,BrokerId
FetchFollowerResponseSendTimeMsP75	副本同步请求响应发送耗时P75	ms	ClusterId,BrokerId
FetchFollowerResponseSendTimeMsP95	副本同步请求响应发送耗时P95	ms	ClusterId,BrokerId
FetchFollowerResponseSendTimeMsP99	副本同步请求响应发送耗时P99	ms	ClusterId,BrokerId
GlobalTopicCount	主题总数	个	ClusterId,BrokerId
IsrExpandsPerSec	ISR扩张频率次	/s	ClusterId,BrokerId
IsrShrinksPerSec	ISR收缩频率	次/s	ClusterId,BrokerId
LeaderCount	Leader分区数	个	ClusterId,BrokerId
LeaderElectionRateAndTimeMs	Leader选举频率次/s		ClusterId,BrokerId
NetworkProcessorAvgIdlePercent	网络处理线程空闲率	%	ClusterId,BrokerId
OfflinePartitionsCount	下线分区总数	个	ClusterId,BrokerId
OldGCCount	OldGC次数	次	ClusterId,BrokerId
OldGCPerSec	OldGC频率	次/s	ClusterId,BrokerId
OldGCTimeMs	OldGC单次耗时	ms	ClusterId,BrokerId
OldGCTotalTimeMs	OldGC耗时	ms	ClusterId,BrokerId
PartitionCount	分区数	个	ClusterId,BrokerId
PreferredReplicaImbalanceCount	非最优Leader分区数	个	ClusterId,BrokerId
ProduceRequestLocalTimeMsP75	生产请求Leader处理耗时P75	ms	ClusterId,BrokerId
ProduceRequestLocalTimeMsP95	生产请求Leader处理耗时P95	ms	ClusterId,BrokerId
ProduceRequestLocalTimeMsP99	生产请求Leader处理耗时P99	ms	ClusterId,BrokerId
ProduceRequestQueueTimeMsP75	生产请求队列等待耗时P75	ms	ClusterId,BrokerId
ProduceRequestQueueTimeMsP95	生产请求队列等待耗时P95	ms	ClusterId,BrokerId
ProduceRequestQueueTimeMsP99	生产请求队列等待耗时P99	ms	ClusterId,BrokerId
ProduceRequestRemoteTimeMsP75	生产请求等待Follower耗时P75	ms	ClusterId,BrokerId
ProduceRequestRemoteTimeMsP95	生产请求等待Follower耗时P95	ms	ClusterId,BrokerId
ProduceRequestRemoteTimeMsP99	生产请求等待Follower耗时P99	ms	ClusterId,BrokerId
ProduceRequestsErrorsPerSec	失败写入请求频率	次/s	ClusterId,BrokerId
ProduceRequestsPerSec	写入请求频率	次/s	ClusterId,BrokerId
ProduceRequestTotalTimeMsP75	生产请求处理耗时P75	ms	ClusterId,BrokerId
ProduceRequestTotalTimeMsP95	生产请求处理耗时P95	ms	ClusterId,BrokerId
ProduceRequestTotalTimeMsP99	生产请求处理耗时P99	ms	ClusterId,BrokerId
ProduceResponseQueueTimeMsP75	生产请求响应队列耗时P75	ms	ClusterId,BrokerId
ProduceResponseQueueTimeMsP95	生产请求响应队列耗时P95	ms	ClusterId,BrokerId
ProduceResponseQueueTimeMsP99	生产请求响应队列耗时P99	ms	ClusterId,BrokerId
ProduceResponseSendTimeMsP75	生产请求响应发送耗时P75	ms	ClusterId,BrokerId
ProduceResponseSendTimeMsP95	生产请求响应发送耗时P95	ms	ClusterId,BrokerId
ProduceResponseSendTimeMsP99	生产请求响应发送耗时P99	ms	ClusterId,BrokerId
ReplicaMaxLag	副本落后消息条数	条	ClusterId,BrokerId
RequestHandlerAvgIdlePercent	请求处理线程空闲率	%	ClusterId,BrokerId
RequestQueueSize	Broker请求队列大小	个	ClusterId,BrokerId
ResponseQueueSize	Broker响应队列大小	个	ClusterId,BrokerId
SwapFreeBytes	交换分区空闲量	Bytes	ClusterId,BrokerId
SwapTotalBytes	交换分区总量	Bytes	ClusterId,BrokerId
SwapUsedBytes	交换分区使用量	Bytes	ClusterId,BrokerId
UncleanLeaderElectionsPerSec	未同步Leader选举频率	次/s	ClusterId,BrokerId
UnderMinIsrPartitionCount	同步副本少于最小ISR的分区数	个	ClusterId,BrokerId
UnderReplicated	分区副本未同步	个	ClusterId,BrokerId
UnderReplicatedPartitions	存在落后副本的分区数	个	ClusterId,BrokerId
YoungGCCount	YoungGC次数	次	ClusterId,BrokerId
YoungGCPerSec	YoungGC频率	次/s	ClusterId,BrokerId
YoungGCTimeMs	YoungGC单次耗时	ms	ClusterId,BrokerId
YoungGCTotalTimeMs	YoungGC耗时	ms	ClusterId,BrokerId
ZooKeeperDisconnectsPerSec	断开ZK连接频率	次/s	ClusterId,BrokerId
ZooKeeperExpiresPerSec	ZK会话过期频率	次/s	ClusterId,BrokerId
ZooKeeperRequestLatencyMsP75	ZK请求延迟P75	ms	ClusterId,BrokerId
ZooKeeperRequestLatencyMsP95	ZK请求延迟P95	ms	ClusterId,BrokerId
ZooKeeperRequestLatencyMsP99	ZK请求延迟P99	ms	ClusterId,BrokerId
ZooKeeperSessionState	ZK连接会话状态		ClusterId,BrokerId
ZooKeeperSyncConnectsPerSec	建立ZK连接频率	次/s	ClusterId,BrokerId

主题监控（Topic）

指标英文名称（metric name）	指标中文名称	单位	维度
DeleteSegmentsByThresholdPerSec	日志文件删除速率	个/s	ClusterId,Topic
DeleteSizeByThresholdPerSec	日志删除速率	Bytes/s	ClusterId,Topic
FailedFetchRequestsPerSec	失败读取请求频率	次/s	ClusterId,Topic
MessagesInPerSec	生产消息速率	条/s	ClusterId,Topic
NoLeader	分区 Leader 缺失	个	ClusterId,Topic
PartitionDeleteSegmentsByThresholdPerSec	日志文件删除速率	个/s	ClusterId,Topic
PartitionDeleteSizeByThresholdPerSec	日志删除速率	Bytes/s	ClusterId,Topic
TopicBytesInPerSec	生产消息流量	Bytes/s	ClusterId,Topic
TopicBytesOutPerSec	消费消息流量	Bytes/s	ClusterId,Topic
TopicDeleteSegmentsByThresholdPerSec	日志文件删除速率	个/s	ClusterId,Topic
TopicDeleteSizeByThresholdPerSec	日志删除速率	Bytes/s	ClusterId,Topic
TopicFailedFetchRequestsPerSec	失败读取请求频率	次/s	ClusterId,Topic
TopicFailedProduceRequestsPerSec	失败写入请求频率	次/s	ClusterId,Topic
TopicNoLeader	集群最大数据盘空间使用率	个	ClusterId,Topic
TopicTotalProduceRequestsPerSec	写入请求频率	次/s	ClusterId,Topic
TotalFetchRequestsPerSec	读取请求频率	次/s	ClusterId,Topic

主机监控（Node）

指标英文名称（metric name）	指标中文名称	单位	维度
BrokerDeadCount	Broker进程死亡个数	个	ClusterId,NodeId
CpuIdlePercent	CPU空闲率	%	ClusterId,NodeId
CpuIOWaitPercent	CPU等待IO时长占比	%	ClusterId,NodeId
CpuLoadAvg1	CPU 最近一分钟负载	个	ClusterId,NodeId
CpuLoadAvg15	CPU 最近十五分钟负载	个	ClusterId,NodeId
CpuLoadAvg5	CPU 最近五分钟负载	个	ClusterId,NodeId
CpuLoadAvg515	CPU 最近十五分钟负载	个	ClusterId,NodeId
CpuSystemPercent	CPU系统使用时长占比	%	ClusterId,NodeId
CpuUsedPercent	CPU使用率	%	ClusterId,NodeId
CpuUserPercent	CPU用户使用时长占比	%	ClusterId,NodeId
DiskFreeBytes	磁盘空间可用量	Bytes	ClusterId,NodeId
DiskIOUsedPercent	磁盘IO使用率	%	ClusterId,NodeId
DiskReadAwaitMs	磁盘读IO操作时长	Bytes	ClusterId,NodeId
DiskReadBytesPecSec	磁盘读流量	Bytes/s	ClusterId,NodeId
DiskReadIOPerSec	磁盘读IOPS	次/s	ClusterId,NodeId
DiskTotalBytes	磁盘空间总量	Bytes	ClusterId,NodeId
DiskUsedBytes	磁盘空间使用量	Bytes	ClusterId,NodeId
DiskUsedPercent	磁盘空间使用率	%	ClusterId,NodeId
DiskWriteAwaitMs	磁盘写IO操作时长	Bytes	ClusterId,NodeId
DiskWriteBytesPecSec	磁盘写流量	Bytes/s	ClusterId,NodeId
DiskWriteIOPerSec	磁盘写IOPS	次/s	ClusterId,NodeId
FdLimitation	文件句柄上限	个	ClusterId,NodeId
MemBufferBytes	内存缓冲大小	Bytes	ClusterId,NodeId
MemCacheBytes	内存缓存大小	Bytes	ClusterId,NodeId
MemFreeBytes	内存可用量	Bytes	ClusterId,NodeId
MemFreePercent	内存可用率	%	ClusterId,NodeId
MemTotalBytes	内存总量	Bytes	ClusterId,NodeId
MemUsedBytes	内存使用量	Bytes	ClusterId,NodeId
MemUsedPercent	内存使用率	%	ClusterId,NodeId
NetReceiveBandwidthUsedPercent	网卡流入带宽使用率	%	ClusterId,NodeId
NetReceiveBytesPerSec	网卡流入量	Bytes/s	ClusterId,NodeId
NetReceiveDroppedPerSec	网卡丢弃的接收数据包速率	个/s	ClusterId,NodeId
NetReceiveErrorsPerSec	网卡接收错误数据包速率	个/s	ClusterId,NodeId
NetReceivePacketsPerSec	网卡接收数据包速率	个/s	ClusterId,NodeId
NetTcpCurrentClosed	TCP 关闭连接数	个	ClusterId,NodeId
NetTcpCurrentEstab	TCP已建立连接数	个	ClusterId,NodeId
NetTcpInErrs	TCP丢包个数	个	ClusterId,NodeId
NetTcpInErrsPerSec	TCP 每秒丢包个数	个/s	ClusterId,NodeId
NetTcpInSegs	TCP接收包个数	个	ClusterId,NodeId
NetTcpInSegsPerSec	TCP 每秒接收包个数	个/s	ClusterId,NodeId
NetTcpOutSegs	TCP发送包个数	个	ClusterId,NodeId
NetTcpOutSegsPerSec	TCP 每秒发送包个数	个/s	ClusterId,NodeId
NetTcpRetransSegs	TCP重传包个数	个	ClusterId,NodeId
NetTcpRetransSegsPerSec	TCP 每秒重传包个数	个/s	ClusterId,NodeId
NetTransmitBandwidthUsedPercent	网卡流出带宽使用率	%	ClusterId,NodeId
NetTransmitBytesPerSec	网卡流出量	Bytes/s	ClusterId,NodeId
NetTransmitDroppedPerSec	网卡丢弃的发送数据包速率	个/s	ClusterId,NodeId
NetTransmitErrorsPerSec	网卡发送错误数据包速率	个/s	ClusterId,NodeId
NetTransmitPacketsPerSec	网卡发送数据包速率	个/s	ClusterId,NodeId
NodeMaxDataDiskUsedPercent	节点最大数据盘空间使用率	%	ClusterId,NodeId
NodeMaxDiskUsedPercent	最大磁盘空间使用率	%	ClusterId,NodeId
SwapFreeBytes	交换分区空闲量	Bytes	ClusterId,NodeId
SwapTotalBytes	交换分区总量	Bytes	ClusterId,NodeId
SwapUsedBytes	交换分区使用量	Bytes	ClusterId,NodeId
SystemStartTime	系统启动时间	ms	ClusterId,NodeId
ZookeeperDeadCount	Zookeeper进程死亡个数	个	ClusterId,NodeId

集群监控（Cluster）

指标英文名称（metric name）	指标中文名称	单位	维度
ClusterActiveControllerCount	活跃 Controller 节点个数	个	ClusterId
ClusterBrokerDeadCount	Broker进程死亡个数	个	ClusterId
ClusterBytesInPerSec	生产消息流量	Bytes/s	ClusterId
ClusterBytesOutPerSec	消费消息流量	Bytes/s	ClusterId
ClusterDataDiskUsedBytes	数据盘空间使用量	Bytes	ClusterId
ClusterDataDiskUsedPercent	数据盘空间使用率	%	ClusterId
ClusterDeleteSegmentsByThresholdPerSec	日志文件删除速率	个/s	ClusterId
ClusterDeleteSizeByThresholdPerSec	日志删除速率	Bytes/s	ClusterId
ClusterDiskUsedBytes	磁盘空间使用量	Bytes	ClusterId
ClusterDiskUsedPercent	磁盘空间使用率	%	ClusterId
ClusterLeaderCount	Leader 分区总数	个	ClusterId
ClusterMaxDataDiskUsedPercent	最大数据盘空间使用率	%	ClusterId
ClusterMaxDiskUsedPercent	最大磁盘空间使用率	%	ClusterId
ClusterMessagesInPerSec	生产消息速率	条/s	ClusterId
ClusterOfflinePartitionsCount	下线分区总数	个	ClusterId
ClusterPartitionCount	分区总数	个	ClusterId
ClusterTopicCount	主题总数	个	ClusterId
ClusterTotalFetchRequestsPerSec	读取请求频率	次/s	ClusterId
ClusterTotalProduceRequestsPerSec	写入请求频率	次/s	ClusterId
ClusterZookeeperDeadCount	Zookeeper进程死亡个数	个	ClusterId

消费组监控（ConsumerGroup）

指标英文名称（metric name）	指标中文名称	单位	维度
ConsumerLogMaxOffset	日志最大Offset	条	ClusterId,ConsumerGroup
ConsumerMaxOffsetLag	最大消费滞后量	条	ClusterId,ConsumerGroup
ConsumerMessagesOutPerSec	消费消息速率	条/s	ClusterId,ConsumerGroup
ConsumerOffsetConsumed	当前消费Offset	条	ClusterId,ConsumerGroup
ConsumerOffsetLag	消息滞后量	条	ClusterId,ConsumerGroup

数据库

Elasticsearch

百度智能云

云监控 BCM

云监控 BCM

消息服务for Kafka-专享版

服务监控（Broker）

主题监控（Topic）

主机监控（Node）

集群监控（Cluster）

消费组监控（ConsumerGroup）