MSK的CloudWatch指标

开篇时提到,MSK的CloudWatch指标有以下几类:

  • 基础监控(Default-level monitoring) : 一些基础但非常有用的指标
  • Broker级别的监控(PER_BROKER Level Monitoring): 增加了很多broker级别的指标 (需要额外money开启)
  • PER_TOPIC_PER_BROKER级别的监控: 增加了topic级别的指标(需要额外money开启)
  • PER_TOPIC_PER_PARTITION级别的监控: 增加了consumer group的监控(需要额外money开启)

每种级别对应的指标列表可参考:

https://docs.aws.amazon.com/msk/latest/developerguide/metrics-details.html

监控指标的分析

在MSK的界面的Monitoring页面,能看到MSK集群的磁盘、CPU、网络 基础指标:

image-20220103190207637

但是其他Topic/Broker等相关指标需要到CloudWatch里才可以看!!!

进入CloudWatch Metrics界面后,有AWS/Kafka命名空间,点击进入:

image-20220103190637697

我们选择Topic相关的维度:

image-20220103190559839

在升级Kafka集群这一节时,创建了一个topic:topic-for-update,生产者每隔一秒向里面发送数据,消费者持续取出数据。

我们可以查看这个topic的历史监控数据:

image-20220103190828348

或者你可以重新新建一个topic,开一个生产者和消费者持续往里写数据,然后过一段时间后查看cloudwatch的监控图表。

搜索GlobalTopicCount指标,我们也可以查看历史topic数量的变化:

image-20220103191159598

其他的指标可参考上面的文档自行探索

更改监控级别

在第一章我们创建集群时,使用了Basic Level的监控。在集群创建完成后,可以随时更改监控级别:

image-20220103190049057

选择对应的监控级别,然后确认

image-20220103190106977

大概三分钟左右更新完成,此时在cloudwatch metrics里面会增加很多新的指标

image-20220103192255831