MSK的CloudWatch指标

开篇时提到，MSK的CloudWatch指标有以下几类：

  • 基础监控(Default-level monitoring) : 一些基础但非常有用的指标
  • Broker级别的监控(PER_BROKER Level Monitoring): 增加了很多broker级别的指标 (需要额外money开启)
  • PER_TOPIC_PER_BROKER级别的监控: 增加了topic级别的指标(需要额外money开启)
  • PER_TOPIC_PER_PARTITION级别的监控: 增加了consumer group的监控(需要额外money开启)

每种级别对应的指标列表可参考：

https://docs.aws.amazon.com/msk/latest/developerguide/metrics-details.html

监控指标的分析

在MSK的界面的Monitoring页面，能看到MSK集群的磁盘、CPU、网络 基础指标：

image-20220103190207637

但是其他Topic/Broker等相关指标需要到CloudWatch里才可以看！！！

进入CloudWatch Metrics界面后，有AWS/Kafka命名空间，点击进入：

image-20220103190637697

我们选择Topic相关的维度：

image-20220103190559839

在升级Kafka集群这一节时，创建了一个topic：topic-for-update，生产者每隔一秒向里面发送数据，消费者持续取出数据。

我们可以查看这个topic的历史监控数据：

image-20220103190828348

或者你可以重新新建一个topic，开一个生产者和消费者持续往里写数据，然后过一段时间后查看cloudwatch的监控图表。

搜索GlobalTopicCount指标，我们也可以查看历史topic数量的变化：

image-20220103191159598

其他的指标可参考上面的文档自行探索

更改监控级别

在第一章我们创建集群时，使用了Basic Level的监控。在集群创建完成后，可以随时更改监控级别：

image-20220103190049057

选择对应的监控级别，然后确认

image-20220103190106977

大概三分钟左右更新完成，此时在cloudwatch metrics里面会增加很多新的指标

image-20220103192255831