MSK集群的监控

MSK集群的监控涉及以下话题：

Cloudwatch的指标

  • 基础监控(Default-level monitoring) : 一些基础但非常有用的指标
  • Broker级别的监控(PER_BROKER Level Monitoring): 增加了很多broker级别的指标
  • PER_TOPIC_PER_BROKER级别的监控: 增加了topic级别的指标
  • PER_TOPIC_PER_PARTITION级别的监控: 增加了consumer group级别的监控

Prometheus的指标

  • 在broker上开放端口，将集群、broker、topic的指标暴露出来
  • 设置JMX Exporter或者Node Exporter收集指标

Broker日志的采集

  • 将Broker日志发送到Cloudwatch Logs
  • 将Broker日志发送到S3
  • 将Broker日志发送到Kinesis Data Firehose