磁盘扩容

Broker节点的磁盘扩容有两种方式:自动扩容(Auto-scaling)手动扩容

本节我们将介绍这两种方式。

MSK磁盘监控及告警

对Broker磁盘进行扩容的前提是我们要知道已占用了多少空间,这些指标可以从Cloudwatch监控中获取:

image-20211230110047892

如果想对每个Broker的磁盘使用进行报警(例如大于70%发送邮件通知),可以在cloudwatch中设置alarm:

image-20211230110112142

打开后进入到cloudwatch页面:

image-20220102162043481

点击图标后,进入Create alarm页面:

image-20220102162133939

后续创建alarm的过程不再赘述。

手动扩容

当磁盘占用达到一定百分比后,我们可以对其进入手动扩容

image-20220102162315552

输入新的磁盘大小后,点击确认,生效的时间视集群的情况而定

image-20220102162517168

注意,磁盘只能扩容不能缩容。另外每次扩容最小10GB起步,否则会报错:

image-20220102162348217

除了手动扩容外,还有其他的思路解决磁盘空间不足的问题:

  • 考虑删除一些数据,比如无用的topic
  • 调小message的retention时间

自动扩容(Auto-scaling)

除了手动扩容外,使用auto-scaling也是很省心的选择。Auto-scaling的配置也非常简单:

image-20220102163046408

输入目标磁盘空间的最大值和最小值:

image-20220102163217479

以及触发扩容的阈值:

image-20220102163241374

保存后,在MSK页面可以看到新创建的自动扩容策略:

image-20220102163532251