创建msk集群

使用控制台可以快速轻松地创建 Amazon MSK 集群

创建EC2 security group

在创建MSK之前,我们先准备一个security group,用于后面控制msk的访问

打开创建安全组的页面 ,输入名称和描述,并选择默认的vpc:

image-20211220211606208

Inbound Rules部分我们先不做任何设置,直接点击创建:

image-20211220211800408

创建MSK集群

登录 AWS 控制台,进入到MSK 创建集群向导 开始创建

选择Custom create,并将集群命名为MSKDemo,版本保持默认即可:

image-20211220211135519

使用MSK默认配置,选择默认的VPC :image-20211220211243025

选择三个az,并选择对应的子网:

image-20211220211350321

选择第一步创建的安全组:

image-20211220211854729

Broker的类似和每个az数量保持默认,storage可以适当调小些,这里选择30GB:

image-20211220211945315

安全相关的设置全部保持默认,我们将在后面再单独介绍:

image-20211220212126766

使用Basic monitoring,选择Deliver to Amazon CloudWatch Logs, 并点击visit Amazon CloudWatch Logs console,进入到相应界面进行创建:

image-20211220212347581

在CloudWatch页面中创建一个Log group,命名为MSKDemo:

image-20211220212503260

回到MSK创建的界面,选择刚才创建的Log group:

image-20211220212622799

最后点击Create,整个创建过程会持续15-20分钟。

查看集群

创建完成集群后,可以在msk界面查看broker的连接信息

image-20211222223511946

ENI

创建msk时,背后在每个az都创建了zookeeper,kafka和zookeeper都是通过ENI来暴露自己

image-20211220204621071

进入ENI页面,发现有6个ENI,对应上图3个az的Kafka和Zookeeper:

image-20211222223012633

查看log group

Log group中记录了三个Broker的事件:

image-20211221100354209