MSK Connect

Kafka Connect 是Kafka一个开源组件，可以将外部数据源(DynamoDB, SQS, Databases, SQS....)导入Kafka。如果手动搭建Kafka Connect集群，需要新建机器、考虑集群的扩缩等运维问题。

MSK Connect和Kafka Connect完全兼容，可以将已有的connector迁移过来，它支持MSK、Apache Kafka等集群。

MSK Connect提供了集群资源，持续监控connector的健康状态，并对底层硬件进行patch和维护，会根据流量大小对connector进行自动伸缩。这样，用户只需要关注业务本身，而不是运维。

在这个实验中，我们将使用Aurora MySQL做为数据源，使用Debezium将数据复制到MSK：

Debezium Source Connector Diagram

实验流程大致为：

  1. 在Aurora机器上开启binlog
  2. 创建MSK Connect IAM Role
  3. 配置Debezium MySQL Connector
  4. 创建MSK Connect
  5. CDC测试