创建Kafka Connect集群

LensesApache Kafka 的流式数据管理平台,它是 Kafka 的一个商用套件,它自带了Apache KafkaKafka ConnectZookeeperConfluent Schema RegistryConfluent REST Proxy 以及几个 lenses 开源的管理 ui 界面 kafka-topics-uischema-registry-uikafka-connect-ui,还包含了 30 多种 kafka connector,大大减少了我们安装部署的工作量。

本节我们直接基于Lenses来搭建Kafka connect集群

启动docker容器

为了便于部署,我们使用Lenses的docker镜像—— github链接: https://github.com/lensesio/fast-data-dev

在cloud9 shell执行:

docker run -itd -p 2181:2181 -p 8080:3030 -p 8081-8083:8081-8083 \
       -p 9581-9585:9581-9585 -p 9092:9092 -e RUNTESTS=0 -e ADV_HOST=127.0.0.1 \
       lensesio/fast-data-dev:latest

端口说明:

      - 2181:2181                 # Zookeeper
      - 8030:3030                 # Landoop UI
      - 8081-8083:8081-8083       # REST Proxy, Schema Registry, Kafka Connect ports
      - 9581-9585:9581-9585       # JMX Ports
      - 9092:9092                 # Kafka Broker

容器启动后,访问本地8080端口,页面如下。connectors可能要等两分钟才能部署完成:

image-20220508111157582

点击ConnectorsENTER,可以查看当前部署的Connector:

image-20220508111213267