kafka k8s部署kafka connect(以kafka-connector-hana插件为例)

原创

已于 2023-04-20 10:07:02 修改 · 1k 阅读

标签

#kafka #kubernetes

于 2023-04-19 17:32:37 首次发布

该文详细描述了如何创建一个KafkaConnect镜像，用于集成SAPHANA数据库。首先创建Dockerfile，然后将KafkaConnectorHANA的JDBC驱动放入指定文件夹。接着，通过Dockerbuild命令构建镜像，并将其推送到私有仓库。之后，配置KafkaConnect的YAML文件，包括设置replicas、bootstrap服务器、TLS配置等。最后，通过Kubernetes的yaml文件创建Service，使得KafkaConnect可通过NodePort访问，并提供了创建和管理SAPHANA数据源连接器的步骤，包括使用RESTAPI创建和管理connectors。

kafka-connect-sap地址

创建kafka connect镜像

# 创建插件文件夹及Dockerfile
mkdir plugins
# 此处创建kafka-connector-hana文件夹放kafka-connector-hana的插件以及hana的jdbc jar包
mkdir plugins/kafka-connector-hana

# 其他插件同理，将插件所需文件放到plugins的插件文件夹即可
# 将准备好的Jar包放到指定文件夹
mv ./ngdbc.jar ./kafka-connector-hana/plugins/kafka-connector-hana/
mv ./kafka-connector-hana_2.13-0.9.4.jar ./kafka-connector-hana/plugins/kafka-connector-hana/


vim Dockerfile
--------------
FROM quay.io/strimzi/kafka:0.34.0-kafka-3.4.0
USER root:root
COPY ./plugins/ /opt/kafka/plugins/
USER 1001
--------------

# 打包镜像
docker build -t xx.xx.xx.xx/kafka-connector-hana:v1 .

# 上传镜像到自己的镜像仓库
docker push xx.xx.xx.xx/kafka-connector-hana:v1

创建kafka connector 部署文件 kafka-connect.yaml

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
#  annotati

最低0.47元/天解锁文章