Flinkjar开发 CDC 实时mysql到mysql

原创

已于 2024-02-18 16:19:39 修改 · 3.9k 阅读

标签

#flink #大数据

于 2023-06-09 15:46:11 首次发布

文章介绍了如何配置MySQL以启用binlog，并在SpringBoot项目中集成Flink来实现CDC技术，通过Flink从MySQL源数据库捕获数据变更并实时同步到另一个MySQL目标数据库。主要步骤包括配置MySQL的my.cnf文件，添加相关依赖，编写Flink作业代码，打包项目为Flink可执行JAR，最终在Flink环境中运行该JAR以启动数据同步进程。

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。

mysqlcdc需要mysql开启binlog，找到my.cnf，在`[mysqld]`中加入如下信息

[mysqld]

server-id=1

log-bin=mysql-bin

binlog-format=row

重启数据库。

2.创建springboot项目，pom添加依赖

<properties>
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

    <java.version>1.8</java.version>
    <flink.version>1.14.2</flink.version>
    <scala.binary.version>2.11</scala.binary.version>
    <slf4j.version>1.7.30</slf4j.version>

</properties>

<dependencies>
  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-api-java</artifactId>
    <version>${flink.version}</version>
  </dependency>

  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-planner_2.12</artifactId>
    <version>1.14.2</version>

  </dependency>
  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
    <!--<scope>provided</scope>-->
  </dependency>

  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.14.2</version>
    <scope>provided</scope>
  </dependency>
  <depende