Canal1.1.6发送MySql的binlog日志到Rocketmq(2)

最新推荐文章于 2024-12-15 10:56:26 发布

原创

最新推荐文章于 2024-12-15 10:56:26 发布 · 932 阅读

标签

#rocketmq #canal #binlog采集

本文档详细介绍了如何配置和启动Canal 1.1.6，使其能从MySQL获取binlog并将其发送到RocketMQ。内容包括Canal环境的搭建、配置文件修改、MySQL与RocketMQ的连接设置，以及启动过程和常见问题的解决方案。

Canal环境搭建

1.1 下载canal.deployer

https://github.com/alibaba/canal/releases

1.2 文件目录结构

解压:canal.deployer-1.1.6.tar.gz

1.3 配置mysql数据库访问权限

创建canal的数据库访问账号

CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

1.4 修改配置文件

配置文件有2个：

\canal.deployer-1.1.6\conf\example\instance.properties

\canal.deployer-1.1.6\canal.properties

1.5 修改连接MySQL和RocketMq配置

canal.properties 修改以下配置项目：

# 配置模式tcp, kafka, rocketMQ, rabbitMQ 
canal.serverMode = rocketMQ

# 指定实例目前包里自带example（可支持多个）
canal.destinations = example

# 配置mq的accessKey、secretKey,这里用原生rocektmq配置空
canal.aliyun.accessKey =
canal.aliyun.secretKey =

# 配置mq的group地址、group、topic及tag
rocketmq.producer.group = canal_group
rocketmq.enable.message.trace = false
rocketmq.customized.trace.topic = canal_topic
rocketmq.namespace =
rocketmq.namesrv.addr = 127.0.0.1:9876
rocketmq.retry.times.when.send.failed = 0
rocketmq.vip.channel.enabled = false
rocketmq.tag = canal_mysql_data_tag

conf\example\instance.properties 修改以下配置项目：

# 数据库连接
canal.instance.master.address=127.0.0.1:3306

# 数据库用户密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

# 匹配数据库的正则(库.表)
canal.instance.filter.regex=.*\\..*

# mq的topic
canal.mq.topic=canal_topic

1.6 启动RocketMq

手工创建canal_topic