Flink CDC 连接 postgresql 遇到的问题

原创

已于 2022-04-08 13:56:13 修改 · 6.8k 阅读

标签

#postgresql

收录于

于 2022-04-08 11:15:06 首次发布

在尝试使用Flink CDC连接postgresql时遇到了一系列问题，包括decoderbufs插件缺失、protobuf相关依赖问题、replica identity设置不正确、replication slot冲突及数量不足等。解决方案包括手动编译decoderbufs插件、添加protobuf依赖、调整postgresql配置以增加max_wal_senders和max_replication_slots的值。

参考

Postgres CDC Connector

Flink-cdc实时读postgresql

flink cdc捕获postgresql数据

版本：Flink 1.13.6、Flink CDC 2.1.0、Postgresql 10

需要更改 postgresql.conf

# 更改wal日志方式为logical
wal_level = logical            # minimal, replica, or logical
# 更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个
slotsmax_replication_slots = 20           # max number of replication slots
# 更改wal发送最大进程数（默认值为10），这个值和上面的solts设置一样
max_wal_senders = 20    # max number of walsender processes
# 中断那些停止活动超过指定毫秒数的复制连接，可以适当设置大一点（默认60s）
wal_sender_timeout = 180s	# in milliseconds; 0 disable

Flink CDC 连接 postgresql 遇到的问题