PG数据库同步数据到ES数据库

最新推荐文章于 2026-05-08 00:15:00 发布

原创

最新推荐文章于 2026-05-08 00:15:00 发布 · 2.8k 阅读

收录于

该博客介绍了一种思想，用于实现从PostgreSQL（PG）数据库到Elasticsearch（ES）的实时数据同步。程序通过记录PG数据库中数据的最后修改时间，并每隔10秒检查是否有新的修改，如有则更新到ES。关键代码展示了如何查询PG数据库并批量存入ES，确保数据的实时更新。

思想

ES数据库同步PG数据库在本文主要用到的思想是：在PG数据库的数据录入以及更新时，如下图所示，会有其对应的字段modify_time记录最后的修改时间。程序会记录同步到ES数据库中最后一条数据的修改时间，利用线程间隔10s检查一次PG数据库是否有modify_time > 记录的最后修改时间。如果有，将最新的数据同步到ES数据库，并修改记录时间。如果没有，继续每隔10s检查一次。

最终的实现效果：

程序实现的主要代码

def update_pg2es():
    global last_modify_time
    print(type(last_modify_time), last_modify_time)
    print("检测PG数据库是否有数据更新...")
    #连接数据库
    pg_conn = psycopg2.connect(config.CONNECT_PG_DB_URL)
    pg_cursor = pg_conn.cursor()

    select_sql