问题概述:
由于同步数据量较大50000000,所以在同步时每次同步五分钟大概300000左右就会报错,提示这个查询超时参数,自己查了好多方法提到修改参数,准备在则在测试环境测试,最后发现测试环境之前就设置的查询超时时间为30个小时,再执行同步任务差不多3个小时完成哦同步任务。给datax中jdbcurl添加参数未生效,后面在json中添加一个session成功。
报错提示: query_timeout
首先我去数据库查看一下参数
命令:
SHOW VARIABLES LIKE "%query_timeout%";
结果如下:

2、datax中设置query_timeout

设置完参数后,测试成功。
文章描述了在处理大量数据同步(50000000条)时遇到的查询超时问题。每五分钟同步300000条数据导致错误。作者检查了数据库查询超时参数,并尝试在DataX的JDBCURL中设置超时参数无果,最终在JSON配置中添加session参数解决了问题。测试显示同步任务现在能在3小时内完成。

1023

被折叠的 条评论
为什么被折叠?



