Flink sql-cli 查询 Iceberg 的坑

问题描述

sql-client 一个简单的 group by 查询 报资源不够的错 并行度默认设置为 2

问题分析

上web界面上一看 好家伙 source直接100并行度 这肯定资源不足啊

读取Iceberg 走的是org.apache.iceberg.flink.source包下的FlinkSouce
源码中 Builder中inferParallelism方法中会读两个配置

table.exec.iceberg.infer-source-parallelism 默认为 true
Description If is false, parallelism of source are set by config. If is true, source parallelism is inferred according to splits number.
如果按默认值true的话会根据分区个数进行推断 查了下分区是超