线上 kafka rebalance 解决

        上周末我们服务上线完毕之后发生了一个kafka相关的异常，线上的kafka频繁的rebalance，详细的报错我已经贴到下面，根据字面意思：消费者异常 org.apache.kafka.clients.consumer.CommitFailedException: 无法完成提交，因为消费者组已经重新平衡并将分区分配给另一个成员。这意味着连续调用 poll() 之间的时间超过了配置的 max.poll.interval.ms，通常意味着轮询循环在消息处理上花费了太多时间。您可以通过增加会话超时时间或通过减少 poll() 返回的批次的最大大小（使用 max.poll.records）来解决这个问题。

        当然我们的解决方案也是从两个方面展开，分别是“开源” + “截流”。开源就是通过增加处理时间的配置。截流就是通过每一批次的处理数量。上线之后报警消失。通过这次的问题，正好总结一下频繁kafka rebalance 解决方案，希望可以帮助到大家。

consumer ex org.apache.kafka.clients.consumer.CommitFailedException:Commit cannot be completed since the group has already rebalanced and assigned the pa