学习笔记------写下以备后来查阅

参考文章：https://blog.csdn.net/qiaqia609/article/details/78899298 服务器的kafka是配置在docker内的，由于日志越来越多，需要清理空间， 目标是把kafka的日志文件写到nas的服务器上去。 （一）进入kafka容器，删除log文件 1.docker ps 获取到当前kafka的容器id：【5fdfc4397314】 ...

kafka消息过期时间配置，包括全局和特定topic

工作中因为各种原因，topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。 cd /opt/kafka/kafka_2.10-0.10.2.2/bin 列出所有topic: ./kafka-topics.sh --zookeeper ip:2181 -list 其实就是检查zk上节点的/brokers/topics子节点，打印出来。 创建topic...

工作中因为各种原因， 例如topic中消息堆积的太多，或者kafka所在磁盘空间满了等等，可能需要彻底清理一下kafka topic，那么如何彻底删除topic？ 方法一（配置delete.topic.enable=true）   修改kafaka配置文件server.properties， 添加delete.topic.enable=true，重启kafka，之后通过kafka命令行就可以直接删...

在公司的项目中需要用到kafka和c#进行消息发送，有一天不知道为啥，下端就出现一直读取消息的问题，所以得清空通道内的消息 1.docker ps 获取到当前kafka的容器id：【673e6f1401c7】 docker ps -a 可以查看所有容器，docker stats，查看吞吐量 du -sh，统计当前目录占用空间，df -h 查看磁盘空间。 2.进入kafka对应的容器内部 docker exec -it 673e6f1401c7 bash 3.找到 日志文件 cd kafk.

1，在cm上查询kafka数据目录： log.dirs：/var/local/kafka/data 2，查看目录下各子目录占用空间大小情况，过滤上G的topic数据 du -sh * | sort -nr | grep 'G' | grep 'channel' 3，修改topic数据的的有效期命令，优化 kafka-topics --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=86400000 4..

本文将带领读者探索Apache Kafka中的Topic，通过实例和详细解释，深入了解Topic在消息传递中的关键作用。从创建到分区再到消息生产和消费，我们将揭示Kafka Topic的神奇之处，为你解锁消息传递的魔法领域。

工作中因为个中原因可能需要彻底清理一下kafka topic，那么如何彻底删除topic？ 方法一（配置delete.topic.enable=true）   修改kafaka配置文件server.properties， 添加delete.topic.enable=true，重启kafka，之后通过kafka命令行就可以直接删除topic   通过命令行删除topic：     ./bin/kaf...

摘要：本文详细介绍了Kafka运维中的三种核心操作流程：Topic删除、分区重分配和首选Leader选举。对于Topic删除，强调需先确认无消费者使用、禁用自动创建功能，并提供了ZK和KRaft两种模式的删除方法及卡住处理方案。分区重分配部分说明了完整流程和注意事项，建议每次迁移不超过100个分区。首选Leader选举则解释了如何恢复leader均衡分布。文中还总结了常见问题解决方案，如删除失败处理、重分配速度优化等。所有操作均需遵守统一规则：确认无消费者使用、备份元数据、在维护窗口执行，且避免同时执行重分

某些时候，当几个topic生产者突发产生大量消息时，会造成磁盘空间紧张，这时，除了增加磁盘，另一个方法就是修改配置文件，将日志的保存时间修改小一点，但这两种方案，都必须停机和重启kafka，显然，这在生产集群上，是不能这么处理的。修改后，新的配置会在 log.retention.check.interval.ms 时间内被检查并应用到整个集群，该值在 kafka/config/server.properties 中配置，默认为 300 秒。

文章内容输出来源：拉勾教育Java高薪训练营；Topic，Kafka用于分类管理消息的逻辑单元，类似与MySQL的数据库。Partition，是Kafka下数据存储的基本单元，这个是物理上的概念。同一个topic的数据，会被分散的存储到多个partition中，这些partition可以在同一台机器上，也可以是在多台机器上。优势在于：有利于水平扩展，避免单台机器在磁盘空间和性能上的限制，同时可以通...

kafka 位移分区清理策略

kafka 查看单个topic过期时间

问题背景 kafka版本2.11，kafka集群每个节点挂载5个磁盘，其中有个节点的一磁盘告警，磁盘占用率100%。 单个磁盘只有不到4TB空间，其中两个topic已经分别占用了1TB+的空间。 解决验证 修改数据清理时间，一般就能解决问题 retention.ms=86400 但是如果是业务批量刷数据，binlog同步到kafka，磁盘很难一下子降下来，减少副本数量和迁移副本也没有作用。如果是业务刷数据导致，要么重新分区，要么重新分配。这次感觉影响不大，什么也没做，静待正常恢复。 可过.