Kafka 命令之查看topic&生产消费数据&查看组的消费信息

原创已于 2022-08-16 09:56:47 修改 · 2.1w 阅读

23 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#kafka #分布式 #java

于 2021-12-16 16:52:49 首次发布

中间件与分布式解决方案专栏收录该内容

13 篇文章

订阅专栏

本文档详细介绍了如何在多节点环境中配置和操作Apache Kafka，包括创建topic、设置生产者和消费者、查看topic和消费组状态，以及监控生产与消费情况。通过实例展示了Kafka的基本操作流程。

1、创建 topic：

[root@node1 bin]# ./kafka-topics.sh --zookeeper node2:2181,node3:2181,node3:2181 --create --topic topic1 --partitions 3 --replication-factor 3
Created topic "topic1".

2、用一台节点控制台来当 kafka 的生产者：

[root@node1 bin]# ./kafka-console-producer.sh --topic topic1 --broker-list node1:9092,node2:9092,node3:9092

在这里插入图片描述

3、用另一台节点控制台来当 kafka 的消费者：

[root@node2 bin]# ./kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topic1

在这里插入图片描述
4、查看topic分组

[root@node1 bin]# ./kafka-topics.sh --zookeeper node2:2181,node3:2181,node3:2181 --list
topic1

5、查看消费组

[root@node3 bin]# ./kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).

console-consumer-71901

6、查看生产与消费情况

[root@node3 bin]# ./kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --describe --group console-consumer-71901
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).


TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
topic1                         0          2               2               0          consumer-1-24253251-9c16-48f5-b0a0-8a8abf642f78   /192.168.134.102               consumer-1
topic1                         1          2               2               0          consumer-1-24253251-9c16-48f5-b0a0-8a8abf642f78   /192.168.134.102               consumer-1
topic1                         2          2               2               0          consumer-1-24253251-9c16-48f5-b0a0-8a8abf642f78   /192.168.134.102               consumer-1