RocketMQ为什么同一个消费组设置不同tag 消费一半的问题

一、简述 RocketMQ 一个纯 Java、分布式、队列模型的开源消息中间件，前身是 MetaQ，是阿里研发的一个队列模型的消息中间件，后开源给 apache 基金会成为了 apache 的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。RocketMQ 的逻辑存储结构是物理队列+逻辑队列的结构。 物理队列只有一个，采用固定大小的文件顺序存储消息。逻辑队列有多个，每个逻辑队列有多个分区，每个分区有多个索引。 a.消息顺序写入物理文件里面，每个文件达到一定的大小，新建一个文件继续顺序写数据(消息的写入

Consumer 消费完消息并不是实时同步到 Broker 的，而是将 offset 先保存在本地map中，通过定时任务持久化上去。这就导致消息被消费了，但是此时消费者宕机了导致 offset 没提交，下次没提交 offset 的这部分消息会被再次消费 即使 offset 被提交到了 Broker，在还没来得及持久化的时候 Broker 宕机了，当重启的时候 Broker 会读取consumerOffset.json 中保存的 offset 信息，这就会导致没持久化 offset 的这部分消息会被再次消费

Comsumer的消息队列的分配

概念 消息处理流程中，如果Consumer的消费速度跟不上Producer的发送速度，MQ中未处理的消息会越来 越多（进的多出的少），这部分消息就被称为堆积消息。消息出现堆积进而会造成消息的消费延迟。 以下场景需要重点关注消息堆积和消费延迟问题： 业务系统上下游能力不匹配造成的持续堆积，且无法自行恢复。 业务系统对消息的消费实时性要求较高，即使是短暂的堆积造成的消费延迟也无法接受。 产生原因分析 Consumer使用长轮询Pull模式消费消息时，分为以下两个阶段： 消息拉取 Consumer通过长轮询

背景介绍 项目组使用阿里RocketMQ，对同一个消费组设置不同的tag订阅关系，出现消息丢失的问题，本文从rocketmq源码研究消息发布与订阅原理，并分析导致该问题的原因。 官方说明 告诉使用者：同一个消费组，必须保持订阅关系一致 为什么？它没有说！只能从源码找答案 问题复现 启动消费者1，消费组为group1，订阅topicA的消息，tag设置为tag1 || tag2 启动消费者2...

面试官：同一个消费组内的消费者，如果订阅了相同的 topic，但是订阅的 tag 不一样，会有什么问题吗？ 我：会出现丢消息的情况。 面试官：能详细说一说吗？ 我：RocketMQ 要求同一个消费组内的消费者必须订阅关系一致，如果订阅关系不一致，会出现消息丢失的问题。 面试官：什么是订阅关系一致呢？ 我：订阅关系一致是指同一个消费者组下所有消费者所订阅的 Topic、Tag 必须完全一致。如下图所示： 其中，消费组 1 中的消费组都订阅了 Topic1 中的 Tag1，消费组 2 中的消费组

编程界的小学生一、问题复现1、描述2、代码2.1、Consumer2.2、Producer3、结果二、问题答案三、源码验证1、调用链2、源码2.1、registerConsumer2.2、两个问题 一、问题复现 1、描述 两个一样的Consumer Group的Consumer订阅同一个Topic，但是是不同的tag，Consumer1订阅Topic的tag1，Consumer2订阅Topic的tag2，然后分别启动。这时候往Topic的tag1里发送10条数据，Topic的tag2里发送10条。目测应该是

关键在于最后这个tag的hashcode值，这个 tag 的作用是过滤消息，假如一个 Consumer 订阅了 Topic1 中的 Tag1，那这个 Consumer 拉取消息时，首先从 Name Server 获取订阅关系，得到当前 Consumer 订阅的所有 tag 的 hashcode 集合 codeSet。1.订阅的Topic相同，或者订阅的Topic相同 tag也相同，或者Topic相同，tag的顺序也相同。最后一个问题，怎么看是不是存在订阅关系不一致的 现象？不想看官网的，直接看结论。

1. 在配置正确的情况下首先要注意： rocketmq问题汇总-一个consumerGroup只对应一个topic 对于同一个Topic有多个消费者，注明同组即可（但多组会导致消费错误）。另外对应的生产者和消费者不用在字符串上相同。 使用举例如下： 上传组叫AProduceGroup，可以含有生产者 A1Producer / A2Producer， 他们都生产Topic = A的消息 消...

欢迎移步到我个人博客网站阅读 RocketMq 部分队列不能消费问题排查

rocketmq使用过程中，踩过的坑，以及注意事项, 以及最佳实践

看源码并不是目的，理解内部的运作机制才是关键，为遇到问题提供解决思路。

前言 很多时候，我们会在多个地方同时订阅一个 topic，但是发现消费者只能执行一个 后注册消费者会顶替之前注册的消费者 原因 在 subscribeTable和 subscriptionInner方法中，是使用 Map 集合的方式存储topic订阅者 存储格式 大概为 {group : topic} Map 的特性就是 Key 不能重复，所以相同的 Key 会直接替换 解决方法 更改 subscribeTable和 subscriptionInner方法存储的 Key 也就是创建多个消费组，同

之前连接测试机使用MQ的时候，发现MQ有时候只能消费一半的消息，困扰了好几天，最后找到原因： 进入MQ操作后台，点进Consumer，发现 Quantity=2（有2个监听消费者） 在进入Client，看到2个IP，一个是测试机的，一个是我本机的。由于MQ负载均衡，测试机那边只能给我返回一半的消息 解决：把我本机配置MQ的项目停掉，就ok了 ...

大家好，我是Leo。 这是开端的第三次循环了。当前正在正处于RocketMQ基础原理。 3万字聊聊什么是RocketMQ（一） 4万字聊聊阿里二面，保证你看不完 聊聊Redis面试题 2万字聊聊什么是秒杀系统（中） 3万字聊聊什么是Redis（完结篇） 3万字聊聊什么是MySQL（初篇） 本章概括 分布式事务 由何而来 我们在使用MQ在解决实际业务场景中的问题时，往往伴随诸多问题！比如如下图 上述两种可能都会导致数据不一致，在业务系统中是 致命的问题！ 这个时候我们就要保证事务消息。要不全部成功，要不

我们在系统开发时往往会用到mq消息中间件，mq能帮我们进行系统间的解耦，能帮我们将系统进行异步化。例如以前开发一步一步都是串行的，使用mq可以将不需要及时处理的步骤通过消息发送到mq，然后让消费端处理消息实现异步。当在实际使用过程中会遇到各种问题，常见的有消息丢失、消息重复消费，消息积压等问题。 消息丢失 消息丢失可以分为几种情况，如 1.生产者发送消息的时候由于网络抖动或者mq异常导致消息没到mq导致消息丢失。 生产者发送消息时，采用同步发送或者异步发送方式，发送成功mq会返回结果，根据结果进行判

在使用rocketmq时，发现消费者只能受到部分消息（消费者tag里定义的tag），查看监控器总是显示消息被过滤，解决方式（注意private String tag = "tag1";） private String consumerGroup = "consumerTopic"; private String namesrvAddr = "127.0.0.1:9876"; private String topic = "supplyTopic"; private St