RocketMQ 源码分析——Consumer

古城微笑少年丶 2023-10-16 10:36 71阅读 0赞

#### 文章目录 ####

*  消费者启动流程
 *  消费者模式
 *   *  集群消费
     *  广播消费
 *  Consumer负载均衡
 *   *  集群模式
     *  广播模式
 *  并发消费流程
 *   *  获取topic配置信息
     *  获取Group的ConsumerList
     *  获取Queue的消费Offset
     *  拉取Queue的消息
     *  更新Queue的消费Offset
 *  顺序消费流程
 *  消费存在的问题
 *   *  消费卡死
     *  启动之后较长时间才消费

## 消费者启动流程 ##

![image.png][]

![image.png][image.png 1]

![image.png][image.png 2]

DefaultMQPushConsumerImpl类是核心类

![image.png][image.png 3]

![image.png][image.png 4]

## 消费者模式 ##

### 集群消费 ###

![image.png][image.png 5]

一个Consumer Group中的各个Consumer实例分摊去消费消息，即一条消息只会投递到一个Consumer Group下面的一个实例。

实际上，每个Consumer是平均分摊Message Queue的去做拉取消费。例如某个Topic有3个Queue，其中一个Consumer Group 有 3 个实例（可能是 3 个进程，或者 3 台机器），那么每个实例只消费其中的1个Queue消息。

而由Producer发送消息的时候是轮询所有的Queue，所以消息会平均散落在不同的Queue上，可以认为Queue上的消息是平均的。那么实例也就平均地消费消息了。

这种模式下，**消费进度** **(Consumer Offset)** **的存储会持久化到Broker** 。

### 广播消费 ###

![image.png][image.png 6]

消息将对一个Consumer Group下的各个Consumer实例都投递一遍。即使这些 Consumer 属于同一个Consumer Group，消息也会被Consumer Group 中的每个Consumer都消费一次。

这种模式下，**消费进度** **(Consumer Offset)** **会存储持久化到实例本地** 。

## Consumer负载均衡 ##

### 集群模式 ###

在集群消费模式下，每条消息只需要投递到订阅这个topic的Consumer Group下的一个实例即可。RocketMQ采用主动拉取的方式拉取并消费消息，在拉取的时候需要明确指定拉取哪一条message queue。

而每当实例的数量有变更，都会触发一次所有实例的负载均衡，这时候会按照queue的数量和实例的数量平均分配queue给每个实例。

默认的分配算法是AllocateMessageQueueAveragely，还有另外一种平均的算法是AllocateMessageQueueAveragelyByCircle，也是平均分摊每一条queue，只是以环状轮流分queue的形式

如下图：

![image.png][image.png 7]

需要注意的是，集群模式下，queue都是只允许分配只一个实例，这是由于如果多个实例同时消费一个queue的消息，由于拉取哪些消息是consumer主动控制的，那样会导致同一个消息在不同的实例下被消费多次，所以算法上都是一个queue只分给一个consumer实例，一个consumer实例可以允许同时分到不同的queue。

通过增加consumer实例去分摊queue的消费，可以起到水平扩展的消费能力的作用。而有实例下线的时候，会重新触发负载均衡，这时候原来分配到的queue将分配到其他实例上继续消费。

但是如果consumer实例的数量比message queue的总数量还多的话，多出来的consumer实例将无法分到queue，也就无法消费到消息，也就无法起到分摊负载的作用了。所以需要控制让queue的总数量大于等于consumer的数量。

![image.png][image.png 8]

### 广播模式 ###

由于广播模式下要求一条消息需要投递到一个消费组下面所有的消费者实例，所以也就没有消息被分摊消费的说法。

在实现上，其中一个不同就是在consumer分配queue的时候，所有consumer都分到所有的queue。

## 并发消费流程 ##

一般我们在消费时使用回调函数的方式，使用得最多的是并发消费，消费者客户端代码如下：

![image.png][image.png 9]

在RocketMQ的消费时，整体流程如下：

![image.png][image.png 10]

### 获取topic配置信息 ###

在消费者启动之后，第一步都要从NameServer中获取Topic相关信息。这一步设计到组件之间的交互，RocketMQ使用功能号来设计的。

![image.png][image.png 11]

![image.png][image.png 12]

![image.png][image.png 13]

最终在MQClientAPIImpl类中完成调用

![image.png][image.png 14]

### 获取Group的ConsumerList ###

在消费消息前，需要获取当前分组已经消费的相关信息：ConsumerList

![image.png][image.png 15]

如果是广播消费模式，则不需要从服务器获取消费进度（广播消费模式把进度在本地<消费端>进行存储）

![image.png][image.png 16]

而广播消费模式，则需要从服务器获取消费进度相关信息，具体如下：

![image.png][image.png 17]

![image.png][image.png 18]

### 获取Queue的消费Offset ###

在分配完消费者对应的Queue之后，如果是集群模式的话，需要获取这个消费者对应Queue的消费Offset，便于后续拉取未消费完的消息。  
![image.png][image.png 19]

进入RebalancePushImpl类

![image.png][image.png 20]![image.png][image.png 21]

![image.png][image.png 22]

![image.png][image.png 23]

![image.png][image.png 24]

### 拉取Queue的消息 ###

![image.png][image.png 25]

![image.png][image.png 26]

最终进入DefaultMQPushConsumerImpl类的pullMessage方法

![image.png][image.png 27]

![image.png][image.png 28]

![image.png][image.png 29]

### 更新Queue的消费Offset ###

因为RocketMQ的推模式是基于拉模式实现的，因为拉消息是一批批拉，所以不能做到拉一批提交一次偏移量，所以这里使用定时任务进行偏移量的更新。

![image.png][image.png 30]

![image.png][image.png 31]

![image.png][image.png 32]

## 顺序消费流程 ##

顺序消费代码：![image.png][image.png 33]顺序消费的流程和并发消费流程整体差不多，唯一的多的就是使用锁机制来确保一个队列同时只能被一个消费者消费，从而确保消费的顺序性

ConsumeMessageOrderlyService类

![image.png][image.png 34]

这里有一个定时任务，是每个20秒运行一次（周期性的去续锁，锁的有效期是60S）

![image.png][image.png 35]

![image.png][image.png 36]

![image.png][image.png 37]

## 消费存在的问题 ##

### 消费卡死 ###

消费的流程中，尤其是针对顺序消息，会有卡死的现象，由于顺序消息中需要到Broker中加锁，如果消费者某一个挂了，那么在Broker层是维护了60s的时间才能释放锁，所以在这段时间只能，消费者是消费不了的，在等待锁。

另外如果还有Broker层面也挂了，如果是主从结构，获取锁都是走的Master节点，如果Master节点挂了，走Slave消费，但是slave节点上没有锁，所以顺序消息如果发生了这样的情况，也是会有卡死的现象。

![image.png][image.png 38]

![image.png][image.png 39]

![image.png][image.png 40]

### 启动之后较长时间才消费 ###

在并发消费的时候，当我们启动了非常多的消费者，维护了非常多的topic的时候、或者queue比较多的时候，可以看到消费的流程的交互是要启动多线程，也要做相当多的事情，所以会感觉要启动较长的时间才能消费。

[image.png]: https://img-blog.csdnimg.cn/img_convert/0bb1fc247757eac716d8a15cfa53bb05.png
[image.png 1]: https://img-blog.csdnimg.cn/img_convert/5df0f682bc36cae54d95217e3778528c.png
[image.png 2]: https://img-blog.csdnimg.cn/img_convert/d23c94b8c2efc45eeec0485984020b90.png
[image.png 3]: https://img-blog.csdnimg.cn/img_convert/e14eda13d5e0307899f535b27c14e584.png
[image.png 4]: https://img-blog.csdnimg.cn/img_convert/ec152c8c3c009bd7120b92ab3a13eebb.png
[image.png 5]: https://img-blog.csdnimg.cn/img_convert/e675b43b14eb61b9e26731345a36f760.png
[image.png 6]: https://img-blog.csdnimg.cn/img_convert/2d32cfe0034cb4a02a0b28cdb2c2664a.png
[image.png 7]: https://img-blog.csdnimg.cn/img_convert/9f1f146acbbf29d8302d79d969c8121e.png
[image.png 8]: https://img-blog.csdnimg.cn/img_convert/99264676ba4e2ff855c1e068557e90c4.png
[image.png 9]: https://img-blog.csdnimg.cn/img_convert/cbda361c3f2192de6b1627aefb81cb41.png
[image.png 10]: https://img-blog.csdnimg.cn/img_convert/687fd321cfcc46ad48be8748c7e54407.png
[image.png 11]: https://img-blog.csdnimg.cn/img_convert/417a6dbef53fbe559bd62716596bc09f.png
[image.png 12]: https://img-blog.csdnimg.cn/img_convert/89644cce7d2e8992e412e05508a48f69.png
[image.png 13]: https://img-blog.csdnimg.cn/img_convert/063e851daee59bdb0d9dcc906c16d8ed.png
[image.png 14]: https://img-blog.csdnimg.cn/img_convert/54d5cbe1de74a79bc4e45b7d96ce3c51.png
[image.png 15]: https://img-blog.csdnimg.cn/img_convert/cbc7cb57fa1daa5a9f2a841bb315f5a4.png
[image.png 16]: https://img-blog.csdnimg.cn/img_convert/29b5ac64d6cbe21a7edbd1bf87cc49ee.png
[image.png 17]: https://img-blog.csdnimg.cn/img_convert/f6a140db0b28387fd37150ce3cbe561a.png
[image.png 18]: https://img-blog.csdnimg.cn/img_convert/1b0812db90670cbf1a146eca6fbe55da.png
[image.png 19]: https://img-blog.csdnimg.cn/img_convert/006cfd11cc9145105bb9affcb55e1721.png
[image.png 20]: https://img-blog.csdnimg.cn/img_convert/55d7b7be27e8a5220e04bd5ff6920b81.png
[image.png 21]: https://img-blog.csdnimg.cn/img_convert/80790d194703a6ca76b9f3436413d054.png
[image.png 22]: https://img-blog.csdnimg.cn/img_convert/38688bda0adb5deac816bd67de467f91.png
[image.png 23]: https://img-blog.csdnimg.cn/img_convert/34cf4ba4565124f63fac88d7339b558c.png
[image.png 24]: https://img-blog.csdnimg.cn/img_convert/3ca861611c180d244417b03473309199.png
[image.png 25]: https://img-blog.csdnimg.cn/img_convert/42f74d0f1ab425f0b09e7f904bc092a7.png
[image.png 26]: https://img-blog.csdnimg.cn/img_convert/c80ec0e8aa79cb1487580345b15a0d8a.png
[image.png 27]: https://img-blog.csdnimg.cn/img_convert/758dd2df484fccd003b3f6abb453c100.png
[image.png 28]: https://img-blog.csdnimg.cn/img_convert/1fe2adb4dfb6755ba3202a08cd0dfb96.png
[image.png 29]: https://img-blog.csdnimg.cn/img_convert/0f4c48b858cbdf6887ef4b5365fa9dbb.png
[image.png 30]: https://img-blog.csdnimg.cn/img_convert/8c877755a7fe0bbec02188c16d560252.png
[image.png 31]: https://img-blog.csdnimg.cn/img_convert/49614d4327da0af0bf44c5404fd80a85.png
[image.png 32]: https://img-blog.csdnimg.cn/img_convert/b7180b1a15cdcf51f7d20813e1ba126b.png
[image.png 33]: https://img-blog.csdnimg.cn/img_convert/05717a67ee1b019347bf3d1a65ad5d78.png
[image.png 34]: https://img-blog.csdnimg.cn/img_convert/ac74361d32c61a856ec8515c979adea0.png
[image.png 35]: https://img-blog.csdnimg.cn/img_convert/c0f11c72b62b5833ac8a431f53dfa51d.png
[image.png 36]: https://img-blog.csdnimg.cn/img_convert/fd3e4efe0d5bb3c084c924897a1311e9.png
[image.png 37]: https://img-blog.csdnimg.cn/img_convert/830ecfb5a4e7541b4295163d37205241.png
[image.png 38]: https://img-blog.csdnimg.cn/img_convert/13084e0f185bf05b288b5b3def89b567.png
[image.png 39]: https://img-blog.csdnimg.cn/img_convert/e51ce92c35411dd5226a63e930aedc27.png
[image.png 40]: https://img-blog.csdnimg.cn/img_convert/5d8b3e7ffb73e1ac27b60ea03b79230e.png