Rocketmq集群consumer消费(同组及不同组)

「爱情、让人受尽委屈。」 2022-01-14 05:55 1341阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

一 机器部署

1、机器组成

7台机器，均为16G内存

每台服务器均有4个CPU，2核

![25155449\_8t4q.jpg][25155449_8t4q.jpg]

2、运行环境配置

![25155449\_nCXe.jpg][25155449_nCXe.jpg]

3、刷盘方式

每台机器master机器均采用异步刷盘方式

![25155449\_60Ze.jpg][25155449_60Ze.jpg]

![25155450\_kqvo.jpg][25155450_kqvo.jpg]

二 、同组consumer均衡消费queue

1、评测目的

测试同一个consumerGroup组的所有consumer均衡消费同一个topic的所有queue。

2、评测指标

master机器个数

topic的队列数

consumerGroup组的consumer个数

3、评测逻辑

总队列数值 = master机器个数 \* 指定topic的queue个数

如果某个topic有4个队列， 存在6个consumer，在有两台master机器场景下，那么第一个、第二个Consumer消费2个队列，其余consumer消费1个队列。

如果Consumer 超过队列数量，那么多余的Consumer将不能消费消息。

4、评测步骤

（1）通过rocketmq管理控制台创建topic，并指定默认的队列个数。

（2）配置一组具有相同consumerGroup名称的consumer，并启动consumer端。

（3）配置producer端，并向指定的topic发送消息。

（4）记录consumer端的消费记录，分析每个consumer消费的queueId和broker机器所在的IP

（5）更新topic的queue个数，重复步骤2、3、4。

5、评测过程

（1）第一组

创建topic，更新默认的队列个数为4个

![25155450\_ZMrH.jpg][25155450_ZMrH.jpg]

启动producer端，发送20条消息，记录如下：

![25155450\_98A4.jpg][25155450_98A4.jpg]

6个consumer端的消费记录如下：

第1个consumer：

![25155450\_5HZm.jpg][25155450_5HZm.jpg]

第2个consumer：

![25155450\_5t2y.jpg][25155450_5t2y.jpg]

第3个consumer：

![25155450\_eIMy.jpg][25155450_eIMy.jpg]

第4个consumer：

![25155450\_lF8H.jpg][25155450_lF8H.jpg]

第5个consumer：

![25155450\_ElXg.jpg][25155450_ElXg.jpg]

第6个consumer：

![25155450\_GzY0.jpg][25155450_GzY0.jpg]

分析得出结论：

<table> 
 <tbody> 
  <tr> 
   <td>总队列数量</td> 
   <td>Consumer数量</td> 
   <td>Reblance结果<br> （期望）</td> 
   <td>Reblance结果<br> (实际）</td> 
   <td>Master机器</td> 
   <td>消费条数</td> 
  </tr> 
  <tr> 
   <td>Master1</td> 
   <td>Master2</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>6</td> 
   <td>C1：2</td> 
   <td>C1：2</td> 
   <td>2</td> 
   <td>0</td> 
   <td>6</td> 
  </tr> 
  <tr> 
   <td>C2：2</td> 
   <td>C2：2</td> 
   <td>2</td> 
   <td>0</td> 
   <td>6</td> 
  </tr> 
  <tr> 
   <td>C3：1</td> 
   <td>C3：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>C4：1</td> 
   <td>C4：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>C5：1</td> 
   <td>C5：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>C6：1</td> 
   <td>C6：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
 </tbody> 
</table>

（2）第二组

创建topic，更新默认的队列个数为3个

![25155450\_0eOo.jpg][25155450_0eOo.jpg]

启动producer端，发送20条消息，记录如下：

![25155450\_iN7D.jpg][25155450_iN7D.jpg]

6个consumer端的消费记录如下：

第1个consumer：

![25155450\_Rgee.jpg][25155450_Rgee.jpg]

第2个consumer：

![25155450\_y513.jpg][25155450_y513.jpg]

第3个consumer：

![25155450\_Z5FI.jpg][25155450_Z5FI.jpg]

第4个consumer：

![25155451\_pz72.jpg][25155451_pz72.jpg]

第5个consumer：

![25155451\_7Uco.jpg][25155451_7Uco.jpg]

第6个consumer：

![25155451\_NrQx.jpg][25155451_NrQx.jpg]

分析得出结论：

<table> 
 <tbody> 
  <tr> 
   <td>总队列数量</td> 
   <td>Consumer数量</td> 
   <td>Reblance结果<br> （期望）</td> 
   <td>Reblance结果<br> (实际）</td> 
   <td>Master机器</td> 
   <td>消费条数</td> 
  </tr> 
  <tr> 
   <td>Master1</td> 
   <td>Master2</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>6</td> 
   <td>C1：1</td> 
   <td>C1：1</td> 
   <td>1</td> 
   <td>0</td> 
   <td>4</td> 
  </tr> 
  <tr> 
   <td>C2：1</td> 
   <td>C2：1</td> 
   <td>1</td> 
   <td>0</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>C3：1</td> 
   <td>C3：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>C4：1</td> 
   <td>C4：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>C5：1</td> 
   <td>C5：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>C6：1</td> 
   <td>C6：1</td> 
   <td>1</td> 
   <td>0</td> 
   <td>4</td> 
  </tr> 
 </tbody> 
</table>

（2）第三组

创建topic，更新默认的队列个数为2个

![25155451\_XMSi.jpg][25155451_XMSi.jpg]

启动producer端，发送20条消息，记录如下：

![25155451\_remK.jpg][25155451_remK.jpg]

6个consumer端的消费记录如下：

第1个consumer：

![25155451\_BAMI.jpg][25155451_BAMI.jpg]

第2个consumer：

![25155451\_UUr7.jpg][25155451_UUr7.jpg]

第3个consumer：

![25155451\_N50t.jpg][25155451_N50t.jpg]

第4个consumer：

![25155451\_pnwX.jpg][25155451_pnwX.jpg]

第5个consumer：

![25155451\_WgXU.jpg][25155451_WgXU.jpg]

第6个consumer：

![25155451\_JLeN.jpg][25155451_JLeN.jpg]

分析得出结论：

<table> 
 <tbody> 
  <tr> 
   <td>总队列数量</td> 
   <td>Consumer数量</td> 
   <td>Reblance结果<br> （期望）</td> 
   <td>Reblance结果<br> (实际）</td> 
   <td>Master机器</td> 
   <td>消费条数</td> 
  </tr> 
  <tr> 
   <td>Master1</td> 
   <td>Master2</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>6</td> 
   <td>C1：1</td> 
   <td>C1：1</td> 
   <td>1</td> 
   <td>0</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>C2：1</td> 
   <td>C2：1</td> 
   <td>0</td> 
   <td>0</td> 
   <td>0</td> 
  </tr> 
  <tr> 
   <td>C3：1</td> 
   <td>C3：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>C4：1</td> 
   <td>C4：1</td> 
   <td>0</td> 
   <td>1</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>C5：1</td> 
   <td>C5：1</td> 
   <td>1</td> 
   <td>0</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>C6：1</td> 
   <td>C6：1</td> 
   <td>0</td> 
   <td>0</td> 
   <td>0</td> 
  </tr> 
 </tbody> 
</table>

三个组的测试结果，的确达到了queue均匀消费。分析队列数量、Consumer数量、Replance结果如下表

<table> 
 <tbody> 
  <tr> 
   <td>总队列数量</td> 
   <td>Consumer数量</td> 
   <td>Reblance结果</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>6</td> 
   <td>C1 - C2：2<br> C3 - C6：1</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>6</td> 
   <td>C1 - C6：1</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>6</td> 
   <td>C1 - C4：1<br> C5 - C6：0</td> 
  </tr> 
 </tbody> 
</table>

三、不同组consumer消费相同topic

1、评测目的

测试多个不相同的consumerGroup组的所有consumer消费同一个topic的消息。

2、评测指标

consumerGroup组的名称以及instanceName实例

topic消息的个数、顺序、queueId、msgId

3、评测逻辑

位于不同consumerGroup组的 consumer端，可以同时消费相同topic的消息，所以只需要记录不同组的consumerGroup消费消息msgId的顺序即可。

4、评测步骤

（1）创建两个不同consumerGroup组的consumer端。

（2）配置producer端，并向指定的topic发送消息，记录消息的msgId、body等信息

（3）对比分析消费记录。

5、评测过程

创建不同comsumerGroup组，启动各自的consumer实例。

![25155452\_3sTc.jpg][25155452_3sTc.jpg]

![25155452\_Z0jj.jpg][25155452_Z0jj.jpg]

producer向指定topic发送消息，消息记录如下

![25155452\_A096.jpg][25155452_A096.jpg]

consumer端消费记录如下

![25155452\_5mAI.jpg][25155452_5mAI.jpg]

![25155452\_MuUc.jpg][25155452_MuUc.jpg]

分析消费记录可知

两组consumerGroup的consumer实例均消费了同一个topic的所有消息，包括消息的顺序、msgId、queueId等等都是完全一致的，测试结果与期望相符合。

四、评测结果

1、位于相同consumerGroup组的consumer端，在消费同一个topic的队列的数据，可以均衡消费queue。

注：queue的总数 = master机器台数 \* topic的队列数

2、不同组的consumerGroup的consumer端，可以消费相同的topic消息，且消费消息的顺序、msgId、offset、body等参数完全一致。

3、剩余的功能点，本周暂未测试，留待后续深入研究。

（1）支持动态切换topic、minOffset

（2）当一个group下的consumer在消费过程中断服务，切换另外的group下的consumer开始消费，观察是否隔离

（3）消息从哪里开始消费、消息回溯

（4）重试队列、死信队列

4、已测试功能点

（1）集群消费动态加入、删除、负载

（2）广播消费

（3）延迟消费(2分钟、1分钟、10秒)

（4）Producer设置topic的queue数目

（5）pull中拉取消息分页数目

（6）一个consumer可订阅多个topic，可选择性的订阅topic的tag

（7）当前消费数，最大消费数

（8）消息堆积数量处理

（9）一个group下平分一个topic的quene

（10）不同组的group同时消费一个topic

转载于:https://my.oschina.net/tantexian/blog/703804

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220114/5b79908b843842d9bd4fa14e0f35a4a0.png
[25155449_8t4q.jpg]: https://static.oschina.net/uploads/img/201611/25155449_8t4q.jpg
[25155449_nCXe.jpg]: https://static.oschina.net/uploads/img/201611/25155449_nCXe.jpg
[25155449_60Ze.jpg]: https://static.oschina.net/uploads/img/201611/25155449_60Ze.jpg
[25155450_kqvo.jpg]: https://static.oschina.net/uploads/img/201611/25155450_kqvo.jpg
[25155450_ZMrH.jpg]: https://static.oschina.net/uploads/img/201611/25155450_ZMrH.jpg
[25155450_98A4.jpg]: https://static.oschina.net/uploads/img/201611/25155450_98A4.jpg
[25155450_5HZm.jpg]: https://static.oschina.net/uploads/img/201611/25155450_5HZm.jpg
[25155450_5t2y.jpg]: https://static.oschina.net/uploads/img/201611/25155450_5t2y.jpg
[25155450_eIMy.jpg]: https://static.oschina.net/uploads/img/201611/25155450_eIMy.jpg
[25155450_lF8H.jpg]: https://static.oschina.net/uploads/img/201611/25155450_lF8H.jpg
[25155450_ElXg.jpg]: https://static.oschina.net/uploads/img/201611/25155450_ElXg.jpg
[25155450_GzY0.jpg]: https://static.oschina.net/uploads/img/201611/25155450_GzY0.jpg
[25155450_0eOo.jpg]: https://static.oschina.net/uploads/img/201611/25155450_0eOo.jpg
[25155450_iN7D.jpg]: https://static.oschina.net/uploads/img/201611/25155450_iN7D.jpg
[25155450_Rgee.jpg]: https://static.oschina.net/uploads/img/201611/25155450_Rgee.jpg
[25155450_y513.jpg]: https://static.oschina.net/uploads/img/201611/25155450_y513.jpg
[25155450_Z5FI.jpg]: https://static.oschina.net/uploads/img/201611/25155450_Z5FI.jpg
[25155451_pz72.jpg]: https://static.oschina.net/uploads/img/201611/25155451_pz72.jpg
[25155451_7Uco.jpg]: https://static.oschina.net/uploads/img/201611/25155451_7Uco.jpg
[25155451_NrQx.jpg]: https://static.oschina.net/uploads/img/201611/25155451_NrQx.jpg
[25155451_XMSi.jpg]: https://static.oschina.net/uploads/img/201611/25155451_XMSi.jpg
[25155451_remK.jpg]: https://static.oschina.net/uploads/img/201611/25155451_remK.jpg
[25155451_BAMI.jpg]: https://static.oschina.net/uploads/img/201611/25155451_BAMI.jpg
[25155451_UUr7.jpg]: https://static.oschina.net/uploads/img/201611/25155451_UUr7.jpg
[25155451_N50t.jpg]: https://static.oschina.net/uploads/img/201611/25155451_N50t.jpg
[25155451_pnwX.jpg]: https://static.oschina.net/uploads/img/201611/25155451_pnwX.jpg
[25155451_WgXU.jpg]: https://static.oschina.net/uploads/img/201611/25155451_WgXU.jpg
[25155451_JLeN.jpg]: https://static.oschina.net/uploads/img/201611/25155451_JLeN.jpg
[25155452_3sTc.jpg]: https://static.oschina.net/uploads/img/201611/25155452_3sTc.jpg
[25155452_Z0jj.jpg]: https://static.oschina.net/uploads/img/201611/25155452_Z0jj.jpg
[25155452_A096.jpg]: https://static.oschina.net/uploads/img/201611/25155452_A096.jpg
[25155452_5mAI.jpg]: https://static.oschina.net/uploads/img/201611/25155452_5mAI.jpg
[25155452_MuUc.jpg]: https://static.oschina.net/uploads/img/201611/25155452_MuUc.jpg