使用阿里云的RocketMQ中遇到的若干问题

た入场券 2021-10-29 07:18 1227阅读 0赞

## Python的TCP订阅模式 ##

官方文档上面RocketMQ的Python版本只支持HTTP的GroupID，链接为：https://github.com/aliyunmq/mq-http-python-sdk。

HTTP版本的SDK看起来是以轮询的形式来获取数据的，并且在控制台上也看不到使用HTTP版本SDK的连接状态。

还有社区版本的SDK。是用Python调用C++的SDK，其实也就是TCP版的C++ SDK。

无奈当时官网上并没有放出社区版本的Python SDK，现在已经有了，可以直接在官方文档上看到。如下：

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvSmlldHUyMDE5MDgxOS0xODU1MDMuanBn][]

## 订阅一致 ##

来源：https://help.aliyun.com/document\_detail/43523.html

订阅关系一致指的是同一个消费者 Group ID 下所有 Consumer 实例的处理逻辑必须完全一致。一旦订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失（**关于消息丢失，在项目中确实遇到了，绞尽脑汁也没找出原因是什么，后面看到这个概念才恍然大悟**）。消息队列 RocketMQ 里的一个消费者 Group ID 代表一个 Consumer 实例群组。对于大多数分布式应用来说，一个消费者 Group ID 下通常会挂载多个 Consumer 实例。

由于消息队列 RocketMQ 的订阅关系主要由 Topic + Tag 共同组成，因此，保持订阅关系一致意味着同一个消费者 Group ID 下所有的实例需在以下两方面均保持一致：

1.  订阅的 Topic 必须一致
2.  订阅的 Topic 中的 Tag 必须一致

### 正确订阅关系图片示例 ###

在下图中，多个 Group ID 订阅了多个 Topic，并且每个 Group ID 里的多个消费者实例的订阅关系保持了一致。

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvc3Vic2NyaXRwaW9uMi5wbmc][]

### 错误订阅关系图片示例 ###

在下图中，单个 Group ID 订阅了多个 Topic，但是该 Group ID 里的多个消费者实例的订阅关系并没有保持一致。

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvc3Vic2NyaXB0aW9uMy5wbmc][]

## RocketMQ的三种发送模式 ##

来源：https://help.aliyun.com/document\_detail/43163.html

消息队列 RocketMQ 是基于发布/订阅模型的消息系统。消息的订阅方订阅关注的 Topic，以获取并消费消息。由于订阅方应用一般是分布式系统，以集群方式部署有多台机器。因此消息队列 RocketMQ 约定以下概念。

*  集群：使用相同 Group ID 的订阅者属于同一个集群。同一个集群下的订阅者消费逻辑必须完全一致（包括 Tag 的使用），这些订阅者在逻辑上可以认为是一个消费节点。
 *  集群消费：当使用集群消费模式时，消息队列 RocketMQ 认为任意一条消息只需要被集群内的任意一个消费者处理即可。
 *  广播消费：当使用广播消费模式时，消息队列 RocketMQ 会将每条消息推送给集群内所有注册过的客户端，保证消息至少被每台机器消费一次。

### 集群消费模式： ###

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvamlxdWFueGlhb2ZlaW1vc2hpLnBuZw][]

适用场景&注意事项

*  消费端集群化部署，每条消息只需要被处理一次。
 *  由于消费进度在服务端维护，可靠性更高。
 *  集群消费模式下，每一条消息都只会被分发到一台机器上处理。如果需要被- 集群下的每一台机器都处理，请使用广播模式。
 *  集群消费模式下，不保证每一次失败重投的消息路由到同一台机器上，因此处理消息时不应该做任何确定性假设。

### 广播消费模式： ###

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvZ3Vhbmdib3hpYW9mZWltb3NoaS5wbmc][]

适用场景&注意事项

*  广播消费模式下不支持顺序消息。
 *  广播消费模式下不支持重置消费位点。
 *  每条消息都需要被相同逻辑的多台机器处理。
 *  消费进度在客户端维护，出现重复的概率稍大于集群模式。
 *  广播模式下，消息队列 RocketMQ 保证每条消息至少被每台客户端消费一次，但是并不会对消费失败的消息进行失败重投，因此业务方需要关注消费失败的情况。
 *  广播模式下，客户端每一次重启都会从最新消息消费。客户端在被停止期间发送至服务端的消息将会被自动跳过，请谨慎选择。
 *  广播模式下，每条消息都会被大量的客户端重复处理，因此推荐尽可能使用集群模式。
 *  目前仅 Java 客户端支持广播模式。
 *  广播模式下服务端不维护消费进度，所以消息队列 RocketMQ 控制台不支持消息堆积查询、消息堆积报警和订阅关系查询功能。

### 使用集群模式模拟广播： ###

如果业务需要使用广播模式，也可以创建多个 Group ID，用于订阅同一个 Topic。

![aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvZ3JvdXBpZDIucG5n][]

适用场景&注意事项

*  每条消息都需要被多台机器处理，每台机器的逻辑可以相同也可以不一样。
 *  消费进度在服务端维护，可靠性高于广播模式。
 *  对于一个 Group ID 来说，可以部署一个消费端实例，也可以部署多个消费端实例。 当部署多个消费端实例时，实例之间又组成了集群模式（共同分担消费消息）。 假设 Group ID 1 部署了三个消费者实例 C1、C2、C3，那么这三个实例将共同分担服务器发送给 Group ID 1 的消息。 同时，实例之间订阅关系必须保持一致。

[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvSmlldHUyMDE5MDgxOS0xODU1MDMuanBn]: /images/20211029/44d89fee3d724378b74fb325f8e3bc84.png
[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvc3Vic2NyaXRwaW9uMi5wbmc]: /images/20211029/46905b44023c43968df1299a70ac7cba.png
[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvc3Vic2NyaXB0aW9uMy5wbmc]: /images/20211029/04ac7de6e4e04ae48374e659b9b06eb3.png
[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvamlxdWFueGlhb2ZlaW1vc2hpLnBuZw]: /images/20211029/7a9a45a089d2441aa16ffcb464d6768d.png
[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvZ3Vhbmdib3hpYW9mZWltb3NoaS5wbmc]: /images/20211029/ce19feb1ff4c4a078ec84bc1d28940ff.png
[aHR0cHM6Ly9naXRlZS5jb20veHVjaHVhbmp1bi9waWNzL3Jhdy9tYXN0ZXIvZ3JvdXBpZDIucG5n]: /images/20211029/18710a06319c4b71939c5a6234773d38.png