【问题系列】消费者与MQ连接断开问题解决方案(二)

我会带着你远行 2024-02-17 11:45 27阅读 0赞

![1eae35be602b4ba8a21d881fe4ea09ea.png][]

## 1. 问题描述 ##

> 当使用RabbitMQ作为中间件，而消费者为服务时，可能会出现以下情况：在长时间没有消息传递后，消费者与RabbitMQ之间出现连接断开，导致无法处理新消息。解决这一问题的方法是重启Python消费者服务，之后连接恢复正常。

## 2. 解决步骤 ##

### 方案一： ###

[【问题系列】消费者与MQ连接断开问题解决方案(一)][MQ]

> 为了排查和处理这个问题，可以采取以下步骤：
> 
> 1.  连接设置审查：
> 2.  网络状况检查：
> 3.  消费者代码审查：
> 4.  RabbitMQ服务器检查：
> 5.  监控和报警设置：

###  ###

### **2.4 RabbitMQ服务器检查：** ###

>  *  查看RabbitMQ服务器日志，寻找关于连接断开的错误消息或警告。
>  *  确保RabbitMQ服务器的资源充足，不会因资源限制导致连接异常断开。

#### 1. 日志排查 ####

**找到 RabbitMQ 日志文件位置：**

>  *  默认情况下，RabbitMQ 的日志文件通常位于 `/var/log/rabbitmq/` 目录下（对于 Linux）。具体位置可能因操作系统和安装方式而有所不同。
>  *  你也可以通过 RabbitMQ 的配置文件中的 `log_dir` 参数来确定日志存储位置。配置文件通常在 `/etc/rabbitmq/` 目录下。

**打开 RabbitMQ 日志文件：**

>  *  使用文本编辑器或命令行工具，打开 RabbitMQ 的日志文件。例如，在 Linux 中可以使用 `cat` 或 `tail` 命令。
>     
>         cat /var/log/rabbitmq/rabbit@hostname.log
>     
>     或者使用 `tail` 查看实时日志：
>     
>         tail -f /var/log/rabbitmq/rabbit@hostname.log

**查找连接断开相关信息：**

>  *  在日志文件中搜索关键字，例如 "closed", "disconnected", "error" 等，以找到与连接断开相关的消息。这些消息通常包含有关连接状态和可能的错误原因的信息。

**注意警告和错误消息：**

>  *  注意日志中的警告和错误消息，它们通常提供了有关连接断开的详细信息。这可能涉及到网络问题、身份验证错误、资源限制等方面的问题。

**确定日志级别：**

>  *  确保你查看的日志级别包含足够详细的信息。在 RabbitMQ 的配置文件中，你可以设置 `log_levels` 参数来调整日志级别。较低的级别可能不会包含详细的连接信息。

**考虑开启 TRACE 日志：**

>     log_levels.{"connection", "channel", "federation"} = trace
> 
> 这会将特定组件的日志级别设置为 `trace`。
> 
>  *  如果问题比较复杂，你还可以考虑在 RabbitMQ 的配置文件中开启 TRACE 日志级别，以获取更为详细的跟踪信息。

> 通过查看 RabbitMQ 服务器日志，可以获得更多关于连接断开的上下文信息，有助于更精确地定位和解决问题。在排查过程中，确保理解日志中的各个信息，并尝试根据其中的提示采取相应的措施。

#### 2. 资源排查 ####

> 确保 RabbitMQ 服务器的资源充足，避免因资源限制导致连接异常断开是非常重要的。以下是详细的排查步骤：

**查看 RabbitMQ 进程状态：**

>     ps aux | grep rabbitmq
> 
> 使用系统的进程管理工具，如 `ps`（Linux）或任务管理器（Windows），检查 RabbitMQ 进程的状态。确保 RabbitMQ 进程正在运行，并且没有异常终止。

**检查系统资源使用情况：**

> 使用系统监控工具（如 `top` 或 `htop` 在 Linux，或任务管理器在 Windows）查看系统资源使用情况。确保内存、CPU 和磁盘等资源没有达到极限。

**查看 RabbitMQ 节点状态：**

>     rabbitmqctl node_health_check
> 
> 使用 RabbitMQ 命令行工具或管理插件查看 RabbitMQ 节点的状态。你可以通过执行以下命令来查看节点状态：
> 
> 还可以使用 RabbitMQ 的 Web 界面（如果已启用）查看节点状态。

**检查 RabbitMQ 日志中的资源相关信息：**

> 在 RabbitMQ 的日志文件中查找与资源限制相关的警告或错误消息。这些消息可能包含有关资源使用超过阈值的信息。

**调整 RabbitMQ 配置文件中的资源参数：**

> 打开 RabbitMQ 的配置文件（通常位于 `/etc/rabbitmq/` 目录下），检查并调整与资源限制相关的参数，例如 `vm_memory_high_watermark`, `disk_free_limit` 等。
> 
> 确保 RabbitMQ 进程有足够的内存和磁盘空间来处理消息。

**考虑 RabbitMQ 集群中节点间的资源分配：**

> 如果你使用 RabbitMQ 集群，确保所有节点上的资源分配均衡。一个节点上的资源耗尽可能影响整个集群的稳定性。

**检查操作系统级别的资源限制：**

> 确保操作系统对 RabbitMQ 进程设置的资源限制是合理的。这包括文件描述符、最大进程数等。可以通过查看 `/etc/security/limits.conf` 文件（Linux）来检查限制。

**查看 RabbitMQ 的内部性能指标：**

> 使用 RabbitMQ 管理插件或 Prometheus 等监控工具查看 RabbitMQ 的内部性能指标。这可以帮助你了解 RabbitMQ 是否正常运行，以及是否存在潜在的资源问题。

**考虑升级 RabbitMQ 版本：**

> 检查正在使用的 RabbitMQ 版本，查看是否存在已知的资源管理方面的问题。在某些情况下，升级到最新版本可能有助于解决问题。

> 通过逐步执行上述排查步骤，可以更全面地了解 RabbitMQ 服务器的资源状态，并采取相应的措施来确保资源充足，从而预防因资源限制导致连接异常断开的问题。

### **2.5 监控和报警设置：** ###

>  *  使用监控工具监视RabbitMQ和消费者的连接状态，实时了解连接健康状况。
>  *  设置报警机制，当连接断开时及时收到通知，以便采取相应措施。

#### 1. 监控 ####

> 使用监控工具监视 RabbitMQ 和消费者的连接状态可以帮助你实时了解连接的健康状况，以及识别潜在的问题。以下是详细的步骤：

##### 监视 RabbitMQ： #####

**安装 RabbitMQ Management 插件：**

>  *  RabbitMQ 提供了一个管理插件，可以通过 Web 界面查看 RabbitMQ 的状态。确保已安装并启用该插件。你可以使用以下命令安装插件：
>     
>         rabbitmq-plugins enable rabbitmq_management
>  *  确认 RabbitMQ Management 插件是否已成功启用。

**访问 RabbitMQ Management 界面：**

>  *  打开浏览器，访问 RabbitMQ Management 界面，通常默认地址为 `http://localhost:15672/`。
>  *  使用 RabbitMQ 的管理员账户登录（默认是 `guest`/`guest`）。

**查看连接信息：**

> 在 RabbitMQ Management 界面中，导航到 "Connections" 标签，查看活动的连接列表。这里你可以看到消费者与 RabbitMQ 之间的连接状态，包括连接的数量、状态、通道数等。

**查看节点状态：**

> 在 RabbitMQ Management 界面中，导航到 "Nodes" 标签，查看节点的整体状态，包括内存使用、磁盘使用等。

**查看队列信息：**

> 在 RabbitMQ Management 界面中，导航到 "Queues" 标签，查看队列的状态，包括消息数、消费者数等。这有助于了解消息的积压情况。

##### 监视消费者： #####

**使用应用性能监控工具：**

> 使用应用性能监控工具，如 New Relic、Datadog、AppDynamics 等，来监视你的消费者应用。这些工具通常提供对应用程序的实时性能和连接状态的详细信息。

**使用日志和指标：**

> 在消费者代码中集成日志和性能指标记录。通过日志可以追踪连接的建立和断开，而性能指标可以提供消费者的运行状况。

**自定义监控点：**

> 在消费者代码中添加自定义监控点，例如在处理消息的开始和结束时记录时间戳。这样可以通过监视这些时间戳来了解消息处理的性能和耗时。

**使用队列长度信息：**

> 在消费者代码中，考虑记录并报告消费者处理的队列的长度。队列长度的增加可能是连接问题或处理速度不足的迹象。

##### 配置警报： #####

**设置监控警报规则：**

> 配置监控工具或系统来设置警报规则，以便在连接数达到阈值、队列长度超过限制或消费者应用性能下降时收到通知。

**实时警报通知：**

> 使用监控工具提供的实时警报通知功能，确保能够及时收到有关连接问题的警报。

> 通过这些监控工具和设置，你可以实时了解 RabbitMQ 和消费者的连接状态，及时发现并解决潜在的问题，确保系统的稳定性和可用性。

[1eae35be602b4ba8a21d881fe4ea09ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/bace6f1224dc4cdd8dd9b142a6ade880.png
[MQ]: https://blog.csdn.net/weixin_36755535/article/details/134673267?spm=1001.2014.3001.5501