「中间件」消息中间件如何实现每秒几十万的高并发写入？

深碍√TFBOYSˉ_ 2021-12-15 17:09 265阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZW5naGhneg_size_16_color_FFFFFF_t_70]

#### 前言 ####

用过消息中间件的都知道能够解决业务中的性能瓶颈，那么消息中间件如何实现每秒几十万的高并发写入？  
消息中间件存储

首先理解一点，消息中间件一般都是存储在磁盘上的，大家都知道直接在磁盘读写是有性能瓶颈的，不可能达到每秒几十万的吞吐量，那么消息中间件是怎么保证读写性能的呢？

#### 写数据 ####

1、消息中间件是基于操作系统的页缓存来实现文件写入的。操作系统本身有一层缓存，叫做page cache，是在内存里的缓存，我们也可以称之为os cache，意思就是操作系统自己管理的缓存。

我们在写入磁盘文件的时候，可以直接写入这个os cache里，也就是仅仅写入内存中，接下来由操作系统自己决定什么时候把os cache里的数据真的刷入磁盘文件中。也就是说我们写是挨个写入缓存中，系统批量写入磁盘。

2、写磁盘文件并不是随机添加的，而是在文件末尾追加的，这也就保证了消息在单个磁盘文件的顺序性（多分区就不能保证顺序了）。

#### 读数据 ####

1、消息中间件读数据也是从os cache中读取的，如果os cache中没有，系统会去磁盘中批量读取一部分数据，放入os cache中。

2、消息中间件用到一种叫做零拷贝的技术。

一般我们完成一次网络传输拷贝，需要以下几步：

1）调用read系统接口，将数据从磁盘文件拷贝到读内核缓冲区。

2）从读内核缓冲区拷贝到用户空间缓存；

3）调用write系统接口，将数据从用户空间拷贝到写内核空间缓冲区。

4）将数据从内核空间缓冲区拷贝到socket缓存冲，准备网络传输。

上面我们可以看出，一共进行了四次数据拷贝。使用零拷贝技术，我们调用mmap接口，在用户空间和内核空间共享一段内存。这样我们就只需要两次拷贝。

1）将磁盘文件数据拷贝到mmap共享内存区。

2）将数据从mmap共享内存区拷贝到socket缓存区。

这样我们就减少了一半的数据拷贝，缩短时间。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZW5naGhneg_size_16_color_FFFFFF_t_70]: /images/20211215/f492959957404da3ac2294316b264f01.png

发表评论取消回复

表情：

评论列表（有 0 条评论，265人围观）

还没有评论，来说两句吧...

相关阅读

相关 Beanstalkd消息中间件实现秒杀功能

Beanstalkd技术及环境搭建参考 > 《消息中间件Beanstalkd技术指南》参见：[https://blog.csdn.net/yan\_dk/articl

朱雀/ 2023年07月04日 04:43/ 0 赞/ 121 阅读

相关消息中间件

1. 什么是消息中间件消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。消息中间件则是将软件与软件之间的交互方式进

布满荆棘的人生/ 2022年10月02日 13:54/ 0 赞/ 271 阅读

相关中间件-消息中间件

jms是java ee 的消息规范，其实现是hornetq和activemq等，小型系统直接使用jms是可以的但是大型系统不太适用。消息中间件主要保证消息的顺序保证，扩展性

旧城等待，/ 2022年08月10日 05:59/ 0 赞/ 346 阅读

相关消息中间件

消息中间件消息中间件的技术选型心得－RabbitMQ、ActiveMQ和ZeroMQ http://blog.csdn.net/chszs/articl

水深无声/ 2022年06月06日 09:51/ 0 赞/ 298 阅读

相关高并发的核心技术 - 消息中间件（MQ）

高并发的核心技术 - 消息中间件（MQ）什么是MQ 跨进程的消息队列，主要角色包括生产者与消费者。生产者只负责生产信息，无法感知消费者是

迷南。/ 2022年05月04日 11:28/ 0 赞/ 200 阅读

相关消息中间件如何实现每秒几十万的高并发写入？

欢迎关注个人公众号：石杉的架构笔记（ID:shishan100）周一至周五早8点半！精品技术文章准时送上！精品学习资料获取通道，参见文末目录 1、页缓存技术

蔚落/ 2022年03月12日 05:42/ 0 赞/ 288 阅读

相关消息中间件

RabbitMQ：采用Erlang语言实现的AMQP协议的消息中间件，最初起源于金融系统，用于在分布式系统中存储转发消息，它在可靠性、可用性、扩展性、功能丰富等方面表现

冷不防/ 2022年01月31日 22:31/ 0 赞/ 368 阅读

相关「中间件」消息中间件如何实现每秒几十万的高并发写入？

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

深碍√TFBOYSˉ_/ 2021年12月15日 17:09/ 0 赞/ 266 阅读

相关消息中间件

消息中间件概述常用消息队列 ActiveMQ RabbitMQ Kafka 概述消息中间件，也可以叫做消

待我称王封你为后i/ 2021年11月04日 23:08/ 0 赞/ 460 阅读

相关消息中间件

1 消息中间件（MOM）消息中间件是指利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可

梦里梦外;/ 2021年09月20日 07:04/ 0 赞/ 651 阅读