字节跳动算法工程师总结：成功入职阿里月薪45K

超、凢脫俗 2021-07-20 20:31 512阅读 0赞

### 前言 ###

SQL 语句执行慢的原因是面试中经常会被问到的，对于服务端开发来说也是必须要关注的问题。

在生产环境中，SQL 执行慢是很严重的事件。那么如何定位慢 SQL、慢的原因及如何防患于未然。接下来带着这些问题让我们开启本期之旅！

![811ca3591d40e39530c1fe161b18407f.png][]

### NameServer的部署 ###

关于NameServer，我们之前的文章已经详细讲解过了集群化的内容，这里直接把它部署到三台机器上，作为一个高可用集群

### Broker的部署 ###

Broker的部署我们之前也有讲到过，主要使用的是4.5版本后的Dledger自动化切换主从的集群

Broker与NameServer之间的通信协议是什么呢？http、rpc还是tcp呢？

其实它们之间采用的是TCP长连接通信，也就是说**Broker会跟每个NameServer建立TCP长连接，然后定时通过TCP长连接发送心跳请求过去。**

### **访问MQ的系统（生产者和消费者）的部署** ###

一定会有大量的系统访问RocketMQ，因为RocketMQ就是为此而生的，有些系统自己本身既是生产者又是消费者，所以这些系统的部署也要考虑进去。

对这些系统部署的考虑，其实不应该是搞MQ的部门来考虑的，如果系统本身是自己公司的，可以提出一些建议，让生产者和消费者都集群化部署，保证高可用。但如果是第三方系统，那就无法插手了，我们能做到的只有考虑第三方系统崩溃，无法与MQ正常通信的情况下，如何让MQ正常运转。

### Topic是什么 ###

Topic是mq的核心数据模型，如果直接翻译是主题的意思，但是听到主题的解释，是不是一脸懵逼，是不是瞬间想到的是手机主题，电脑主题。

所以它不能直译，它表达的就是一个**数据集合**的含义，集合的是同一类的数据，不同类型的数据存到不同的Topic中。

所以系统无论是要写入消息还是读取数据，最开始都是要先定义Topic的，然后再从定义的Topic中获取同类型的数据。

**那么Topic是如何在Broker中存储的呢？**

存储的方式其实就是分布式存储。我们在定义Topic的时候指定它里面的数据分布到多台的Broker上进行存储，这里要注意的一点是，实际上分布的对象是MasterBroker，SlaveBroker会向MasterBroker拉取数据，作为一个副本存在。而Broker在向NameServer发送心跳的时候，会把Topic存储在哪些Broker中的信息告诉NameServer。

### 生产者如何发送消息给Broker ###

前边我们聊过，发送消息前首先是定义Topic，然后发送消息的时候是要指定你要发送到哪个Topic中去的。

既然我们知道了要发送到哪个Topic中，下一步就是要定位Topic的位置，如何定位呢？就是与NameServer建立Tcp长连接，定时拉取注册信息，可以获取到这个Topic目前被分配到哪些Broker中。然后就可以根据负载均衡算法，选定一台Broker(具体的负载均衡算法后边文章再介绍)。

选定了Broker后，就可以再与Broker建立Tcp长连接，通过Tcp长连接发送消息给Broker中的Topic。

而Broker在接收到消息后，就会把消息存储到磁盘中，再往后就是SlaveBroker与MasterBroker数据同步，形成副本，保证高可用了。

整个过程就是这样的。

### 消费者如何从Broker上消费消息 ###

说完了生产者发送消息的过程，我们再来聊聊消费者消费消息的过程。

其实消费者消费消息的过程和生产者是类似的，同样第一步也是定义Topic，然后从NameServer获取信息，定位到Topic所在的多个Broker，之后负载均衡定位到要访问的Broker，与Broker建立连接获取消息。

这里唯一不同的就是，再获取消息的时候是可能在MasterBroker上获取的，也可能在SlaveBroker上获取，要依据当时的情况而定。

### 整体架构总结 ###

最后我们再来看一看这套架构，是可以实现完全的高可用的。

NameServer集群化部署，Broker集群化部署，还可以通过Dledger自动化切换主从，生产者消费者也是集群部署，随便挂了一台不受影响。

而且这套架构也不怕高并发，高并发下的消息可以分布到多个Broker下处理，减少系统压力。

然后我们的集群可以存储海量的消息，因为存储方式是分布式存储的。

最后，这套架构是具有可扩展性的，如果业务需求并发量增大，也是可以扩展Broker的数量以支持更高的并发和更大的存储的。

这样我们的RocketMQ的生产部署架构就算完成了。

好了，今天就说到这里，欢迎小伙伴们一起走入消息中间件的世界。

### 最后 ###

在面试前我整理归纳了一些面试学习资料，文中结合我的朋友同学面试美团滴滴这类大厂的资料及案例  
**感兴趣的朋友可以[点击Java学习][Java]免费获取。**  
![36ef8d8d505c44f7db24ff52340e0e48.png][]

![MyBatis答案解析][MyBatis]  
**由于篇幅限制，文档的详解资料太全面，细节内容太多，所以只把部分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！**

大家看完有什么不懂的可以在下方留言讨论也可以关注。

觉得文章对你有帮助的话记得关注我点个赞支持一下！

分知识点截图出来粗略的介绍，每个小节点里面都有更细化的内容！\*\*

大家看完有什么不懂的可以在下方留言讨论也可以关注。

觉得文章对你有帮助的话记得关注我点个赞支持一下！

[811ca3591d40e39530c1fe161b18407f.png]: /images/20210720/4e9be417e7e740d9ad005482e8780143.png
[Java]: https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB
[36ef8d8d505c44f7db24ff52340e0e48.png]: /images/20210720/1f823e588e08487dbf02f0bb98ab5042.png
[MyBatis]: /images/20210720/20d6c6519ee94d64808c6b2e63d3b913.png