Spark Netty 通信框架解析

梦里梦外; 2023-06-25 04:56 7阅读 0赞

![E5_9B_BE_E7_89_87-1.png][]

## 1、RpcEndpoint: RPC端点 ##

Spark针对每个节点（Client、Master、Worker）都称之为一个RpcEndpoint，且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询问）则内部调用Dispatcher的对应方法

**说明：**

*  RpcEndpoint 用来接收消息
 *  RpcEndpointRef 用来发送消息

RpcEndpointRef的具体实现类是: **NettyRpcEndpointRef**

## 2、RpcEnv：Rpc上下文（Rpc环境） ##

每个RpcEndpoint运行时依赖的上下文环境称为 RpcEnv

## 3、Dispatcher：消息分发器 ##

PC 端点需要发送消息或者从远程 RPC 端点接收到的消息，分发至对应的指令收件箱/发件箱

*  如果指令接收方是自己则存入收件箱
 *  如果指令接收方不是自己则放入发件箱

1 // class NettyRpcEnv
     2 private[netty] def send(message: RequestMessage): Unit = {
     3     // 获取接收者地址信息
     4     val remoteAddr = message.receiver.address
     5     if (remoteAddr == address) {
     6         // Message to a local RPC endpoint.
     7         // 把消息发送到本地的 RPC 端点  (发送到收件箱)
     8         try {
     9            dispatcher.postOneWayMessage(message)
    10         } catch {
    11            case e: RpcEnvStoppedException => logWarning(e.getMessage)
    12         }
    13     } else {
    14         // Message to a remote RPC endpoint.
    15         // 把消息发送到远程的 RPC 端点.  (发送到发件箱)
    16         postToOutbox(message.receiver, OneWayOutboxMessage(serialize(message)))
    17     }
    18 }

## 4、Inbox：指令消息收件箱 ##

一个本地 RpcEndpoint 对应一个收件箱

## 5、RpcEndpointRef：RpcEndpointRef 是对远程 RpcEndpoint 的一个引用 ##

当我们需要向一个具体的 RpcEndpoint 发送消息时，一般我们需要获取到该RpcEndpoint 的引用，然后通过该引用发送消息

## 6、OutBox：指令消息发件箱 ##

对于当前 RpcEndpoint 来说，一个目标 RpcEndpoint 对应一个当前的发件箱，如果向多个目标 RpcEndpoint 发送信息，则有当前会有**多个 OutBox**。

当消息放入 Outbox 后，紧接着通过 TransportClient 将消息发送出去。

**消息放入发件箱以及发送过程是在同一个线程中进行**

## 7、RpcAddress：表示远程的RpcEndpointRef的地址，Host + Port。 ##

## 8、TransportClient：Netty通信客户端 ##

一个 OutBox 对应一个 TransportClient，TransportClient 不断轮询OutBox，根据 OutBox 消息的 receiver 信息，请求对应的远程 TransportServer

[E5_9B_BE_E7_89_87-1.png]: http://47.112.223.94/wp-content/uploads/2019/12/%E5%9B%BE%E7%89%87-1.png