Spark 通讯架构

你的名字 2024-04-20 09:12 6阅读 0赞

# 3.Spark 通讯架构 #

## 3.1 Spark 通信架构概述 ##

Spark2.x 版本使用 Netty 通讯框架作为内部通讯组件。spark 基于 netty 新的 rpc

框架借鉴了 Akka 的中的设计，它是基于 Actor 模型，如下图所示：

![1604514-20190710153320350-1660670574.png][]

Spark 通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实

体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下：

![1604514-20190710153347147-646913988.png][]

Endpoint（Client/Master/Worker）有  1 个 InBox 和 N 个 OutBox（N>=1，N 取决

于当前 Endpoint 与多少其他的 Endpoint 进行通信，一个与其通讯的其他 Endpoint

对应一个 OutBox），Endpoint 接收到的消息被写入 InBox，发送出去的消息写入

OutBox 并被发送到其他 Endpoint 的 InBox 中。

## 3.2 Spark 通讯架构解析 ##

Spark 通信架构如下图所示：

![1604514-20190710153445297-1229211930.png][]

1) RpcEndpoint：RPC 端点，Spark 针对每个节点（Client/Master/Worker）都称

之为一个 Rpc 端点，且都实现 RpcEndpoint 接口，内部根据不同端点的需求，设计

不同的消息和不同的业务处理，如果需要发送（询问）则调用 Dispatcher；

2) RpcEnv：RPC 上下文环境，每个 RPC 端点运行时依赖的上下文环境称为

RpcEnv；

3) Dispatcher：消息分发器，针对于 RPC 端点需要发送消息或者从远程 RPC

接收到的消息，分发至对应的指令收件箱/发件箱。如果指令接收方是自己则存入收

件箱，如果指令接收方不是自己，则放入发件箱；

4) Inbox：指令消息收件箱，一个本地 RpcEndpoint 对应一个收件箱，Dispatcher

在每次向 Inbox 存入消息时，都将对应 EndpointData 加入内部 ReceiverQueue 中，

另外 Dispatcher 创建时会启动一个单独线程进行轮询 ReceiverQueue，进行收件箱消

息消费；

5) RpcEndpointRef：RpcEndpointRef 是对远程 RpcEndpoint 的一个引用。当我

们需要向一个具体的 RpcEndpoint 发送消息时，一般我们需要获取到该 RpcEndpoint

的引用，然后通过该应用发送消息。

6) OutBox ： 指 令 消 息 发 件 箱 ， 对 于 当 前 RpcEndpoint 来 说 ， 一 个 目 标

RpcEndpoint 对应一个发件箱，如果向多个目标 RpcEndpoint 发送信息，则有多个

OutBox。当消息放入 Outbox 后，紧接着通过 TransportClient 将消息发送出去。消息

放入发件箱以及发送过程是在同一个线程中进行；

7) RpcAddress：表示远程的 RpcEndpointRef 的地址，Host + Port。

8) TransportClient：Netty 通信客户端，一个 OutBox 对应一个 TransportClient，

TransportClient 不断轮询 OutBox，根据 OutBox 消息的 receiver 信息，请求对应的远

程 TransportServer；

9) TransportServer ： Netty 通 信 服 务 端 ， 一 个 RpcEndpoint 对 应 一 个

TransportServer，接受远程消息后调用 Dispatcher 分发消息至对应收发件箱；

根据上面的分析，Spark 通信架构的高层视图如下图所示：

![1604514-20190710153557697-845821577.png][]

转载于:https://www.cnblogs.com/LXL616/p/11164332.html

[1604514-20190710153320350-1660670574.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/37fe356b9b7b40bdb67d4157b43db812.png
[1604514-20190710153347147-646913988.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/81baa93ff8ba49f28954b6a927fd805f.png
[1604514-20190710153445297-1229211930.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7fb19322cfbb48e8b8e387f5e6cc97b1.png
[1604514-20190710153557697-845821577.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/b6d9952bbdc448afb83bf55489a94168.png

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 通讯架构

3.Spark 通讯架构 3.1 Spark 通信架构概述　　Spark2.x 版本使用 Netty 通讯框架作为内部通讯组件。spark 基于 netty ...

你的名字/ 2024年04月20日 09:12/ 0 赞/ 7 阅读

相关 Spark 内核 (三) --------- Spark 通讯架构

目录一、Spark 通信架构概述二、Spark 通讯架构解析 -------------------- 一、Spark 通信架构概述 Spark

痛定思痛。/ 2024年04月07日 13:18/ 0 赞/ 12 阅读

相关 Spark (四) --------- Spark 运行架构

目录一、运行架构二、核心组件 1. Driver 2. Executor 3. Master & Worker

梦里梦外;/ 2024年04月07日 11:37/ 0 赞/ 16 阅读

相关 spark学习2：spark运行基本架构

各个名词介绍： 1.RDD -弹性分布式数据集 2.DAG -有向无环图反应各RDD之间关系，即把第一个RDD和最后一个RDD 串联起来的关系

Love The Way You Lie/ 2023年01月19日 12:49/ 0 赞/ 219 阅读

相关 Spark运行架构

http://[blog.csdn.net/pipisorry/article/details/52366288][blog.csdn.net_pipisorry_articl

本是古典何须时尚/ 2022年07月17日 03:39/ 0 赞/ 138 阅读

相关 Spark架构综述

一、Spark概述 1、什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎。它集批处理、实时流处理、交互式查询和图计算于一体,避免了多种运算场景下需要部署

怼烎@/ 2022年06月01日 10:57/ 0 赞/ 138 阅读

相关 Spark架构模型介绍

\[size=medium\] 集群概述：（一）组件 spark应用作为一系列独立的进程运行在集群上，通过SparkContext来协调，这个对象一般在我们

本是古典何须时尚/ 2022年04月12日 12:28/ 0 赞/ 189 阅读

相关 Spark 体系架构

摘要：最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “sp

左手的ㄟ右手/ 2022年04月06日 09:30/ 0 赞/ 284 阅读

相关 Spark 通讯架构

3.Spark 通讯架构 3.1 Spark 通信架构概述　　Spark2.x 版本使用 Netty 通讯框架作为内部通讯组件。spark 基于 netty 新的

小咪咪/ 2021年12月01日 18:34/ 0 赞/ 203 阅读

相关 Spark的架构原理

一、相关名词解释 Driver：Driver是Spark集群的节点之一，我们编写的Spark程序就在Driver上，由Driver进程执行。

傷城~/ 2021年09月14日 03:56/ 0 赞/ 316 阅读