11-1、Spark通信模块

你的名字 2022-08-21 03:13 128阅读 0赞

# 8、Spark通信模块 #

### 8.1、通信框架AKKA ###

先介绍一下RPC：

RCP(Remote Produce Call)是远程过程调用，基于C/S模型调用。

过程大致可以理解为本地分布式对象向主机发请求，不用自己编写底层通信本机。通过向服务器发送请求，服务器对象接受参数后，进行处理，再把处理后的结构发送回客户端。

RPC不支持对象通信，支持对象传输。

Spark在模块通信使用的是AKKA框架。

AKKA基于Scala开发，用于编写Actor应用。Actor模型在并行编程中是比较常用的一种模型。

Actors是一些包含状态和行为的对象。它们通过显示传递消息来进行通信，这些消息会被发送到它们的收件箱中（消息队列）。

一个Actor收到其他Actor消息后，可以根据需要作出各种相应。Actor建立一个消息队列，每次收到消息后，放入队列，而它每次也从队列中取出消息体来处理。通常这个过程是循环的，Actor可以时刻接收处理发送来的消息。

下图为Actor模型：

![Center][]

AKKA Actor树形结构Actors以树结构组织起来。一个Actor可能会把自己的任务划分成更多更小、利于管理的子任务。会开启自己的子Actor，负责监督这些子Actor。

AKKA具有强大的并发处理能力，在国内豌豆荚做了很深的研究和实现。

Spark中并没有充分挖掘AKKA强大的并行计算能力，而是将其作为分布式系统中的RPC框架。很多组件封装为Actor，进行控制和状态通信。

AKKA的优势：

1）、并行和分布式：异步通信和分布式架构；

2）、可靠性：本地和远程都有监控和恢复；

3）、高性能：单机每秒可发送50 000 000个消息。1GB内存中可以创建和保持2 500 000个Actor对象；

4）、去中心：区别于Master/Slave模式，采用无中心节点的架构；

5）、可扩展性：可以在分布式环境下Scale out，线性扩充计算能力；

### 8.2、Client、Master和Worker间的通信 ###

下图为Spark通信模型：

![Center 1][]

在Standalone模式下，存在以下角色：

Client：提交作业；

Master：接收作业，启动Driver和Executor，管理Worker；

Worker：管理节点资源，启动Driver和Executor。

Client to Master：

RegisterApplication：注册应用；

Master to Client：

RegisteredApplication：注册应用后回复给Client

ExecutorAdded：通知Client Worker已经启动了Executor，当向Worker发送LaunchExecutor时，通知Client Actor。

ExecutorUpdated：通知Client Executor状态已更新。

Master to Worker：

LaunchExecutor：启动Executor。

RegisteredWorker：Worker注册的回复。

RegiseredWorkerFailed：注册Worker失败的回复。

KillExecutor：停止Executor线程。

Worker to Master：

RegisterWorker：注册Worker。

Hearbeat：周期性的向Master发送心跳信息。

ExecutorStateChanges：通知Master、Wxecutor状态更新。

Actor之间，消息发送端通过”!”符号发送消息，接收端通过receive方法中的case模型匹配接收和处理消息。

[Center]: /images/20220731/94c8530c51d6478ab1efafe6730125cc.png
[Center 1]: /images/20220731/d018dfb3f6854a9f84584a3fa0b37d50.png

发表评论取消回复

表情：

评论列表（有 0 条评论，128人围观）

还没有评论，来说两句吧...

相关阅读

相关 SPARK 组成模块

Spark Core 实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布

水深无声/ 2023年08月17日 15:18/ 0 赞/ 122 阅读

相关 111

BONUS: 1.strtok()调用方式调用方式： char \strtok(char \str1, char \str2); 说明： strtok()函数的原型

淩亂°似流年/ 2023年08月17日 15:14/ 0 赞/ 91 阅读

相关 spark核心模块

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

浅浅的花香味﹌/ 2022年12月28日 00:51/ 0 赞/ 286 阅读

相关 111

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成

灰太狼/ 2022年12月17日 15:52/ 0 赞/ 220 阅读

相关 111

昨晚在腾讯负责的项目做了验收演示，算是对自己的一个阶段性总结结束，心中有些许放松。最近写C++，有一些不一样的感受，还有在做项目的一些心得，一起写下来，也算是自己的一个总结

逃离我推掉我的手/ 2022年09月11日 03:24/ 0 赞/ 175 阅读

相关 11-1、Spark通信模块

8、Spark通信模块 8.1、通信框架AKKA 先介绍一下RPC： RCP(Remote Produce Call)是远程过程调用，基于C/S模型调用。过程

你的名字/ 2022年08月21日 03:13/ 0 赞/ 129 阅读

相关 Spark内部通信/akka

Spark的Client、Master、Worker之间的通信使用akka完成。模块之间的通信机制可以分为基于消息的传递和基于资源共享的同步机制。在Spak中的Clie

Myth丶恋晨/ 2022年08月08日 14:00/ 0 赞/ 149 阅读

相关 111

![Center][] [Center]: /images/20220608/1692ef3fbac348de93064314dde32b52.png

╰+攻爆jí腚メ/ 2022年06月08日 02:41/ 0 赞/ 214 阅读

相关 Spark Actor通信模型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ltMDEy

﹏ヽ暗。殇╰゛Y/ 2022年04月10日 04:29/ 0 赞/ 208 阅读

相关 111

毕业之后我才懂得 2018年09月15日 20:11:26 [vivian\_wanjin][vivian_wanjin] 阅读数：41 前言和班里同学拍完毕业

男娘i/ 2022年03月09日 07:05/ 0 赞/ 224 阅读