Hadoop RPC简介

灰太狼 2022-05-28 06:45 457阅读 0赞

**RPC（Remote Procedure Call）————远程过程调用协议**  
Hadoop RPC在Hadoop中应用非常广泛，Client、DataNode、NameNode之间的通讯全依赖于它

（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节。对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。使得开发包括网络分布式多程序在内的应用程序更加容易。

（2）Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。因此，可以说Hadoop的运行就是建立在RPC基础之上的。

**RPC的显著特点**

1.  透明性：远程调用其他机器上的程序，对用户来说就像是调用本地方法一样；
2.  高性能：RPC Server能够并发处理多个来自Client的请求；
3.  可控性：jdk中已经提供了一个RPC框架—RMI，但是该PRC框架过于重量级并且可控之处比较少  
    所以Hadoop RPC实现了自定义的PRC框架。

**一个典型的RPC框架主要包括以下模块**

1.  通信模块：两个相互协作的通信模块实现请求—–应答协议。
2.  代理程序：客户端和服务器端均包含代理程序。
3.  调度程序：调度程序接受来自通信模块的请求消息，并根据其中的标志选择一个代理程序处理。

**RPC框架分层**

1.  序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型；
2.  函数调用层：Hadoop RPC通过动态代理以及java反射实现函数调用；
3.  网络传输层：Hadoop RPC采用了基于TCP/IP的socket机制；
4.  服务器端框架层：RPC Server利用java NIO及采用事件驱动的I/O模型，提高RPC Server的并发处理能力；

**客户端和服务器端的关系**

Client-NameNode之间，其中NameNode是服务器
    Client-DataNode之间，其中DataNode是服务器
    DataNode-NameNode之间，其中NameNode是服务器
    DataNode-DateNode之间，其中某一个DateNode是服务器，另一个是客户端

**Hadoop RPC主要对外提供两种接口**

> public static VersionedProtocol getProxy/waitForProxy()  
> 构造一个客户端代理对象（该对象实现了某种协议），用于向服务器端发送RPC请求；  
> public static Server getServer()  
> 为某个协议(实际上是Java接口)实例构造一个服务器对象，用于处理客户端发送的请求；

例如：操作Hadoop时使用FileSystem类，它的内部有个DFSClient对象，这个对象负责与NameNode打交道。  
在运行时，DFSClient在本地创建一个NameNode的代理，然后操作这个代理通过网络远程调用到NameNode的方法，也能返回值。

![这里写图片描述][70]

**RPC实体**

1.  Listener  
    监听RPC Server的端口，如果客户端有连接请求到达，它就接受连接。  
    然后把连接转发到某个Reader，让Reader去读取那个连接的数据。  
    如果有多个Reader的话，当有新连接过来时，就在这些Reader间顺序分发。
2.  Reader  
    从某个客户端连接中读取数据流，把它转化成调用对象(Call)，然后放到调用队列(call queue)里
3.  Handler  
    真正做事的实体。它从调用队列中获取调用信息，然后反射调用真正的对象，得到结果，然后再把此次调用放到响应队列(response queue)里
4.  Responder  
    它不断地检查响应队列中是否有调用信息，如果有的话，就把调用的结果返回给客户端。

![这里写图片描述][70 1]

**RPC实现流程**

RPC采用客户机/服务器模式

> 通信模块：实现请求应该协议。主要分为同步方式和异步方式。  
> stub程序：客户端和服务器均包含stub程序（代理程序）。使得远程函数表现的跟本地调用一样，对用户程序完全透明。  
> 调度程序：接受来自通信模块的请求消息，根据标识选择stub程序处理。并发量大一般采用线程池处理。  
> 客户程序/服务过程：请求发出者和请求的处理者

一个RPC请求从发送到获取处理结果，所经历的步骤如下：

1.  客户程序以本地方式调用系统产生的Stub程序；
2.  该Stub程序将函数调用信息按照网络通信模块的要求封装成消息包，并交给通信模块发送到远程服务器端；
3.  远程服务器端接收到此消息后，将此消息发送给相应的Stub程序；
4.  Stub程序拆封消息，形成被调过程要求的形式，并调用对应的函数；
5.  被调用函数按照所获参数执行，并将结果返回给Stub程序；
6.  Stub将此结果封装成消息，通过网络通信模块逐级地传送给客户程序；

![这里写图片描述][70 2]

**RPC Client主要流程**

1.  RPC Client发起RPC Call，通过JAVA反射机制转化为对Client.call调用
2.  调用getConnection得到与RPC Server的链接，每一个Client都维护一个HashMap结构的到Server的连接池
3.  通过Connection将序列化后的参数发送到RPC服务端
4.  阻塞方式等待RPC服务端返回响应

**RPC Server的主要流程**  
RPC Server作为服务的提供者主要有两部分组成：接收Call调用和处理Call调用。  
接收Call调用负责接收来自RPC Client的调用请求，编码成Call对象放入到Call队列中。这一过程有Server.Listener完成，具体步骤如下：

1.  Listener线程监听RPC Client发过来的数据
2.  当有数据可以接收时，调用Connection的readAndProcess方法
3.  Connection边接受数据边处理数据，当接到一个完整的Call包，则构建一个Call对象。PUSH到Call队列中，有Handler来处理Call队列中的所有Call，处理完的Call调用负责处理Call队列中的每一个调用请求，由Handler线程来完成。
4.  Handler线程监听Call队列，如果Call队列非空，按FIFO规则从Call队列中取出Call
5.  将Call交给RPC.Server来处理
6.  借助JDK提供的Method，完成对目标方法的调用，目标方法由具体的业务逻辑实现
7.  返回响应。Server.Handler按照异步非阻塞的方式向RPC Client发送响应，如果有未发送出的数据，则交由Server.Responder来完成。

![这里写图片描述][70 3]

[70]: /images/20220528/5b8f9b40d958488a9a4150c6ba88b536.png
[70 1]: /images/20220528/5e19f434a4d04f9f8ca708a673ccb0d8.png
[70 2]: /images/20220528/318aca0c26e2448e8f7217f80ad0f69c.png
[70 3]: /images/20220528/4dbe9a00565e4139acc647f6ca0f1d33.png