RPC通信基本原理 -- 浅析RPC远程过程调用基本原理

Myth丶恋晨 2023-09-27 09:01 102阅读 0赞

## 一、RPC基本概念 ##

### 1.1、RPC简介 ###

>  *  RPC 的全称是 `Remote Procedure Call`是一种进程间通信方式。
>  *  RPC只是一个概念 而不是具体的协议或框架。
>  *  它允许程序调用另一个地址空间（`通常是共享网络的另一台机器上`）的过程或函数，而不用程序员显式编码这个远程调用的细节。
>  *  即程序员无论是调用本地的还是远程的，本质上编写的调用代码基本相同。
>  *  它可以有不同的实现方式。如`RMI(远程方法调用)、Hessian、Http invoker`等。另外，RPC是与语言无关的。

![在这里插入图片描述][7b8efbf27d5c47ba8d6b4b98e5bbc084.png]  
如上图所示，假设Computer1在调用sayHi()方法，对于Computer1而言调用sayHi()方法就像调用本地方法一样，调用 –>返回。但从后续调用可以看出Computer1调用的是Computer2中的sayHi()方法，RPC屏蔽了底层的实现细节，让调用者无需关注网络通信，数据传输等细节。

### 1.2、RPC架构 ###

> 一个完整的RPC架构里面包含了四个核心的组件，分别是Client，Client Stub，Server以及Server Stub，这个Stub可以理解为存根。

*  客户端(`Client`)，服务的调用方。
 *  客户端存根(`Client Stub`)，存放服务端的地址消息，再将客户端的请求参数打包成网络消息，然后通过网络远程发送给服务方。
 *  服务端(`Server`)，真正的服务提供者。
 *  服务端存根(`Server Stub`)，接收客户端发送过来的消息，将消息解包，并调用本地的方法。

### 1.3 RPC调用过程 ###

![在这里插入图片描述][19fa19cf5e634427a0cf9e270d8f267a.png]

*  (1) 客户端（`client`）以本地调用方式（`即以接口的方式`）调用服务；
 *  (2) 客户端存根（`client stub`）接收到调用后，负责将方法、参数等组装成能够进行网络传输的消息体（`将消息体对象序列化为二进制`）；
 *  (3) 客户端通过`sockets`将消息发送到服务端；
 *  (4) 服务端存根( `server stub`）收到消息后进行解码（`将消息对象反序列化`）；
 *  (5) 服务端存根( `server stub`）根据解码结果调用本地的服务；
 *  (6) 本地服务执行并将结果返回给服务端存根( `server stub`）；
 *  (7) 服务端存根( `server stub`）将返回结果打包成消息（`将结果消息对象序列化`）；
 *  (8) 服务端（`server`）通过sockets将消息发送到客户端；
 *  (9) 客户端存根（`client stub`）接收到结果消息，并进行解码（`将结果消息发序列化`）；
 *  (10) 客户端（`client`）得到最终结果。

RPC的目标是要把2、3、4、7、8、9这些步骤都封装起来。

> `注意`：无论是何种类型的数据，最终都需要转换成二进制流在网络上进行传输，数据的发送方需要将对象转换为二进制流，而数据的接收方则需要把二进制流再恢复为对象。

### 1.4、作用及优势 ###

![在这里插入图片描述][591d55149096450182f0ad927488b88f.png]

#### **`1、作用：`** ####

*  1、使服务解耦
 *  2、分布式设计
 *  3、部署灵活
 *  4、容易扩展

#### **`2、优点：`** ####

*  1、一般使用长链接，不必每次通信都要3次握手，减少网络开销
 *  2、一般都有注册中心，有丰富的监控管理
 *  3、发布、下线接口、动态扩展等，对调用方来说是无感知、统一化的操作
 *  4、协议私密，安全性较高
 *  5、rpc 能做到协议更简单内容更小，效率更高
 *  6、rpc是面向服务的更高级的抽象，支持服务注册发现，负载均衡，超时重试，熔断降级等高级特性

## 二、RPC架构解析 ##

### 2.1、RPC架构分析 ###

> RPC的定义：远程过程调用，调用远程就像调用本地某个过程或函数。通过这一句我们是不是感受不到IP等地址信息的存在了，请求头是不是也应该存在了，编码什么的也不复存在了吧，网络传输不应该让我们开发者感受到了吧…中间的所有跟调用过程相关的是不是都是RPC内部应该帮我们做的，那么接下来我们看一下RPC中具体应该有哪些模块，每个模块又有什么存在的意义

![在这里插入图片描述][f2f634c6b4bf47e28a698bd728f33dc4.png]

- 
    - 1、调用模块：通过该模块对数据进行封装、对请求进行负载、超时判断、熔断和限流等等
    - 2、序列化	： 通过该模块对数据进行序列化，转成可通过网络传输的格式，并在没收到数据后反序列化成可读的格式
    - 3、协议编码：这里的编码是对数据的编码和解码
    - 4、网络传输：两个服务之间信息的传输
    - 5、服务发现：从注册中心订阅服务
    - 6、服务注册：将服务提供者提供的服务注册到注册中心供消费者使用
    - 7、注册中心：在高可用的生产环境中，服务一般都以集群方式提供服务，集群里面的IP等重要参数信息可能随时会发生变化，节点也可能会动态扩缩容，客户端需要能够及时感知服务端的变化，获取集群最新服务节点的连接信息，而这些变化要求是要对调用方应用无感知的
    -

### 2.2、RPC框架的实现 ###

> 上面介绍了RPC的核心原理：RPC能够让本地应用简单、高效地调用服务器中的过程（服务）。它主要应用在分布式系统。如`Hadoop`中的IPC组件。但怎样实现一个RPC框架呢？

#### **2.1.1、从下面几个方面思考，仅供参考：** ####

*  1.通信模型：假设通信的为A机器与B机器，A与B之间有通信模型，在Java中一般基于`BIO`或`NIO`；。
 *  2.过程（服务）定位：使用给定的通信方式，与确定IP与端口及方法名称确定具体的过程或方法；
 *  3.远程代理对象：本地调用的方法(服务)其实是远程方法的本地代理，因此可能需要一个远程代理对象，对于Java而言，远程代理对象可以使用Java的动态对象实现，封装了调用远程方法调用；
 *  4.序列化，将对象名称、方法名称、参数等对象信息进行网络传输需要转换成二进制传输，这里可能需要不同的序列化技术方案。如:`protobuf，Arvo`等

#### **2.1.2、hdfs的RPC基本流程：** ####

![在这里插入图片描述][cea3e81491104406bf10651f72312bee.png]  
hdfs的rpc流程基本如上，其中的关键就是获得NameNode代理对象。

### 2.3、JAVA中代理方式 ###

#### 2.2.1、什么是代理模式 ####

*  1.定义：为其他对象提供一种代理以控制对这个对象的访问。代理类负责为委托类预处理消息，过滤消息并转发消息，以及进行消息被委托类执行后的后续处理。
 *  2.例子：最开始接触JDBC操作数据库的时候,业务层每一个方法都需要做以下几件事
    
    （1）打开数据库连接
    
    （2）执行我们想要的操作
    
    （3）关闭数据库连接

**此时，我的核心业务是第（2）步，其余两步为辅助业务。当核心业务与辅助业务写在了一个方法中时。会出现以下问题：**

① 代码业务冗余
     ② 开关数据库连接大量的重复

*  3.通过代理模式,我们可以抽取出核心业务与辅助业务

#### 2.2.2、静态代理与动态代理 ####

> `对 JAVA 来说就是使用代理！java代理有两种方式`

*  （1）静态代理

先定义一个公共接口，里面包括了可以通过RPC调用的方法列表。而且被代理对象以及对象本身都需要实现该接口  
尽管字节码生成方式实现的代理更为强大和高效，但代码不易维护，大部分公司实现RPC框架时还是选择动态代理方式

*  （2）动态代理

**先定义一个公共接口，里面包括了可以通过RPC调用的方法列表。被代理对象以及对象本身都不需要实现该接口。而是通过匿名内部类+反射的机制实现。hadoop就是使用这种方式。**

*  1.实现`InvocationHandle`接口，该接口所在位置为:`java.lang.reflect.InvocationHandler`
 *  2.该接口中有一个方法`Object invoke(Object proxy, Method method, Object[] args)`
    
    （1）`Ojbect proxy`:表示需要代理的对象
    
    （2）`Method method`:表示要操作的方法
    
    （3）`Object[] args:method`方法所需要传入的参数(可能没有为,null.也可能有多个)
 *  3.代理类 `java.lang.reflect.Proxy`（`Proxy` 提供用于创建动态代理类和实例的静态方法，它还是由这些方法创建的所有动态代理类的超类）
 *  4.调用代理类中的方法

public static Object newProxyInstance(ClassLoader loader,Class<?>[] interfaces, InvocationHandler h) 
    	throws IllegalArgumentException
    
    参数：
    
    	（1）loader - 定义代理类的类加载器
    
    	（2）interfaces - 代理类要实现的接口列表
    
    	（3）h - 指派方法调用的调用处理程序
    
    返回：一个带有代理类的指定调用处理程序的代理实例，它由指定的类加载器定义，并实现指定的接口

### 2.4、hadoop RPC框架的例子 ###

**Server：**

/*
    MyInterface.java	
    */
    package Server;
    
    import org.apache.hadoop.ipc.VersionedProtocol;
    
    public interface MyInterface extends VersionedProtocol {
        
        public static long versionID = 1001; //这个是标记RPC的client和server对应的标记
        public String helloWorld(String name);
    }
    
    
    /*
    MyImpl.java
    */
    package Server;
    
    import org.apache.hadoop.ipc.ProtocolSignature;
    
    import java.io.IOException;
    
    public class MyImpl implements MyInterface{
        
        /*这是实际目标*/
    
    	//重写我们在上面接口自定义的方法
        @Override
        public String helloWorld(String name) {
        
            return "hello," + name;
        }
    
        //返回版本号
        @Override
        public long getProtocolVersion(String s, long l) throws IOException {
        
            return MyInterface.versionID;
        }
    
        //返回签名信息
        @Override
        public ProtocolSignature getProtocolSignature(String s, long l, int i) throws IOException {
        
            return new ProtocolSignature(MyInterface.versionID, null);
        }
    }
    
    
    /*
    MyRpcServer.java
    */
    package Server;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.ipc.RPC;
    
    import java.io.IOException;
    
    public class MyRpcServer {
        
        public static void main(String[] args) {
        
            //建立rpc通道对象
            RPC.Builder builder = new RPC.Builder(new Configuration());
    
            //设置RPC server参数
            builder.setBindAddress("localhost");
            builder.setPort(7788);
    
            //部署程序，传入实现server业务代码的接口定义，这里面包括了该rpcserver 可以提供的方法,也就是给client调用的方法列表，通过反射的方式引入类对象
            builder.setProtocol(MyInterface.class);
    
            //部署接口的实现类对象
            builder.setInstance(new MyImpl());
    
            //开启server
            try {
        
                RPC.Server server = builder.build();
                server.start();
            } catch (IOException e) {
        
                e.printStackTrace();
            }
    
        }
    }

**client：**

/*
    MyRpcClient.java
    */
    package Client;
    
    import Server.MyInterface;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.ipc.RPC;
    
    import java.io.IOException;
    import java.net.InetSocketAddress;
    
    public class MyRpcClient {
        
        public static void main(String[] args) {
        
            try {
        
                //获取代理对象,设置接口类对象、RPC通信的versionID，rpcserver地址、configuration对象
                MyInterface proxy = RPC.getProxy(
                        MyInterface.class,
                        MyInterface.versionID,
                        new InetSocketAddress("localhost", 7788),
                        new Configuration());
                
                //获得代理对象之后，就可以通过proxy调用接口类中的方法，这里就调用上面定义的 helloWorld对象
                System.out.println(proxy.helloWorld("king"));
            } catch (IOException e) {
        
                e.printStackTrace();
            }
        }
    }

**下面启动server端和client端，执行结果为：**

//server：可以看到显示监听端口 7788
    [main] INFO org.apache.hadoop.ipc.CallQueueManager - Using callQueue: class java.util.concurrent.LinkedBlockingQueue queueCapacity: 100 scheduler: class org.apache.hadoop.ipc.DefaultRpcScheduler
    [Socket Reader #1 for port 7788] INFO org.apache.hadoop.ipc.Server - Starting Socket Reader #1 for port 7788
    [IPC Server Responder] INFO org.apache.hadoop.ipc.Server - IPC Server Responder: starting
    [IPC Server listener on 7788] INFO org.apache.hadoop.ipc.Server - IPC Server listener on 7788: starting
    
    //client:  我们传入“King”作为参数，能够争取执行
    hello,king

[7b8efbf27d5c47ba8d6b4b98e5bbc084.png]: https://img-blog.csdnimg.cn/7b8efbf27d5c47ba8d6b4b98e5bbc084.png
[19fa19cf5e634427a0cf9e270d8f267a.png]: https://img-blog.csdnimg.cn/19fa19cf5e634427a0cf9e270d8f267a.png
[591d55149096450182f0ad927488b88f.png]: https://img-blog.csdnimg.cn/591d55149096450182f0ad927488b88f.png
[f2f634c6b4bf47e28a698bd728f33dc4.png]: https://img-blog.csdnimg.cn/f2f634c6b4bf47e28a698bd728f33dc4.png
[cea3e81491104406bf10651f72312bee.png]: https://img-blog.csdnimg.cn/cea3e81491104406bf10651f72312bee.png