rpc thrift/thriftpy2 python

蔚落 2023-06-09 15:27 10阅读 0赞

**Thrift使用**  
1、 安装thrift的python库  
Pip install thrift  
2. 安装 Thrift 的 IDL 编译工具  
Windows:  
从官网上下载 windows 版的 thrift.exe：http://archive.apache.org/dist/thrift/0.9.3/ （我这里用的是0.9.3版本）  
Linux:  
Mac:

3、定义一个.thrift格式的文件，如test.thrift

service Transmit { 
    string sayMsg(1:string msg);
    string invoke(1:i32 cmd 2:string token 3:string data)
    }

4、然后运行命令thrift-0.9.3.exe -gen py test.thrift 生成 python 代码  
![在这里插入图片描述][20191223182944782.png]  
5、编辑服务器端代码

import json
    import threading
    from test import Transmit
    from test.ttypes import *
    from thrift.transport import TSocket
    from thrift.transport import TTransport
    from thrift.protocol import TBinaryProtocol
    from thrift.server import TServer
    import socket
    
    
    class TransmitHandler:
        def __init__(self):
            self.log = { }
    
        def sayMsg(self, msg):
            msg = json.loads(msg)
            print(threading.get_ident())
            print("sayMsg(" + msg + ")")
            return "say " + msg + " from " + socket.gethostbyname(socket.gethostname())
    
        def invoke(self, cmd, token, data):
            cmd = cmd
            token = token
            data = data
            if cmd == 1:
                return json.dumps({ token: data})
            else:
                return 'cmd不匹配'
    
    
    if __name__ == "__main__":
        handler = TransmitHandler()  # 处理程序
        processor = Transmit.Processor(handler)
        transport = TSocket.TServerSocket('127.0.0.1',
                                          8000)  # 基于TCP socket实现TTransport的接口 https://www.cnblogs.com/brucewoo/p/3226858.html
        """ TSocket：使用阻塞的TCP Socket进行数据传输，也是最常见的模式 THttpTransport：采用Http传输协议进行数据传输 TFileTransport：文件（日志）传输类，允许client将文件传给server，允许server将收到的数据写到文件中 TZlibTransport：与其他的TTransport配合使用，压缩后对数据进行传输，或者将收到的数据解压 """
        tfactory = TTransport.TBufferedTransportFactory()  # 将原始传输转换为一个适合的应用传输 装饰器模式
        """ TBufferedTransport：对某个Transport对象操作的数据进行buffer，即从buffer中读取数据进行传输，或者将数据直接写入buffer TFramedTransport：同TBufferedTransport类似，也会对相关数据进行buffer，同时，它支持定长数据发送和接收（按块的大小，进行传输）。 TMemoryBuffer：从一个缓冲区中读写数据 """
        pfactory = TBinaryProtocol.TBinaryProtocolFactory()  # 为TTransport创建一个输入和输出 把TTransport中的字节流转化为数据流(Data Stream)
        """ TBinaryProtocol: 二进制格式 TCompactProtocol: 高效率的、密集的二进制编码格式 TJSONProtocol: 使用 JSON 的数据编码协议进行数据传输 TSimpleJSONProtocol: 提供JSON只写协议, 生成的文件很容易通过脚本语言解析。 TDebugProtocol: 使用易懂的可读的文本格式，以便于debug """
        server = TServer.TThreadedServer(processor, transport, tfactory, pfactory)  # 单线程服务器
        """ TServer.TSimpleServer 单线程服务器 TServer.TThreadedServer 多线程服务器 TServer.TThreadPoolServer 线程池服务器 TForkingServer 多进程服务器 """
        print("Starting python server...")
        server.serve()

6、编写客户端代码

import sys
    import json
    from test import Transmit
    from test.ttypes import *
    from test.constants import *
    from thrift import Thrift
    from thrift.transport import TSocket
    from thrift.transport import TTransport
    from thrift.protocol import TBinaryProtocol
    import time
    
    try:
        # Make socket
        transport = TSocket.TSocket('127.0.0.1', 8000)
        # Buffering is critical. Raw sockets are very slow
        transport = TTransport.TBufferedTransport(transport)
        # Wrap in a protocol
        protocol = TBinaryProtocol.TBinaryProtocol(transport)
        # Create a client to use the protocol encoder
        client = Transmit.Client(protocol)
        # Connect!
        transport.open()
    
        cmd = 1
        token = '1111-2222-3333-4444'
        data = json.dumps({ "name": "zhoujielun"})
        msg = client.invoke(cmd, token, data)
        time.sleep(5)
        bad = client.sayMsg(json.dumps("zhoujielun"))
        transport.close()
    except Thrift.TException as tx:
      print("%s" % (tx.message))

这里要说两个问题，首先，thriftpy2是第三方封装的一个三方库，相对于thrift的使用更加方便，不用安装插件生成代码，网上随便搜一个教程就可以，缺点是每次调用都需要生成新的socket，无法实现长连接。所以采用的是thrift更自由，更容易客制化。

**Thrift2使用教程**

thriftpy2中服务端和客户端都需要调用thriftpy2.load方法，对thrift文件进行解析，会在内存中构建相应的module  
1.thriftpy2构建服务端  
调用thriftpy.load方法对thrift文件进行解析,在内存中构建对应的module  
调用make\_server将构建的module和完成具体业务功能的class绑定,同时完成传输层和协议层的设置,生成thrift服务器端  
调用server.serve方法启动服务器  
2.thriftpy2构建客户端接口  
调用thriftpy.load方法对thrift文件进行解析,在内存中构建对应的module  
调用make\_client绑定上一步构建的module,同时完成传输层和协议层的设置,生成Thirft客户端  
根据生成的客户端调用响应的接口  
由于微服务基本都会用docker来运行，用docker来搭建python微服务，大家可以参考下https://blog.csdn.net/qq\_35394891/article/details/84144936

通过IDL（接口定义语言） -> 来定义 RPC(远程过程调用)的接口和数据类型 -> thrift编译器生成不同语言的代码 -> 负责RPC协议层和传输层的实现  
通过定义IDL文件，来来关联客户端和服务端  
IDL文件中定义的内容，定义我们要运行的服务，需要的变量等

thriftpy2框架是以pythonic方式实现的，不需要通过thrift文件，生成SDK，只需要动态导入thrift文件即可  
使用方法：  
1、pip install thriftpy2  
2、我们需要定义thrift文件，来描述服务接口

service PingPong { 
        string ping(),
    }

3、定义客户端代码

import thriftpy2
    pingpong_thrift = thriftpy2.load("pingpong.thrift", module_name="pingpong_thrift")
    
    from thriftpy2.rpc import make_client
    
    client = make_client(pingpong_thrift.PingPong, '127.0.0.1', 6000)
    print(client.ping())

4、定义服务端代码

import thriftpy2
    pingpong_thrift = thriftpy2.load("pingpong.thrift", module_name="pingpong_thrift")
    
    from thriftpy2.rpc import make_server
    
    class Dispatcher(object):
        def ping(self):
            return "pong"
    
    server = make_server(pingpong_thrift.PingPong, Dispatcher(), '127.0.0.1', 6000)
    server.serve()

支持异步：  
Client：

import thriftpy2
    import asyncio
    from thriftpy2.rpc import make_aio_client
    
    echo_thrift = thriftpy2.load("echo.thrift", module_name="echo_thrift")
    
    async def request():
        client = await make_aio_client(
            echo_thrift.EchoService, '127.0.0.1', 6000)
        print(await client.echo('hello, world'))
        client.close()

server：

import asyncio
    import thriftpy2
    
    from thriftpy2.rpc import make_aio_server
    
    echo_thrift = thriftpy2.load("echo.thrift", module_name="echo_thrift")
    
    class Dispatcher(object):
        async def echo(self, param):
            print(param)
            await asyncio.sleep(0.1)
            return param
    
    def main():
        server = make_aio_server(
            echo_thrift.EchoService, Dispatcher(), '127.0.0.1', 6000)
        server.serve()
    
    
    if __name__ == '__main__':
        main()

两个学习链接：[https://www.cnblogs.com/mumuxinfei/category/597031.html][https_www.cnblogs.com_mumuxinfei_category_597031.html]  
[http://zheming.wang/blog/2014/08/28/94D1F945-40EC-45E4-ABAF-3B32DFFE4043/][http_zheming.wang_blog_2014_08_28_94D1F945-40EC-45E4-ABAF-3B32DFFE4043]

[20191223182944782.png]: /images/20230531/4f40264d4ac642feb622b8f5bce44236.png
[https_www.cnblogs.com_mumuxinfei_category_597031.html]: https://www.cnblogs.com/mumuxinfei/category/597031.html
[http_zheming.wang_blog_2014_08_28_94D1F945-40EC-45E4-ABAF-3B32DFFE4043]: http://zheming.wang/blog/2014/08/28/94D1F945-40EC-45E4-ABAF-3B32DFFE4043/