采用Locust对grpc协议进行压测

秒速五厘米 2023-06-23 11:52 202阅读 0赞

## **1.Locust学习** ##

详情可以参考：[Locust官方文档【中文翻译】][Locust]

## **2.grpc协议** ##

详情可以参考：[gRPC 官方文档中文版V1.0][gRPC _V1.0]

**gRPC 是什么？**

在 gRPC 里*客户端*应用可以像调用本地对象一样直接调用另一台不同的机器上*服务端*应用的方法，使得您能够更容易地创建分布式应用和服务。与许多 RPC 系统类似，gRPC 也是基于以下理念：定义一个*服务*，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个*存根*能够像服务端一样的方法。

## ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzMzNzE4NTYz_size_16_color_FFFFFF_t_70][] ##

gRPC 客户端和服务端可以在多种环境中运行和交互 - 从 google 内部的服务器到你自己的笔记本，并且可以用任何 gRPC [支持的语言][Link 1]来编写。所以，你可以很容易地用 Java 创建一个 gRPC 服务端，用 Go、Python、Ruby 来创建客户端。此外，Google 最新 API 将有 gRPC 版本的接口，使你很容易地将 Google 的功能集成到你的应用里。

**使用 protocol buffers**

gRPC 默认使用 *protocol buffers*，这是 Google 开源的一套成熟的结构数据序列化机制（当然也可以使用其他数据格式如 JSON）。正如你将在下方例子里所看到的，你用 *proto files* 创建 gRPC 服务，用 protocol buffers 消息类型来定义方法参数和返回类型。你可以在 [Protocol Buffers 文档][Protocol Buffers]找到更多关于 Protocol Buffers 的资料。

**3.采用Locust对grpc协议进行压测**

*  **准备proto文件**

# helloworld.proto
    
    syntax = "proto3";
    option java_package = "io.grpc.examples";
    package helloworld;
    
    // The greeter service definition.
    service Greeter {
        // Sends a greeting
        rpc SayHello (HelloRequest) returns (HelloReply) {}
    }
    
    // The request meesage containing the user'name.
    message HelloRequest {
        string name = 1;
    }
    
    // The response message containing the greetings
    message HelloReply {
        string message = 1;
    }

*  **使用 protoc 编译 proto 文件, 生成 python 语言的实现**

注：需要安装python下的protoc编译器，安装命令如下：

# 安装 python 下的 protoc 编译器
    pip install grpcio-tools

然后生成proto文件，命令如下：

# 编译 proto 文件
    python -m grpc_tools.protoc --python_out=. --grpc_python_out=. -I. helloworld.proto

**解释：**

\#python -m grpc\_tools.protoc: python 下的 protoc 编译器通过 python 模块(module) 实现, \#所以说这一步非常省心  
\#--python\_out=. : 编译生成处理 protobuf 相关的代码的路径, 这里生成到当前目录  
\#--grpc\_python\_out=. : 编译生成处理 grpc 相关的代码的路径, 这里生成到当前目录  
\#-I. helloworld.proto : proto 文件的路径, 这里的 proto 文件在当前目录

注：

比如我想将指定文件夹./grpc\_proto/test下helloworld.proto文件编译结果存放到指定文件夹./grpc\_client/test目录下，可以采用如下写法：

python -m grpc_tools.protoc -I./grpc_proto/test --python_out=./grpc_client/test/ --grpc_python_out=./grpc_client/test/ helloworld.proto

而不是下面的这种写法， 这样的话会在./grpc\_client/test多生成两层文件夹./grpc\_proto/test。

python -m grpc_tools.protoc -I. --python_out=./grpc_client/test/ --grpc_python_out=./grpc_client/test/ ./grpc_proto/testhelloworld.proto

正常情况下编译后生成的2个代码文件:，分别如下：

1.  `helloworld_pb2.py`: 用来和 protobuf 数据进行交互
2.  `helloworld_pb2_grpc.py`: 用来和 grpc 进行交互

*  **编写helloworld的grpc实现**

import sys
    import grpc
    import time
    sys.path.append("..")
    
    from concurrent import futures
    from helloworld.helloworld import helloworld_pb2, helloworld_pb2_grpc
    
    _ONE_DAY_IN_SECONDS = 60 * 60 * 24
    _HOST = 'localhost'
    _PORT = '50052'
    class Greeter(helloworld_pb2_grpc.GreeterServicer):
        def SayHello(self, request, context):
            str = request.name
            return helloworld_pb2.HelloReply(message='hello, '+str)
    
    def serve():
        grpcServer = grpc.server(futures.ThreadPoolExecutor(max_workers=4))
        helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), grpcServer)
        grpcServer.add_insecure_port(_HOST + ':' + _PORT)
        grpcServer.start()
    
        try:
            while True:
                time.sleep(_ONE_DAY_IN_SECONDS)
        except KeyboardInterrupt:
            grpcServer.stop(0)
    
    if __name__ == '__main__':
        serve()

在终端启动，如下：

python helloworld_server.py

*  编写Locust文件，实现对端口50052的grpc服务进行压测，内容如下：

#!/usr/bin/env python 2.7
    # -*- coding:utf-8 -*-
    
    import os,sys, argparse
    sys.path.append("..")
    import grpc
    import json
    import requests
    import time
    import random
    import string
    
    import helloworld_pb2, helloworld_pb2_grpc
    from locust import Locust, TaskSet, task, events
    from locust.stats import RequestStats
    from locust.events import EventHook
    
    
    def parse_arguments():
        parser = argparse.ArgumentParser(prog='locust')
        parser.add_argument('--hatch_rate')
        parser.add_argument('--master', action='store_true')
        args, unknown = parser.parse_known_args()
        opts = vars(args)
        return args.host, int(args.clients), int(args.hatch_rate)
    
    #HOST, MAX_USERS_NUMBER, USERS_PRE_SECOND = parse_arguments()
    HOST, MAX_USERS_NUMBER, USERS_PRE_SECOND = '127.0.0.1:50052', 1, 10
    
    # 分布式，需要启多台压测时,有一个master，其余为slave
    slaves_connect = []
    slave_report = EventHook()
    ALL_SLAVES_CONNECTED = True
    SLAVES_NUMBER = 0
    def on_my_event(client_id, data):
        global ALL_SLAVES_CONNECTED
        if not ALL_SLAVES_CONNECTED:
            slaves_connect.append(client_id)
        if len(slaves_connect) == SLAVES_NUMBER:
            print "All Slaves Connected"
            ALL_SLAVES_CONNECTED = True
    #        print events.slave_report._handlers
            header = {'Content-Type': 'application/x-www-form-urlencoded'}
    import resource
    
    rsrc = resource.RLIMIT_NOFILE
    soft, hard = resource.getrlimit(rsrc)
    print 'RLIMIT_NOFILE soft limit starts as : ', soft
    
    soft, hard = resource.getrlimit(rsrc)
    print 'RLIMIT_NOFILE soft limit change to: ', soft
    
    events.slave_report += on_my_event
    
    class GrpcLocust(Locust):
        def __init__(self, *args, **kwargs):
            super(GrpcLocust, self).__init__(*args, **kwargs)
    
    
    class ApiUser(GrpcLocust):
        min_wait = 90
        max_wait = 110
        stop_timeout = 100000
    
        class task_set(TaskSet):
            def getEnviron(self, key, default):
                if key in os.environ:
                    return os.environ[key]
                else:
                    return default
    
            def getToken(self):
                consumer_key = self.getEnviron('SELDON_OAUTH_KEY', 'oauthkey')
                consumer_secret = self.getEnviron('SELDON_OAUTH_SECRET', 'oauthsecret')
                params = {}
    
                params["consumer_key"] = consumer_key
                params["consumer_secret"] = consumer_secret
    
                url = self.oauth_endpoint + "/token"
                r = requests.get(url, params=params)
                if r.status_code == requests.codes.ok:
                    j = json.loads(r.text)
                    # print j
                    return j["access_token"]
                else:
                    print "failed call to get token"
                    return None
    
            def on_start(self):
                # print "on start"
    #            self.oauth_endpoint = self.getEnviron('SELDON_OAUTH_ENDPOINT', "http://127.0.0.1:50053")
    #            self.token = self.getToken()
                self.grpc_endpoint = self.getEnviron('SELDON_GRPC_ENDPOINT', "127.0.0.1:50052")
                self.data_size = int(self.getEnviron('SELDON_DEFAULT_DATA_SIZE', "784"))
    
            @task
            def get_prediction(self):
                conn = grpc.insecure_channel(self.grpc_endpoint)
                client = helloworld_pb2_grpc.GreeterStub(conn)
                start_time = time.time()
                name = string.join(random.sample(['a','b','c','d','e','f','g'], 3)).replace(" ","")
                request = helloworld_pb2.HelloRequest(name=name)
                try:
                    reply = client.SayHello(request)
                except Exception,e:
                    total_time = int((time.time() - start_time) * 1000)
                    events.request_failure.fire(request_type="grpc", name=HOST, response_time=total_time, exception=e)
                else:
                    total_time = int((time.time() - start_time) * 1000)
                    events.request_success.fire(request_type="grpc", name=HOST, response_time=total_time, response_length=0)

*  启动Locust，查看结果

locust -f locustFile.py

[Locust]: https://blog.csdn.net/swinfans/article/details/88915176
[gRPC _V1.0]: http://doc.oschina.net/grpc?t=56831
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzMzNzE4NTYz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191218185826219.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzMzNzE4NTYz,size_16,color_FFFFFF,t_70
[Link 1]: http://doc.oschina.net/grpc?t=58008#quickstart
[Protocol Buffers]: http://doc.oschina.net/https%EF%BC%9A//developers.google.com/protocol-buffers/docs/overview