python高性能web框架——Japronto

￡神魔★判官ぃ 2024-04-18 21:54 32阅读 0赞

近期做了一个简单的demo需求，搭建一个http server，支持简单的qa查询。库中有10000个qa对，需要支持每秒10000次以上的查询请求。

需求比较简单，主要难点就是10000+的RPS。首先使用python + uwsgi写了个简单的demo，压测后发现，RPS只有几千，达不到性能要求。后来部署了多个服务，使用nginx做负载均衡才勉强达到需求。

# Japronto #

后来经过google 搜索，发现了Japronto，github地址https://github.com/squeaky-pl/japronto，性能非常强悍，可以看下作者提供的性能图：

![format_png][]

为什么可以有这么高的性能，因为Japronto 做了大量优化，其中最主要的是[HTTP pipelining][]，Japronto 用它来做执行并发请求的优化。大多数服务器把来自客户端的pipelining和non-pipelining请求都一视同仁，用同样的方法处理，并没有做针对性的优化。

![format_png 1][]

其他细节可以参考 https://medium.freecodecamp.org/million-requests-per-second-with-python-95c137af319 和 https://github.com/squeaky-pl/japronto

# 测试 #

采用docker的方式进行部署的，按照官网的例子

1、拉取镜像

docker pull japronto/japronto

2、编写测试代码

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

# examples/1_hello/hello.py
    from japronto import Application
    
    
    # Views handle logic, take request as a parameter and
    # returns Response object back to the client
    def hello(request):
        return request.Response(text='Hello world!')
    
    
    # The Application instance is a fundamental concept.
    # It is a parent to all the resources and all the settings
    # can be tweaked here.
    app = Application()
    
    # The Router instance lets you register your handlers and execute
    # them depending on the url path and methods
    app.router.add_route('/', hello)
    
    # Finally start our server and handle requests until termination is
    # requested. Enabling debug lets you see request logs and stack traces.
    app.run(debug=True)

![复制代码][aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]

3、启动docker 容器

docker run -p 8080:8080 -v $(pwd)/hello.py:/hello.py japronto/japronto --script /hello.py

使用wrk进行压测，使用 单线程，100个连接，压测30s。结果如下

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>wrk -c 100 -t 1 -d 30s http:</code><code>//192</code><code>.168.86.10:8077/</code> &nbsp; <code>Running 30s&nbsp;</code><code>test</code>&nbsp;<code>@ http:</code><code>//192</code><code>.168.86.10:8077/</code> <code>&nbsp;&nbsp;</code><code>1 threads and 100 connections</code> <code>&nbsp;&nbsp;</code><code>Thread Stats&nbsp;&nbsp; Avg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Stdev&nbsp;&nbsp;&nbsp;&nbsp; Max&nbsp;&nbsp; +</code><code>/-</code>&nbsp;<code>Stdev</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Latency&nbsp;&nbsp;&nbsp;&nbsp; 1.88ms&nbsp; 548.76us&nbsp; 17.70ms&nbsp;&nbsp; 88.46%</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>Req</code><code>/Sec</code>&nbsp;&nbsp;&nbsp;&nbsp;<code>53.43k&nbsp;&nbsp;&nbsp;&nbsp; 2.40k&nbsp;&nbsp; 54.86k&nbsp;&nbsp;&nbsp; 96.33%</code> <code>&nbsp;&nbsp;</code><code>1593994 requests&nbsp;</code><code>in</code>&nbsp;<code>30.02s, 139.85MB&nbsp;</code><code>read</code> <code>Requests</code><code>/sec</code><code>:&nbsp; 53104.58</code> <code>Transfer</code><code>/sec</code><code>:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4.66MB</code> </td> 
 </tr> 
 </tbody> 
</table>

压测结果受服务器，运行方式等影响，虽然和给出的数据相差较大，但是性能也是非常强悍的。

不过比较遗憾的是，目前这个项目已经暂停更新了

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEwMTg0OC8yMDE4MDgvMTEwMTg0OC0yMDE4MDgzMTExMzkyNDc5Ny0yMDg5NjI3Njc2LnBuZw?x-oss-process=image/format,png
[HTTP pipelining]: https://en.wikipedia.org/wiki/HTTP_pipelining
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTEwMTg0OC8yMDE4MDgvMTEwMTg0OC0yMDE4MDgzMTExNTIzNTI1My0xOTkzMTExNTQxLnBuZw?x-oss-process=image/format,png
[aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jb21tb24uY25ibG9ncy5jb20vaW1hZ2VzL2NvcHljb2RlLmdpZg