用threading 解决 gunicorn worker timeout

布满荆棘的人生 2021-12-14 03:37 270阅读 0赞

产生worker timeout 的背景

while 1:

.....

time.sleep(1)

gunicorn运行起来，只等待了30s,就卡住了，没报任何异常或err,查了gunicorn 官方文档，原来是线程默认等待30s 就kill 掉，再restart

http://docs.gunicorn.org/en/stable/settings.html

### timeout ###

*  `-t INT, --timeout INT`
 *  `30`

Workers silent for more than this many seconds are killed and restarted.

Generally set to thirty seconds. Only set this noticeably higher if you’re sure of the repercussions for sync workers. For the non sync workers it just means that the worker process is still communicating and is not tied to the length of time required to handle a single request.

根本原因找到了，在gunicorn启动加了--timeout  120 ，还是超过30s 就worker timeout.搜了一圈stack没发现好的解决方法。

解决这个问题，目前最好的方法，就是在程序改代码，原先是主线程调用，用threading包装一下

如：

import threading

t = threading.Thread(name = '', target = func ,kwargs\{\})

t.daemon = True

t.start()

t = threading.Thread(name='result\_package', target=result\_package, args=(pack\_name, task, issue))

t.daemon = True
        t.start()

这样就在主线程下，把方法包装起来。

顺便用

Event().wait(15)  替代 time.sleep(16)

这样写法的好处是不占用cpu,释放！

###            ###

刚开始，分析原因花了不少时间，几行代码就把worker timeout解决了。之前试了map.thread不行。

准备用队列(celery+redis)替代原来的逻辑，只是工作量有点大，太重了。

转载于:https://www.cnblogs.com/ExMan/p/10899823.html

发表评论取消回复

表情：

评论列表（有 0 条评论，270人围观）

还没有评论，来说两句吧...

相关阅读

相关 gunicorn -k 参数详解（worker type）

网上最简单的说法： worker\_class \-k STRTING, --worker-class STRTING 要使用的工作模式，默认为sync。可引用以下

亦凉/ 2023年10月08日 08:38/ 0 赞/ 8 阅读

相关 Gunicorn部署Flask

![在这里插入图片描述][20210321195730830.png_pic_center] Gunicorn是一个被广泛使用的高性能的Python WSGI UNIX HT

红太狼/ 2023年09月25日 14:12/ 0 赞/ 61 阅读

相关 Exception in thread “main“ java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT

问题 Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT

男娘i/ 2023年09月24日 16:36/ 0 赞/ 27 阅读

相关 tls handshake timeout解决方案

docker pull 错误 net/http: TLS handshake timeout 的解决方案有两种。问题原因：该命令默认从docker远端镜像仓库中拉取镜像，但由

蔚落/ 2023年09月23日 17:12/ 0 赞/ 128 阅读

相关 goproxy 模块代理，解决 timeout 问题

一、问题复现执行以下命令： go run main.go 发现报错 `go: github.com/astaxie/beego@v1.12.2: Get "

末蓝、/ 2022年12月24日 00:37/ 0 赞/ 188 阅读

相关 nodejs中使用worker_threads来创建新的线程

文章目录简介 worker\_threads isMainThread MessageChannel parentP

Myth丶恋晨/ 2022年11月19日 09:43/ 0 赞/ 197 阅读

相关 bottle的gunicorn+gevent部署和 gunicorn+meinheld 部署

config.py(gunicorn+gevent): --coding:utf-8 -- __author__ = "ZJL"

Love The Way You Lie/ 2022年06月12日 06:19/ 0 赞/ 144 阅读

相关 nginx设置worker_processes，worker_connections，worker_rlimit_nofile

max\_clients = worker\_processes \ worker\_connections worker\_processes number|auto

秒速五厘米/ 2022年04月11日 09:23/ 0 赞/ 439 阅读

相关 gunicorn 部署 flask

安装 pip install gunicorn pip install gevent 如果要使用gevent模式 pip install flask

爱被打了一巴掌/ 2022年01月07日 10:25/ 0 赞/ 227 阅读

相关用threading 解决 gunicorn worker timeout

产生worker timeout 的背景 while 1: ..... time.sleep(

布满荆棘的人生/ 2021年12月14日 03:37/ 0 赞/ 271 阅读