Java线程数过多解决之路、利用Arthas解决Jenkins线程数飙升问题

客官°小女子只卖身不卖艺 2023-09-29 16:08 9阅读 0赞

## 0. 背景 ##

Jenkins是基于Java开发的一款持续集成工具，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。同时，Jenkins 提供了数量庞大的各种插 件，以满足用户对于持续集成相关的需求。

比如 Jenkins 提供的influxdb 插件，可以将构建执行步骤、耗时、结果等数据，发送到 influxdb 数据库，便于后期对构建数据进行分析和展示。

Jenkins在公司内部，被广泛用于各类项目的持续集成工作，支撑3000+项目、每日近万次构建。Jenkins是CI/CD的核心链路和重要环节，保障 Jenkins 的 高可用和高性能尤为重要。

## 1. 问题现象 ##

我们的Jenkins 服务在运行一段时间后，会变得异常卡顿，严重降低持续集成速度，影响研发工作效率。

出了问题后，我们第一时间查看了Jenkins 监控大盘，从监控大盘可以看到，JVM 线程数量飙升得很厉害，**最高达 20K**：

![013aa985dfab54f04cee92f687b3bf35.png][]

## 2. 问题分析 ##

## 2.1 dump 线程栈 ##

发现问题后，登上Jenkins机器，dump下jvm的线程栈。

# 获取 Java 进程 id
    
    jps -l
    19768 /home/maintain/jenkins-bin/jenkins/jenkins.war
    
    # dump 线程栈
    jstack 19768 > jstack.txt

## 2.2 分析线程栈 ##

拿到这个dump后的线程栈，我们借助 https://fastthread.io/ 这个网站，分析下jvm线程栈。

大致的结果如下：

*  Total Threads count: 20215
 *  Thread Group：RxNewThreadScheduler 18600 threads

从以上信息可以知道，jvm总共有20215个线程，其中有18600 个都是RxNewThreadScheduler这个线程组创建的线程。

## 2.3 定位线程来源 ##

JVM的线程栈中，出现了大量的 RxNewThreadScheduler 这个线程组，从字面上来看，猜测应该是RxJava相关的线程。

为了验证这个猜测，我们决定查阅下 RxJava 框架的源码，看看 RxNewThreadScheduler 这个线程到底是不是从RxJava 框架生成的。

在GitHub上rxjava 的源码中搜索了下RxNewThreadScheduler，如下：

*  代码：https://github.com/ReactiveX/RxJava/search?q=RxNewThreadScheduler
 *  结果：

[013aa985dfab54f04cee92f687b3bf35.png]: https://img-blog.csdnimg.cn/img_convert/013aa985dfab54f04cee92f687b3bf35.png

发表评论取消回复

表情：

评论列表（有 0 条评论，9人围观）

还没有评论，来说两句吧...

相关阅读

相关解决Java多线程同步问题

在Java中，多线程的同步主要通过以下几种方式来实现： 1. **synchronized关键字**：在代码块前面加上`synchronized`关键字，可以保证同一

深碍√TFBOYSˉ_/ 2024年10月15日 14:00/ 0 赞/ 39 阅读

相关【Java多线程】线程安全问题与解决方案

*目录** 1、线程安全问题 1.2、线程安全原因 2、线程加锁 2.1、synchronized 关键字 2.2、完善代码 2.3、对同一个线程的加锁操作 ...

╰半橙微兮°/ 2024年04月20日 11:47/ 0 赞/ 86 阅读

相关 Java线程数过多解决之路、利用Arthas解决Jenkins线程数飙升问题

0. 背景 Jenkins是基于Java开发的一款持续集成工具，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。同时，Jenkins 提供了数量庞大的各种插

客官°小女子只卖身不卖艺/ 2023年09月29日 16:08/ 0 赞/ 10 阅读

相关 xgboost 多线程，解决默认开启线程数为cpu个数问题

环境 python 3.6 xgboost 1.0.1 现象在一台48c的服务器上，就import xgboost，还没进行训练，通过命令发现，线程数就达到

谁借莪１个温暖的怀抱￠/ 2022年12月03日 08:48/ 0 赞/ 445 阅读

相关独占线程数过多-weblogic报警

生产项目发生告警短信，提示：独占线程数过多，703个。搜索资料并记录如下：http://tekkamanninja.blog.chinaunix.net/uid-17176

心已赠人/ 2022年05月30日 08:21/ 0 赞/ 182 阅读

相关 Spring-利用ThreadLocal解决线程安全问题(多线程并发登录)

ThreadLocal是什么 ThreadLocal，顾名思义，它不是一个线程，而是线程的一个本地化对象。当工作于多线程中的对象使用ThreadLocal维护变量时

秒速五厘米/ 2022年05月30日 05:26/ 0 赞/ 1067 阅读

相关 Java多线程之线程池配置合理线程数

Java多线程之线程池配置合理线程数 -------------------- 目录 1. 代码查看公司服务器或阿里云是几核的 2. 合理线程数配置之CPU密

短命女/ 2022年04月25日 08:40/ 0 赞/ 324 阅读

相关 cpu个数、核数、线程数、Java多线程关系的理解

一 cpu个数、核数、线程数的关系 cpu个数：是指物理上，也及硬件上的核心数；核数：是逻辑上的，简单理解为逻辑上模拟出的核心数；线程数：是同一时刻设备能并行执行的程

Bertha 。/ 2022年04月13日 08:38/ 0 赞/ 1076 阅读

相关 cpu个数、核数、线程数、Java多线程关系的理解

[https://www.cnblogs.com/timxgb/p/9507316.html][https_www.cnblogs.com_timxgb_p_9507316.h

超、凢脫俗/ 2022年01月27日 05:34/ 0 赞/ 551 阅读

相关 Java 多线程解决并发问题

并发问题，是指在一个时刻内多个线程对一个对象或代码块同时访问读入或取出资源，你争我抢的，就会混乱掉，而不是按部就班，一个一个的去访问读取，就好比人们在旅游的地方上公共厕所，一个

àì夳堔傛蜴生んèń/ 2021年09月20日 17:44/ 0 赞/ 354 阅读