"服务不可用"怎么排查？讲了100遍还是记不住？

心已赠人 2022-12-25 01:47 144阅读 0赞

点击上方“程序猿技术大咖”，关注加群讨论

下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

![format_png][]

### 1、排查思路 ###

简单分析下可能出问题的地方，分为5个方向：

*  系统本身代码问题
 *  内部下游系统的问题导致的雪崩效应
 *  上游系统调用量突增
 *  http请求第三方的问题
 *  机器本身的问题

### 2、开始排查 ###

1.  查看日志，没有发现集中的错误日志，初步排除代码逻辑处理错误。
2.  首先联系了内部下游系统观察了他们的监控，发现一起正常。可以排除下游系统故障对我们的影响。
3.  查看provider接口的调用量，对比7天没有突增，排除业务方调用量的问题。
4.  查看tcp监控，TCP状态正常，可以排除是http请求第三方超时带来的问题。
5.  查看机器监控，6台机器cpu都在上升，每个机器情况一样。排除机器故障问题。即通过上述方法没有直接定位到问题。

### 3、解决方案 ###

1、重启了6台中问题比较严重的5台机器，先恢复业务。保留一台现场，用来分析问题。

2、查看当前的tomcat线程pid。

![format_png 1][]

3、查看该pid下线程对应的系统占用情况。`top -Hp 384`

![format_png 2][]

4、发现pid `4430` `4431` `4432` `4433` 线程分别占用了约40%的cpu

5、将这几个pid转为16进制，分别为`114e` `114f` `1150` `1151`

6、下载当前的java线程栈 `sudo -u tomcat jstack -l 384>/1.txt`

7、查询5中对应的线程情况，发现都是gc线程导致的

![format_png 3][]

8、dump java堆数据

`sudo -u tomcat jmap -dump:live,format=b,file=/dump201612271310.dat 384`

9、使用MAT加载堆文件，可以看到javax.crypto.JceSecurity对象占用了95%的内存空间，初步定位到问题。

MAT下载地址：

> http://www.eclipse.org/mat/![format_png 4][]

![format_png 5][]

10、查看类的引用树，看到`BouncyCastleProvider`对象持有过多。即我们代码中对该对象的处理方式是错误的，定位到问题。

### 4、代码分析 ###

我们代码中有一块是这样写的

![format_png 6][]

这是加解密的功能，每次运行加解密都会new一个BouncyCastleProvider对象,放倒Cipher.getInstance()方法中。

看下Cipher.getInstance()的实现，这是jdk的底层代码实现，追踪到JceSecurity类中

![format_png 7][]

verifyingProviders每次put后都会remove,verificationResults只会put，不会remove.

![format_png 8][]

看到verificationResults是一个static的map，即属于JceSecurity类的。所以每次运行到加解密都会向这个map put一个对象，而这个map属于类的维度，所以不会被GC回收。这就导致了大量的new的对象不被回收。

### 5、代码改进 ###

将有问题的对象置为static，每个类持有一个，不会多次新建。

![format_png 9][]

### 6、本文总结 ###

遇到线上问题不要慌，首先确认排查问题的思路：

1.  查看日志
2.  查看CPU情况
3.  查看TCP情况
4.  查看java线程，jstack
5.  查看java堆，jmap
6.  通过MAT分析堆文件，寻找无法被回收的对象

![format_png 10][]

*  [JDK1.8新特性(四)：函数式接口][JDK1.8]
 *  [MySQL性能优化(七)：MySQL执行计划，真的很重要，来一起学习吧][MySQL_MySQL]
 *  [Kubernetes资源清单篇：如何创建资源？][Kubernetes]  
    
 *  [微服务架构下的核心话题 (三)：微服务架构的技术选型][Link 1]
 *  [Oracle 慌了！华为终于对 JDK 下手了！][Oracle _ JDK]

![format_png 11][]

喜欢就点个"在看"呗，留言、转发朋友圈

[format_png]: /images/20221120/446fad1896c44498a2155af48de1f764.png
[format_png 1]: /images/20221120/75623c4405cd4287adf6da0075142fd6.png
[format_png 2]: /images/20221120/5decb6f8e3534859a87797f3a6f100a5.png
[format_png 3]: /images/20221120/18194447360a45959cab8cc6f62c55fc.png
[format_png 4]: /images/20221120/885a60308e7c47bdad236704bc47aa1f.png
[format_png 5]: /images/20221120/a5c03b1af47b4dbeaede4a3d974f5801.png
[format_png 6]: /images/20221120/fbbadddd5ce0495095902a2f74c120a5.png
[format_png 7]: /images/20221120/1fdb916029374913925e49d719e6530f.png
[format_png 8]: /images/20221120/d70f2986d5bd4149aae4165904a8f608.png
[format_png 9]: /images/20221120/95f2afd2c6e04499adbda7550a25b398.png
[format_png 10]: /images/20221120/53ea209c60bd4cf2bb1bace5b6563fca.png
[JDK1.8]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d88fba72a01ed52ba7e5403ba39bbb4386bd23a7906db45d831311c7216ecbd5a7efeff8d&idx=1&mid=2247485857&scene=21&sn=be80b248bcc6c080755953219a1f2b78#wechat_redirect
[MySQL_MySQL]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d8838a72a012e057b5671b8a429c1dacbfcd15bc480ee020c59a1f636e906fcd5edca659d&idx=1&mid=2247485794&scene=21&sn=cef01641815309e84aa2fbbd692bf5b4#wechat_redirect
[Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d9345a72a1a535420e60f89a2569d2790abf28c5b6b977d58bb04cb6a383aa8a800e53507&idx=1&mid=2247488031&scene=21&sn=fc2123b116f2da4980abdb171c11d5d2#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d8970a72a00662feffcea58c746fa0098b98a6a92af9dfd9490b7a84cab6b432c9f4ec831&idx=1&mid=2247485482&scene=21&sn=e6385ef8cc1cf13c8f17a6e29de238b6#wechat_redirect
[Oracle _ JDK]: http://mp.weixin.qq.com/s?__biz=MzA5MzUwOTY4NQ%3D%3D&chksm=905d936ca72a1a7a751704aff9d035691b139afb7444da79c0c82aa44a4884cba319b79448e3&idx=1&mid=2247488054&scene=21&sn=b23a8d1c7ab18b82fa2179c7f807c3e8#wechat_redirect
[format_png 11]: /images/20221120/91527494af3d4c83b64c67866e6f0182.png