netty百万连接跟踪记录

爱被打了一巴掌 2022-01-10 04:43 266阅读 0赞

0、 启动客户端和服务端

\# 测试环境： centos7 jdk8 2核16G  
\# 服务端启动  
nohup java -Xmx8192m -Xms4096m -XX:+UseG1GC -XX:ParallelGCThreads=4 -jar SJJ1748PerformanceTest-1.0.jar 10000 K1 &

1、 too many openFiles 服务端和测试机都改一下

\# 进程最大文件打开添加参数最大限制  
vi /etc/security/limits.conf  
\* soft nofile 1000000  
\* hard nofile 1000000

![1358661-20190527185937897-1708502069.png][]

![1358661-20190527185950069-33366675.png][]

\# 全局限制 cat /proc/sys/fs/file-nr  
echo 1200000 > /proc/sys/fs/file-max

2、 客户端问题汇总

\# 客户机开不了这么多连接 ，可能的问题原因端口开放数  
linux对外随机分配的端口是有限制,理论上单机对外端口数可达65535,但实际对外可建立的连接默认最大只有28232个  
查看： cat /proc/sys/net/ipv4/ip\_local\_port\_range  
echo "net.ipv4.ip\_local\_port\_range= 1024 65535">> /etc/sysctl.conf  
sysctl -p

\# ipv4设置  
sysctl -w net.ipv4.tcp\_tw\_recycle=1 \#快速回收time\_wait的连接  
sysctl -w net.ipv4.tcp\_tw\_reuse=1  
sysctl -w net.ipv4.tcp\_timestamps=1

![1358661-20190527190103942-1212053138.png][]

3.可能的问题

\# 如果发现自己的用例跑不上去，就看看linux日志  
linux 日志  
nf\_conntrack: table full, dropping packet 表示防火墙的表满了，加大 nf\_conntrack\_max 参数  
echo "net.nf\_conntrack\_max = 1000000">> /etc/sysctl.conf

\# 2、 TCP: too many orphaned sockets 表示内存不太够，拒绝分配，一般就是TCP缓冲区内存不够用，调大一点  
\# cat /proc/sys/net/ipv4/tcp\_mem  
echo "net.ipv4.tcp\_mem = 786432 2097152 16777216">> /etc/sysctl.conf  
echo "net.ipv4.tcp\_rmem = 4096 4096 16777216">> /etc/sysctl.conf  
echo "net.ipv4.tcp\_wmem = 4096 4096 16777216">> /etc/sysctl.conf  
sysctl -p

![1358661-20190527190208949-502601602.png][]

4、 常规监控

\# 查看某个端口的连接情况  
netstat -nat|grep -i "$(jcmd|grep SJJ|awk '\{print $1\}')"|wc -l

![1358661-20190527190237592-547421180.png][]

netstat -n | awk '/^tcp/ \{++S\[$NF\]\} END \{for(a in S) print a, S\[a\]\}'

![1358661-20190527190307488-2027465702.png][]

\# 网络接口的带宽使用情况  
\# glances工具  
yum install -y glances  
glances 控制台查看  
glances -s 服务器模式查看

![1358661-20190527190334259-859023032.png][]

转载于:https://www.cnblogs.com/htkj/p/10932461.html

[1358661-20190527185937897-1708502069.png]: /images/20220109/d25518b006a640e58b97426fb1353e19.png
[1358661-20190527185950069-33366675.png]: /images/20220109/6fe054fa499a4e158fdcdd11de45a03e.png
[1358661-20190527190103942-1212053138.png]: /images/20220109/562d2d7f3a174fd0ab1531d578518ca4.png
[1358661-20190527190208949-502601602.png]: /images/20220109/fe10f81010bb471dadf4952c9e293c2c.png
[1358661-20190527190237592-547421180.png]: /images/20220109/7b269d702af34d15b474ba6ab8fe702e.png
[1358661-20190527190307488-2027465702.png]: /images/20220109/30eb2bf851fd402bb87f9a5607d5cc79.png
[1358661-20190527190334259-859023032.png]: /images/20220109/e9913ec30afc4987bc634ef30933dc30.png