基于netty如何实现百万连接

旧城等待， 2022-12-19 13:24 260阅读 0赞

*  ① 介绍

> 100w连接需要多少台机器才能构建起来，这肯定是很多的，在测试的过程中，不需要几百个服务器完成百万连接。需要注意服务器支持端口的数量是可以支持很多的，但是如何2台服务器要实现百万连接，需要考虑一个TCP层次的一种限制，两台服务器之间建立的连接数量是有限的。网络四元组（客户端IP，客户端端口，服务端IP，服务端端口）。

1.  同一个IP的端口数不超过65535个，这是个限制，每一个连接不仅仅在服务器上开启一个端口，在客户端也会开启一个端口，每一个TCP连接涉及到端口数量的限制，客户端只有6万多个端口。（不可能搞那么多机器，所以让一个客户端发起100万的连接请求，如果是生产环境就不用考虑这个问题）
2.  服务器只有一个端口的情况下，同一个客户端只能对他发起6万多个连接。客户端每发起一个请求，就需要开启一个端口。客户端没有端口就说明它没办法发起请求。

*  ② 解决方案

1.  服务器开启多个端口，网络上区别机器是通过网络四元组来标记的。客户端的端口虽然有限，但是可以复用里面的端口。
2.  举个例子：客户端端口20000，已经连接了服务端9001 这个端口。20000端口在去连接服务端另一个端口9002这个端口。对于客户端指定端口复用，操作系统会自动处理的。
3.  netty里面开启了 地址的复用。客户端也开启复用。参数都是TCP参数。ChannelOption.SO\_REUSEADDR
4.  client 和server端通过循环的方式，增加多个端口的绑定。

![搭建百万连接服务，使用netty完成websocke的推送][netty_websocke]

*  ③ client端 和 server端需要修改的代码

> WebSocketClient

*  ① 介绍

*  ② 解决方案

![搭建百万连接服务，使用netty完成websocke的推送][netty_websocke]

*  ③ client端 和 server端需要修改的代码

> WebSocketClient

// tcp 建立连接
     for (int i = 0; i < 100; i++) {
     for (int j = 0; j < 60000; j++) {
     b.connect(host, port).sync().get();
     }
     port++;
     }

> WebSocketServer

for (int i = 0; i < 100; i++) {
     b.bind(++PORT).addListener(new ChannelFutureListener() {
     public void operationComplete(ChannelFuture future) throws Exception {
     if ("true".equals(System.getProperty("netease.debug")))
     System.out.println("端口绑定完成：" + future.channel().localAddress());
     }
     });
     }

（三）linux下的百万配置

*  ① 环境配置

> 测试环境： 两台 centos7 jdk8 4核8G

*  ② centos服务器配置

> 进程最大文件打开添加参数最大限制

vi /etc/security/limits.conf 
    
    # 修改下面的内容
    
    * soft nofile 1000000
    * hard nofile 1000000

> 全局限制 cat /proc/sys/fs/file-nr

echo 1200000 > /proc/sys/fs/file-max

> 服务设置

vi /etc/sysctl.conf
    #修改下面的内容
    fs.file-max = 1000000

> 问题汇总

# 客户机开不了这么多连接 ，可能的问题原因端口开放数
    linux对外随机分配的端口是有限制,理论上单机对外端口数可达65535,但实际对外可建立的连接默认最大只有28232个
    查看： cat /proc/sys/net/ipv4/ip_local_port_range
    echo "net.ipv4.ip_local_port_range= 1024 65535">> /etc/sysctl.conf
    sysctl -p
    
    # 如果你的机器差，出现了奇怪的问题~
    sysctl -w net.ipv4.tcp_tw_recycle=1 #快速回收time_wait的连接
    sysctl -w net.ipv4.tcp_tw_reuse=1 
    sysctl -w net.ipv4.tcp_timestamps=1

# 如果发现自己的用例跑不上去，就看看linux日志
    tail -f /var/log/messages
    # linux 日志
    1、 nf_conntrack: table full, dropping packet 表示防火墙的表满了，加大 nf_conntrack_max 参数
    echo "net.nf_conntrack_max = 1000000">> /etc/sysctl.conf
    
    # 2、 TCP: too many orphaned sockets 表示内存不太够，拒绝分配，一般就是TCP缓冲区内存不够用，调大一点
    # cat /proc/sys/net/ipv4/tcp_mem 
    echo "net.ipv4.tcp_mem = 786432 2097152 16777216">> /etc/sysctl.conf
    echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
    echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf
    sysctl -p

*  ③ centos服务器配置

# 查看某个端口的连接情况
    netstat -nat|grep -i "9001"|wc -l
    netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
    
    # 网络接口的带宽使用情况 
    #tcpdump https://www.cnblogs.com/maifengqiang/p/3863168.html
    
    # glances工具
    yum install -y glances
    glances 控制台查看
    glances -s 服务器模式查看

*  ④ 启动

# 服务端启动
    java -Xmx4096m -Xms4096m -Dnetease.debug=true -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.server.WebSocketServer
    
    # 客户端
    java -Xmx4096m -Xms4096m -Dnetease.debug=false -Dnetease.pushserver.host=192.168.100.101 -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.client.WebSocketClient
    
    
    # 发送消息服务端启动
    java -Xmx4096m -Xms4096m -Dnetease.debug=true -Dneteae.server.test.sendmsg=true -cp netty-all-4.1.33.Final.jar:netty-push-1.0.0.jar com.idig8.netty.push.server.WebSocketServer

（四）百万连接配置说明

> 一台机器为什么能支持百万的连接感觉有点科幻，感觉不可能，首先需要理解NIO的概念，NIO如果没有做任何处理的情况下，网络是不需要java程序处理的，java程序在连接没有产生动静的时候，java是不产生事件的时候，只有真正产生事件的时候，selector会通知，在一个海量连接的过程中，只要没有消息的推送，消息传到服务器来，不管有几百万个请求，都可以去接受，这是NIO的特性，不像BIO一个请求要开启一个连接，并非是无限的增长，对于连接这么多，内存资源首先被消耗，占用最大的是内存，操作系统底层有TCP的关联，java的netty里面也有channel，需要保留连接，一个连接产生一个对应的对象，虽然这个对象没有处理但是会占用内存，跟cpu没有太大管理，只是java程序要处理占用了cpu和内存。

> 有很多连接有一个误解，百万连接需要很多机器，百万连接的关键是NIO网络的机制，对NIO没有直观认识的时候，不知道NIO能带来什么。在真实的生产环境的情况下，服务端不需要这么多端口，开100个端口，为了让测试服务器可以连接，上边有个命令是发送消息服务器启动，一旦涉及到百万连接和发送消息的话肯定设计到大量的资源消耗，netty调用handler，channel，这些都是消耗资源的，服务器cpu资源会挂掉，4核 linux top的方式来查看cpu最大是400%。

[netty_websocke]: /images/20221120/e23ebbacf7a040529ac3333d9294c88e.png