socket.io搭建分布式Web推送服务器

小咪咪 2022-08-06 00:28 120阅读 0赞

socket.io是目前较为流行的web实时推送框架，其基于nodejs语言开发，底层用engine.io实现。 借助nodejs语言异步的特性，其获得了不错的性能。但单个实例的socket.io依然承载能力有限，最多只能容纳3000个long-polling方式的客户端进行连接。

将socket.io进行分布式扩展的难点有两处：

1. 进行负载均衡时连接必须保证始终连到一个节点上

如果客户端采用long-polling长轮训方式进行连接，则每次轮训都会产生一个新的请求，若不进行限制。就有可能连接到集群内新的 socket.io节点上，导致异常的发生。

解决方法：使用nginx的ip\_hash实现session sticky ，让客户端始终连接到集群内一台节点上。

2. 多个实例之间的消息推送

当集群内某台节点想要向连接到集群的所有客户端发送消息时，某些客户端因为负载均衡时ip\_hash可能被分配到了其他的节点上，这时就需要向其他节点发布推送消息，让其他节点的同时向客户端进行推送。

解决方法：使用redis的发布与订阅功能与[socket.io-redis开源库][socket.io-redis]，实现节点间消息推送。

准备安装的软件：

nginx, nodejs, redis以及一个socket.io应用，如一个聊天服务器，例子请见官网[这里][Link 1]。

具体步骤：

1.将socket.io应用部署成两个实例，如在同一台主机上为每个实例分配不同的端口号4000, 5000：

http.listen(4000, function()\{  
  console.log('listening on \*:4000');  
\});

2.配置nginx文件，设置负载均衡proxy

upstream chat\_nodes \{  
        ip\_hash;  
        server 127.0.0.1:4000;  
        server 127.0.0.1:5000;  
\}

以及反向代理设置 （注意为了支持websocket协议，需将nginx升级至1.3.12版本以上

location / \{  
        proxy\_pass              http://chat\_nodes;  
        proxy\_set\_header        Upgrade $http\_upgrade;  
        proxy\_set\_header        Connection "upgrade";  
        proxy\_http\_version      1.1;  
        proxy\_set\_header        Host $host;  
        proxy\_set\_header        X-Real-IP $remote\_addr;  
        proxy\_set\_header        X-Forwarded-For $proxy\_add\_x\_forwarded\_for;  
    \}

完成配置后，重启nginx。

3.安装nodejs模块 socket.io-redis

sudo npm install socket.io-redis

4.在原来socket.io应用中初始化io的位置加入io的redis适配器：

var redis = require('socket.io-redis');  
io.adapter(redis(\{ host: 'localhost', port: 6379 \}));

5. 重启各个socket.io应用，进行测试。

**其他注意点：**

由于nginx的反向代理机制和socket.io的自动重连机制，上述架构还具备高可用的特性，即当某个节点down机时，原先连接到该节点上的客户端会自动重连至其它节点上。

节点的数量可以随时增减，不需要暂停服务，只需修改nginx配置即可。

nginx的ip\_hash是基于ip的前三段进行计算的，也就是说ip只有D段不同的两台客户端一定会连接到同一台服务器上，这点测试的时候需要注意。

可以通过redis的订阅发布服务来实现其他系统同集群的通信，完成集群的管理工作。

**[Ubuntu][] 14.04下Redis安装及简单测试** [http://www.linuxidc.com/Linux/2014-05/101544.htm][http_www.linuxidc.com_Linux_2014-05_101544.htm]

Redis集群明细文档 [http://www.linuxidc.com/Linux/2013-09/90118.htm][http_www.linuxidc.com_Linux_2013-09_90118.htm]

Ubuntu 12.10下安装Redis（图文详解）+ Jedis连接Redis [http://www.linuxidc.com/Linux/2013-06/85816.htm][http_www.linuxidc.com_Linux_2013-06_85816.htm]

Redis系列-安装部署维护篇 [http://www.linuxidc.com/Linux/2012-12/75627.htm][http_www.linuxidc.com_Linux_2012-12_75627.htm]

[CentOS][] 6.3安装Redis [http://www.linuxidc.com/Linux/2012-12/75314.htm][http_www.linuxidc.com_Linux_2012-12_75314.htm]

Redis安装部署学习笔记 [http://www.linuxidc.com/Linux/2014-07/104306.htm][http_www.linuxidc.com_Linux_2014-07_104306.htm]

Redis配置文件redis.conf 详解 [http://www.linuxidc.com/Linux/2013-11/92524.htm][http_www.linuxidc.com_Linux_2013-11_92524.htm]

**Redis 的详细介绍**：[请点这里][Link 2]   
**Redis 的下载地址**：[请点这里][Link 3]

**本文永久更新链接地址**：[http://www.linuxidc.com/Linux/2014-10/108155.htm][http_www.linuxidc.com_Linux_2014-10_108155.htm]

[socket.io-redis]: https://github.com/Automattic/socket.io-redis
[Link 1]: http://socket.io/get-started/chat/
[Ubuntu]: http://www.linuxidc.com/topicnews.aspx?tid=2
[http_www.linuxidc.com_Linux_2014-05_101544.htm]: http://www.linuxidc.com/Linux/2014-05/101544.htm
[http_www.linuxidc.com_Linux_2013-09_90118.htm]: http://www.linuxidc.com/Linux/2013-09/90118.htm
[http_www.linuxidc.com_Linux_2013-06_85816.htm]: http://www.linuxidc.com/Linux/2013-06/85816.htm
[http_www.linuxidc.com_Linux_2012-12_75627.htm]: http://www.linuxidc.com/Linux/2012-12/75627.htm
[CentOS]: http://www.linuxidc.com/topicnews.aspx?tid=14
[http_www.linuxidc.com_Linux_2012-12_75314.htm]: http://www.linuxidc.com/Linux/2012-12/75314.htm
[http_www.linuxidc.com_Linux_2014-07_104306.htm]: http://www.linuxidc.com/Linux/2014-07/104306.htm
[http_www.linuxidc.com_Linux_2013-11_92524.htm]: http://www.linuxidc.com/Linux/2013-11/92524.htm
[Link 2]: http://www.linuxidc.com/Linux/2012-04/59269.htm
[Link 3]: http://www.linuxidc.com/down.aspx?id=627
[http_www.linuxidc.com_Linux_2014-10_108155.htm]: http://www.linuxidc.com/Linux/2014-10/108155.htm