node.js之多进程后续

忘是亡心i 2023-10-10 09:21 9阅读 0赞

## 内容概括 ##

*  进程重启
 *  处理HTTP服务
 *  cluster模块
 *  负载均衡

#### 1.进程重启 ####

worker进程可能因为某些异常情况而退出，为了提高集群的稳定性，master进程需要监听子进程的存活状态。

> 当子进程退出之后，master进程要及时重启新的子进程。在Node中，子进程退出时，会在父进程中触发exit事件。

> 父进程只需通过监听该事件便可知道子进程是否退出，并在退出的时候做出相应的处理。

以下是master进程代码，文件名为master.js

以下是worker进程的代码，文件名为worker.js

process.on('message', (msg, server) => {
      if (msg === 'server' && server) {
        server.on('connection', (socket) => {
          // 利用setTimeout模拟处理请求时的操作耗时
          setTimeout(() => {
            socket.end('Request handled by worker-' + process.pid)
          }, 10)
        })
      }
    })

执行node master.js启动服务器后，可以通过任务管理器直接杀掉进程来模拟进程异常退出。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70]  
可以看到worker进程退出后，master能够发现并及时创建新的worker进程。任务管理器中的Node进程数量恢复原样。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 1]  
执行node tcp\_client.js启动客户端，客户端发出的连接请求被处理的情况如下，同样地，由于监听同一端口，进程之间采取抢占式服务，不一定保障负载均衡。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 2]

#### 2.处理HTTP服务 ####

前面的示例所使用的是TCP服务器，如果要处理HTTP请求，需要使用HTTP服务器。而HTTP其实是基于TCP的，发送HTTP请求的时候同样也会发起TCP连接。

只需要对前面的TCP服务器进行一点小改动便可以支持HTTP了。在进程中新增HTTP服务器，当TCP服务器收到请求时，把请求提交给HTTP服务器处理即可。

以下是worker进程的代码，文件名为worker.js

const http = require('http')
    const httpServer = http.createServer((req, res) => {
      // 利用setTimeout模拟处理请求时的操作耗时
      setTimeout(() => {
        res.writeHead(200, { 'Content-Type': 'text/plain' })
        res.end('Request handled by worker-' + process.pid)
      }, 10)
    })
    
    process.on('message', (msg, server) => {
      if (msg === 'server' && server) {
        server.on('connection', (socket) => {
          // 提交给HTTP服务器处理
          httpServer.emit('connection', socket)
        })
      }
    })

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 3][]

#### 3.cluster模块 ####

前面简单描述了使用child\_process实现单机Node集群的做法，需要处理挺多的细节。

Node提供了cluster模块，该模块提供了更完善的API，除了能够实现多进程充分利用CPU资源以外，还能够帮助我们更好地进行进程管理和处理进程。

> 下面是简单示例if条件语句判断当前进程是master还是worker，master进程会执行if语句块包含的代码，而worker进程则执行else语句块包含的代码。

> master进程中，利用cluster模块创建了与CPU数量相应的worker进程，并通过监听cluster的online事件来判断worker的创建成功。

> 在worker进程退出后，会触发master进程中cluster模块上的exit事件，通过监听该事件可以了解worker进程的退出情况并及时fork新的worker。

> 最后，worker进程中只需创建服务器监听端口，对客户端请求做出处理即可。（这里设置相同端口8080之后，所有worker都将监听同一个端口）

以下是master进程代码，文件名为master.js

const cluster = require('cluster')
    
    if (cluster.isMaster) {
    
      const cpuNum = require('os').cpus().length
    
      for (let i = 0; i < cpuNum; ++i) {
      
        cluster.fork()
      }
    
      // 创建进程完成后输出提示信息
      cluster.on('online', (worker) => {
      
        console.log('Create worker-' + worker.process.pid)
      })
    
      // 子进程退出后重启
      cluster.on('exit', (worker, code, signal) => {
      
        console.log('[Master] worker ' + worker.process.pid + ' died with code: ' + code + ', and signal: ' + signal)
        
        cluster.fork()
      })
    } else {
    
      const net = require('net')
      
      net.createServer().on('connection', (socket) => {
      
        // 利用setTimeout模拟处理请求时的操作耗时
        setTimeout(() => {
        
          socket.end('Request handled by worker-' + process.pid)
        }, 10)
        
      }).listen(8080)
    }

执行node server.js启动服务器，继续按照之前的做法，利用任务管理器杀死进程，可以看到在进程被杀后master能够及时启动新的worker。

继续运行tcp\_client，可以看到服务器能够正常处理请求。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 4]

#### 4.负载均衡 ####

说到多进程，目的肯定是尽可能利用多核CPU，提高单机的负载能力。

但往往在实际项目中，受到业务逻辑的处理时间长短和系统CPU调度影响，导致实际上所有进程的负载并不是理想的彻底均衡。

官方也说了：

> In practice however, distribution tends to be very unbalanced due to operating system scheduler vagaries. Loads have been observed where over 70% of all connections ended up in just two processes, out of a total of eight.

> 翻译一下：70%的请求最终都落到2个worker身上，而这2个worker占用更多的CPU资源。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190924152444693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190924152458781.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190924152626365.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190924152555979.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190924152647891.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE3NjMzNw==,size_16,color_FFFFFF,t_70