服务治理【3】HTTP服务限流

不念不忘少年蓝@ 2022-04-17 06:48 401阅读 0赞

# 一、限流的意义 #

高并发三大利器:

*  缓存：提升系统访问速度和增大处理容量，为相应业务增加缓存。
 *  降级：当服务器压力剧增时，根据业务策略降级，以释放服务器资源保障业务正常。
 *  限流：通过对并发限速，以达到拒绝服务、排队或等待、降级等处理

# 二、限流分类 #

*  漏桶限流：每次请求时计算桶流量，超过阈值则降级请求
 *  令牌桶限流：每次请求时从令牌桶里取令牌，取不到则降级请求  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center]

# 三、令牌桶限流的实现 #

官方已经有一个类库已实现该功能(time/rate)限速器  
time/rate限速器的使用

*  rate.NewLimiter(limit, burst); limit表示每秒产生的token数、burst最多存token数
 *  Allow 判断当前是否可以取到token
 *  Wait 阻塞等待直到取到token
 *  Reserve 返回等待时间， 再去取token

// 最大超时时间
    var timeout = time.Millisecond * 500
    
    func main() { 
    	l := rate.NewLimiter(1, 2) // 每秒1个，桶容量为2
    	log.Println(l.Limit(), l.Burst())
    	for i := 0; i < 100; i++ { 
    		// 阻塞等待直到取到token
    		ctx, _ := context.WithTimeout(context.Background(), time.Second*2)
    		if err := l.Wait(ctx); err != nil { 
    			log.Println("limiter wait err:" + err.Error())
    		}
    		// 打印需要等待多久才有新的token
    		r := l.Reserve()
    		log.Printf("我还需要%v拿到token\n", r.Delay())
    
    		// 如果大于最大超时时间则打印
    		if r.Delay() > timeout { 
    			log.Printf("超时额定时间")
    		}
    
    		for !l.Allow() { 
    			log.Println("limit no allow")
    			time.Sleep(time.Millisecond * 200)
    		}
    		log.Printf("[%v] 拿到toekn, 可以访问后端了", i)
    		log.Println(time.Now().Format("2006-01-02 15:04:05.000"))
    	}
    }

# 四、构建限流中间件 #

func RateLimiter() func(c *SliceRouterContext) { 
    	l := rate.NewLimiter(1, 2)
    	return func(c *SliceRouterContext) { 
    		if !l.Allow() { 
    			c.Rw.Write([]byte(fmt.Sprintf("rate limit:%v,%v", l.Limit(), l.Burst())))
    			c.Abort()
    			return
    		}
    	}
    }

## 4.1 在路由Use该中间件 ##

> (完整代码参考上一篇文章)

func main(){ 
    	...
    	router.Group("/").Use(middleware.TraceLogSliceMW(), middleware.RateLimiter(), func(c *middleware.SliceRouterContext) { 
    		log.Println("Transport Forward To Backend...")
    		reverse.ServeHTTP(c.Rw, c.Req)
    	})
    	...
    }

## 4.2 运行测试 ##

`(第三次访问必定出现限流提示)`  
![在这里插入图片描述][20210418171818217.png_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4OTAwNTY1_size_16_color_FFFFFF_t_70_pic_center]: /images/20220417/7d4898e870774f569a8ac0e065ef1bc2.png
[20210418171818217.png_pic_center]: /images/20220417/bef6f5610ce24f1db865cd775ed2680f.png