如何按秒统计对外服务最大并发请求量

待我称王封你为后i 2022-06-03 01:42 126阅读 0赞

主要使用reids的sorted set，主要命令：

zremrangebyscore:

语法：zremrangebyrank key start stop

解释：移除有续集中指定排名范围【start stop】的元素，返回移除元素个数

zincrby

语法：zincrby key increment member

解释：有续集key的member增加增量increment，返回增加后的score

zrevrank

语法：zrevrank key member

解释：根据score从高到低排序，返回member在有序集key中的index

思路：

1、每个IP或者接入应用有一个sorted set，每天一个

2、每秒一个key，一个请求增加zincrby  +1，对应member名称为到秒的key比如： 2017121413131313

3、zrevrank对队列排序，返回最高的N个数值，如果不满足数量要求，不进行下面4操作

4、根据下标，删除sorted set其他的数值

存在问题： 会把当前插入的这个秒的给删除，改进建议

a)每秒单独建一个key(String的数据结构即可)，设置生效时间5秒，入sorted set队列只是当前时间5秒前的数据，已经完成统计

b)针对队列中的数据排序处理不会有更新的操作，非常稳定，最多是最近这几秒的峰值统计不出来

c)要考虑排序集合排序的消耗，其中不保留很多的数据

最终伪代码如下：

1 HINCRBY  Hash队列key  当前时间到秒  1
    2 HGET 从Hash队列key获得小于当前时间N秒的数据
    3 if 存在
    4 	ZADD 放到sorted set 
    5 	ZREVRANK sorted set排序
    6 	ZREMRANGEBYSCORE 对sorted set 进行截断((按照排序，保留最大的)，只保留最新的M条数据
    7 end if

**因为本身在单个Sorted set中的数据非常小，效率也非常高。**

进一步修订：如果多个人获得一个秒的key，可能会会导致zset中同一秒有多个值插入，解决方法：

方法1： 使用redis的锁， 使用setnx，参考： https://www.cnblogs.com/liuyang0/p/6744076.html

方法2： 步骤2更改为一个lua脚本，获得数据的时候直接将对应的key删除，保证事务性

参考：

#### Redis基础、高级特性与性能调优  [ https://www.cnblogs.com/276815076/p/7245333.html][https_www.cnblogs.com_276815076_p_7245333.html] ####

[https_www.cnblogs.com_276815076_p_7245333.html]: https://www.cnblogs.com/276815076/p/7245333.html

发表评论取消回复

表情：

评论列表（有 0 条评论，126人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL如何实现按小时，按10分钟统计？

按小时 //按小时统计： select DATE_FORMAT(end_time, '%Y-%m-%d %H') AS time, sum() from

待我称王封你为后i/ 2024年03月31日 14:11/ 0 赞/ 111 阅读

相关 SpringBoot+内置Tomcat配置，参数调优，最大并发量，最大连接数

SpringBoot开发最大的好处是简化配置，内置了Tomcat, 在SpringBoot2.0.x版本中内置Tomcat版本是8.5.x，SpringBoot内置Tomcat

小鱼儿/ 2024年03月26日 08:30/ 0 赞/ 74 阅读

相关【Kubernetes】Service如何对外提供服务-Ingress

术语节点： Kubernetes 集群中的服务器集群： Kubernetes 管理的一组服务器集合边界路由器：为局域网和 Internet 路由数据包的路

绝地灬酷狼/ 2023年02月23日 05:16/ 0 赞/ 38 阅读

相关 hystrix的最大并发量设置

转载自：[http://blog.smallerpig.com/what-hystrix-maxConcurrentRequest-meaning.html][http_blo

ゝ一纸荒年。/ 2023年02月20日 04:54/ 0 赞/ 28 阅读

相关 nginx看最大并发量_Nginx优化_访问并发量(进程可以打开的最大文件数量)

如果客户端访问服务器提示“Too many open files”如何解决? \[root@proxy ~\]\ ab -n 2000 -c 2000 http://192.

傷城~/ 2022年12月31日 11:28/ 0 赞/ 138 阅读

相关 MySQL按日期分组统计（按天统计，按月统计）

按月统计（一） select date\_format(create\_time, '%Y-%m') mont, count(\) coun from t\_conten

矫情吗；*/ 2022年09月12日 12:59/ 0 赞/ 351 阅读

相关 Tomcat的性能与最大并发量(1000)

转载来自:http://blog.chinaunix.net/uid-7374279-id-4470247.html 当一个进程有 500 个线程在跑的话，那性能已

- 日理万妓/ 2022年07月13日 01:49/ 0 赞/ 139 阅读

相关如何按秒统计对外服务最大并发请求量

主要使用reids的sorted set，主要命令： zremrangebyscore: 语法：zremrangebyrank key start stop 解释：移除有

待我称王封你为后i/ 2022年06月03日 01:42/ 0 赞/ 127 阅读

相关 JBOSS并发量过大导致服务器请求失败问题，JBOSS优化

JBOSS并发量过大导致系统假死问题，JBOSS优化这里我以该流程图来写本篇文章吧 Created with Raphaël 2.1.2出现问题分析问题原因解决问题是

旧城等待，/ 2022年05月26日 01:23/ 0 赞/ 388 阅读

相关 MySQL按日期分组统计（按天统计，按月统计）

以下为您演示MySQL常用的日期分组统计方法：按月统计（一） select date_format(create_time, '%Y-%m') mont, cou

水深无声/ 2022年02月15日 08:43/ 0 赞/ 739 阅读