redis实战-实现用户签到&UV统计

迈不过友情╰ 2024-02-26 00:58 54阅读 0赞

## BitMap功能演示 ##

我们针对签到功能完全可以通过mysql来完成，比如说以下这张表

![3d70cbc56f554499a3e0c17cb3ab8379.png][]

> 用户一次签到，就是一条记录，假如有1000万用户，平均每人每年签到次数为10次，则这张表一年的数据量为 1亿条
> 
> 每签到一次需要使用（8 + 8 + 1 + 1 + 3 + 1）共22 字节的内存，一个月则最少需要600多字节，这种方案内存消耗过大

> 我们可以采用类似这样的方案来实现我们的签到需求。
> 
> 我们按月来统计用户签到信息，**签到记录为1，未签到则记录为0.**
> 
> 把每一个bit位对应当月的每一天，形成了映射关系。用0和1标示业务状态，这种思路就称为位图（BitMap）。这样我们就用极小的空间，来实现了大量数据的表示
> 
> Redis中是利用string类型数据结构实现BitMap，因此最大上限是512M，转换为bit则是 2^32个bit位。

![4f40c1fa76d341f58ed1ef4414808b8d.png][]

> BitMap的操作命令有：
> 
>  *  SETBIT：向指定位置（offset）存入一个0或1
>  *  GETBIT ：获取指定位置（offset）的bit值
>  *  BITCOUNT ：统计BitMap中值为1的bit位的数量
>  *  BITFIELD ：操作（查询、修改、自增）BitMap中bit数组中的指定位置（offset）的值
>  *  BITFIELD\_RO ：获取BitMap中bit数组，并以十进制形式返回
>  *  BITOP ：将多个BitMap的结果做位运算（与 、或、异或）
>  *  BITPOS ：查找bit数组中指定范围内第一个0或1出现的位置

使用setbit进行赋值，用于设置签到状态，未赋值的会初始化成0

![854fd87b33674047b9941a71ca25d295.png][]

![bb1b49c7ae8d48fab027533d685af941.png][]

使用getbit来获取签到状态

![99ec7cd1142f4793bcf45b8df824da6e.png][]

## 实现签到功能 ##

> 需求：实现签到接口，将当前用户当天签到信息保存到Redis中
> 
> 思路：我们可以把年和月作为bitMap的key，然后保存到一个bitMap中，每次签到就到对应的位上把数字从0变成1，**只要对应是1，就表明说明这一天已经签到了，反之则没有签到**。

![3037d82ea5b0429582469573d425c7a1.png][]

UserController

@PostMapping("/sign")
     public Result sign(){
        return userService.sign();
     }

UserServiceImpl

由于前端没有传递相应的时间参数，我们只需要在后端自己获取即可

@Override
    public Result sign() {
        // 1.获取当前登录用户
        Long userId = UserHolder.getUser().getId();
        // 2.获取日期
        LocalDateTime now = LocalDateTime.now();
        // 3.拼接key
        String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
        String key = USER_SIGN_KEY + userId + keySuffix;
        // 4.获取今天是本月的第几天
        int dayOfMonth = now.getDayOfMonth();
        // 5.写入Redis SETBIT key offset 1
        stringRedisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
        return Result.ok();
    }

由于今天是五号，从左往右数第五位就是1

![1269ef6b81304dd38749a1dbd3d39a80.png][]

## 签到统计 ##

从最后一次签到开始向前统计，直到遇到第一次未签到为止，计算总的签到次数，就是连续签到天数。

![af1f165a4408416e8dee643ba08ba00d.png][]

> Java逻辑代码：获得当前这个月的最后一次签到数据，定义一个计数器，然后不停的向前统计，直到获得第一个非0的数字即可，每得到一个非0的数字计数器+1，直到遍历完所有的数据，就可以获得当前月的签到总天数了

假设今天是10号，那么我们就可以从当前月的第一天开始，获得到当前这一天的位数，是10号，那么就是10位，去拿这段时间的数据，就能拿到所有的数据了，那么这10天里边签到了多少次呢？统计有多少个1即可。 我们只需要执行以下的redis命令即可

> BITFIELD key GET u\[dayOfMonth\] 0

我们还要解决如何从后向前遍历这些比特位的问题

> 注意：bitMap返回的数据是10进制，哪假如说返回一个数字8，那么我哪儿知道到底哪些是0，哪些是1呢？我们只需要让得到的10进制数字和1做与运算就可以了，因为1只有遇见1 才是1，其他数字都是0 ，我们把签到结果和1进行与操作，每与一次，**就把签到结果向右移动一位**，依次内推，我们就能完成逐个遍历的效果了。

需求：实现下面接口，统计当前用户截止当前时间在本月的连续签到天数

有用户有时间我们就可以组织出对应的key，此时就能找到这个用户截止这天的所有签到记录，再根据这套算法，就能统计出来他连续签到的次数了

![5d06fb9d6de84869bdf4d6b52414b00e.png][]

**UserController**

@GetMapping("/sign/count")
    public Result signCount(){
        return userService.signCount();
    }

**UserServiceImpl**

@Override
    public Result signCount() {
        // 1.获取当前登录用户
        Long userId = UserHolder.getUser().getId();
        // 2.获取日期
        LocalDateTime now = LocalDateTime.now();
        // 3.拼接key
        String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
        String key = USER_SIGN_KEY + userId + keySuffix;
        // 4.获取今天是本月的第几天
        int dayOfMonth = now.getDayOfMonth();
        // 5.获取本月截止今天为止的所有的签到记录，返回的是一个十进制的数字 BITFIELD sign:5:202203 GET u14 0
        List<Long> result = stringRedisTemplate.opsForValue().bitField(
                key,
                BitFieldSubCommands.create()
                        .get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0)
        );
        if (result == null || result.isEmpty()) {
            // 没有任何签到结果
            return Result.ok(0);
        }
        Long num = result.get(0);
        if (num == null || num == 0) {
            return Result.ok(0);
        }
        // 6.循环遍历
        int count = 0;
        while (true) {
            // 6.1.让这个数字与1做与运算，得到数字的最后一个bit位  // 判断这个bit位是否为0
            if ((num & 1) == 0) {
                // 如果为0，说明未签到，结束
                break;
            }else {
                // 如果不为0，说明已签到，计数器+1
                count++;
            }
            // 把数字右移一位，抛弃最后一个bit位，继续下一个bit位
            num >>>= 1;
        }
        return Result.ok(count);
    }

## UV统计 ##

### 相关概念 ###

>  *  UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。
>  *  PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

> 通常来说UV会比PV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素，所以我们只是单纯的把这两个值作为一个参考值
> 
> UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中，数据量会非常恐怖，那怎么处理呢？
> 
> Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。相关算法原理大家可以参考：[HyperLogLog 算法的原理讲解以及 Redis 是如何应用它的 - 掘金][HyperLogLog _ Redis _ -] Redis中的HLL是基于string结构实现的，单个HLL的内存**永远小于16kb**，**内存占用低**的令人发指！作为代价，其测量结果是概率性的，**有小于0.81％的误差**。不过对于UV统计来说，这完全可以忽略。

### ![fbe2d2653d384d2084e4eeed3321a0d6.png][] 百万数据测试 ###

测试代码

String[] users = new String[1000];
            int index = 0;
            for (int i = 1; i < 1000000; i++) {
                index = i % 1000;
                users[index++] = "user_" + i;
                if (i % 1000 == 0) {
                    index = 0;
                    stringRedisTemplate.opsForHyperLogLog().add("hills", users);
                }
            }
            Long size = stringRedisTemplate.opsForHyperLogLog().size("hills");
            System.out.println("size=" + size);

未测试前redis的内存空间

![1315b16ea9324c22b7688fa17659a88e.png][]

测试之后，发现确实内存消耗不大

![8cad000fda574077a3e72ff4421181fc.png][]

[3d70cbc56f554499a3e0c17cb3ab8379.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/dd9ab996d4d6480bb27aa2615d90593a.png
[4f40c1fa76d341f58ed1ef4414808b8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/05fe0534c47844c7b61a78c52e4b8c69.png
[854fd87b33674047b9941a71ca25d295.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/c4989bbf032346598afcbf5935fa0adf.png
[bb1b49c7ae8d48fab027533d685af941.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/65facca4614640ac90096b6d6b70314e.png
[99ec7cd1142f4793bcf45b8df824da6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/4f9a627337314bd6844a23f86255e5ba.png
[3037d82ea5b0429582469573d425c7a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/60a8525179f442ebaf2293b2dac96905.png
[1269ef6b81304dd38749a1dbd3d39a80.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/67faf832b64d4944b82ab81c5be79219.png
[af1f165a4408416e8dee643ba08ba00d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/a1da4f22876a44a68b8ee4644707c10c.png
[5d06fb9d6de84869bdf4d6b52414b00e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/fd49d065c4894a4b96b8209d71d9a936.png
[HyperLogLog _ Redis _ -]: https://juejin.cn/post/6844903785744056333#heading-0
[fbe2d2653d384d2084e4eeed3321a0d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/8b0504fd16b5440ab37c9629c8a076b7.png
[1315b16ea9324c22b7688fa17659a88e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/5b63464f75124cc8a62e16e851247dac.png
[8cad000fda574077a3e72ff4421181fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/26/1521f554f22842ef94a4e2a17df72d53.png