使用Redis set 解决数据的唯一性问题

青旅半醒 2022-08-28 02:55 125阅读 0赞

# 前言 #

最近遇到一个问题，就是接收第三方数据的时候，

![54a84594cc295baacec2ecb6d8f01e8b.png][]

类似这种直播数据，由于业务的缘故，导致对方给的数据每次都是全量的，

而且请求很频繁，有时候一秒好几十次。直播数据一般都是刷刷刷的，这个大家或多或少有看比赛，会知道。

对方给数据的模式

第一次100条数据，第二次只是多了1条，但是下发的101条。。。，

第n次可能会把前面的数据改了或者删除。。。

如果仅仅只是接收数据，那其实没什么大问题。

# 问题 #

我们的业务需求是接收到数据立马要增量呈现给客户，而且必须要快。

大家都知道，直播一旦延迟了 ，那么数据的意义就不大了，尤其是那种重要的比赛。

那么问题来了

对方给的是全量的，而且数据是没有对应排序id、时间之类的，说的白一点就是一条条字符串，但是我们呈现给自己客户的是要增量数据，所以进行全量比对是不行的，因为太慢了。

所以通过入库加索引去重这种方式是不可行的。

那么怎么做到，既快速判断，又增量提取数据呢

# 思路 #

这里我们借助redis set 来实现

下面来看下set概念

Redis 的 Set 是 String 类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。

集合对象的编码可以是 intset 或者 hashtable。

Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。

集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。

借助set 我们先去判断数据是否存在。

if (startflag && IsSetContainsItem(textLive, GetCalcMD5(textLive)))
                        {
                            //存在
                            continue;
                        }
                        else
                        {
                            startflag = false;
                            //不存在
                            tmaxOrder++;
                            textLive.Order = tmaxOrder;
    
    
                            textLiveList.Add(textLive);
                            SetAddSet(textLive);
                            TextLiveBll.InsertQueue(textLive);
                        }

public bool IsSetContainsItem(MatTextLive textLive, string value)
            {
                try
                {
                    string setId = textLive.MatchId + textLive.Round;
                    return MatchRedisManager.IsSetContainsItem(setId, value);
                }
                catch (Exception ex)
                {
                    _Logger.Error(ex.ToString());
                    return false;
                }
            }

存在的话，说明之前处理过了，不在处理。

if (startflag && IsSetContainsItem(textLive, GetCalcMD5(textLive)))
                        {
                            //存在
                            continue;
                        }

不存在，就添加进去set,然后直接返回客户，在异步入库。

else
                        {
                            startflag = false;
                            //不存在
                            tmaxOrder++;
                            textLive.Order = tmaxOrder;
    
    
                            textLiveList.Add(textLive);
                            SetAddSet(textLive);
                            TextLiveBll.InsertQueue(textLive);
                        }

/// <summary>
            /// 添加 set
            /// </summary>
            /// <param name="textLive"></param>
            public void SetAddSet(MatTextLive textLive)
            {
                try
                {
                    MatTextLive info = new MatTextLive
                    {
                        HomeScore = textLive.HomeScore,
                        MatchId = textLive.MatchId,
                        Round = textLive.Round,
                        TeamPosition = textLive.TeamPosition,
                        Text = textLive.Text,
                        TimeText = textLive.TimeText,
                        VisitScore = textLive.VisitScore
                    };
                    string setId = textLive.MatchId + textLive.Round;
                    string value = MD5Helper.CalcMD5(JsonConvert.SerializeObject(info));
                    MatchRedisManager.AddSet(setId, value);
                    RedisManager.ExpireEntryAt(setId, DateTime.Now.AddHours(6));
                }
                catch (Exception ex)
                {
                    _Logger.Error(ex.ToString());
                }
            }

这样，就避免了过多的数据拆分计算或者入库之类造成的数据延迟之类的，在几毫秒的时间内就能把数据处理完成，达到业务需求。

[54a84594cc295baacec2ecb6d8f01e8b.png]: /images/20220828/3c4f23aa5b2f4a3d9d2b0fcb76a11728.png