Redis:19---常用功能之（HyperLogLog）

拼搏现实的明天。 2022-12-30 13:53 127阅读 0赞

# **一、HyperLogLog概述** #

*  HyperLogLog并不是一种新的数据结构（实际类型为字符串类型），而是一种基数算法，通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是IP、Email、ID等
 *  HyperLogLog提供了3个命令：pfadd、pfcount、pfmerge
 *   
 *

# **二、添加（pfadd）** #

pfadd key element [element …]

*  pfadd用于向HyperLogLog添加元素，如果添加成功返回1
 *  例如：下面向一个名为2016\_06\_06:unique:ids的hyperloglog中添加4个元素

![format_png][]

# **三、计算独立用户数（pfcount）** #

pfcount key [key …]

*  pfcount用于计算一个或多个HyperLogLog的独立总数
 *  例如：接着上面的演示案例，2016\_03\_06:unique:ids的独立总数为4：

![format_png 1][]

### 内存节省效果演示案例 ###

*  ①插入前使用info memory查看一下内存占用率

![format_png 2][]

*  ②下面建立一个名为test.sh的脚本，执行该脚本，向key为2016\_05\_01:unique:ids的HyperLogLog中插入100万个元素（循环每次插入1000条）

elements=""
    key="2016_05_01:unique:ids"
    for i in `seq 1 1000000`
    do
    elements="${elements} uuid-"${i}
    if [[ $((i%1000)) == 0 ]];
    then
    redis-cli pfadd ${key} ${elements}
    elements=""
    fi
    done

![format_png 3][]

*  ③执行完脚本之后，再次查看内存，发现内存只增加了14K左右

![format_png 4][]

*  ④但是，使用pfcount查看结果，发现执行的结果并不止100万个

![format_png 5][]

*  ⑤现在改为使用集合类型进行测试，那么可以看到内存使用率在脚本执行完之后涨到了几十MB，但是独立用户数为100万

elements=""
    key="2016_05_01:unique:ids:set"
    for i in `seq 1 1000000`
    do
    elements="${elements} "${i}
    if [[ $((i%1000)) == 0 ]];
    then
    redis-cli sadd ${key} ${elements}
    elements=""
    fi
    done

![format_png 6][]

![format_png 7][]

![format_png 8][]

![format_png 9][]

*  下图列出了使用集合类型和HperLogLog统计百万级用户的占用空间对比：

<table> 
 <tbody> 
 <tr> 
 <td colspan="1" align="left">数据类型</td> 
 <td colspan="1" align="center">1天</td> 
 <td colspan="1" align="center">1月</td> 
 <td colspan="1" align="right">1年</td> 
 </tr> 
 <tr> 
 <td colspan="1" align="left">集合类型</td> 
 <td colspan="1" align="center">80M</td> 
 <td colspan="1" align="center">2.4G</td> 
 <td colspan="1" align="right">28G</td> 
 </tr> 
 <tr> 
 <td colspan="1" align="left">HperLogLog</td> 
 <td colspan="1" align="center">15K</td> 
 <td colspan="1" align="center">450K</td> 
 <td colspan="1" align="right">5M</td> 
 </tr> 
 </tbody> 
</table>

*  可以看到，HyperLogLog内存占用量小得惊人，但是用如此小空间来估算如此巨大的数据，必然不是100%的正确，其中一定存在误差率。Redis官方给出的数字是0.81%的失误率

# **四、合并（pfmerge）** #

pfmerge destkey sourcekey [sourcekey ...]

*  pfmerge可以求出多个HyperLogLog的并集并赋值给destkey
 *  例如：要计算 2016年3月5日和3月6日的访问独立用户数，可以按照如下方式来执行，可以看到最终独立用户数是7：

![format_png 10][]

# **五、HyperLogLog优缺点与使用建议** #

*  HyperLogLog内存占用量非常小，但是存在错误率
 *  开发者在进行数据结构选型时只需要确认如下两条即可：
 *   *  只为了计算独立总数，不需要获取单条数据
     *  可以容忍一定误差率，毕竟HyperLogLog在内存的占用量上有很大的优势

[format_png]: /images/20221120/e7df6727ac6542ef8f5f6c483fc13901.png
[format_png 1]: /images/20221120/811e4ce669c7421496bf930d9ffd97c2.png
[format_png 2]: /images/20221120/f93db9930ef748538a8f5c31056700d6.png
[format_png 3]: /images/20221120/9421116fe0f748c3a8927ed6fb1ad77e.png
[format_png 4]: /images/20221120/a8dc6d35d1254ee6924ebd9284fd501b.png
[format_png 5]: /images/20221120/8575f9f0dab64be0ad1204cb578698c2.png
[format_png 6]: /images/20221120/448e41b852fb45fc86086c15ffd29a87.png
[format_png 7]: /images/20221120/f58b01a68dbd441f984af2ef58384378.png
[format_png 8]: /images/20221120/43df38a987c34f229a8a43eaadeeb556.png
[format_png 9]: /images/20221120/c306641e2b9f4383bc2e67796b343858.png
[format_png 10]: /images/20221120/8d19cef41271437690b50aae3ff97e6c.png