30G 的redis 如何优化

野性酷女 2021-11-14 11:54 252阅读 0赞

突然发现我们的redis 已经用了30G了，好吧这是个很尴尬的数字因为我们的缓存机器的内存目前是32G的，内存已经告竭。幸好上上周公司采购了90G的机器，现在已经零时迁移到其中的一台机器上了。(跑题下，90G的内存太爽了是我除了koding.com 之外第二次用到90G的机器，koding 是个好网站，在线编程IDE。) 但是随着数据量越来越大单机始终无法承受的，改造势在必行。经过初步思考我们得出了很简单的方案 概括起来就是    "内外兼修"

1.内功修炼

> 先从我们的应用层说起 看看redis 使用情况 ，有没有办法回收一些key ，先进入redis 服务器执行 info ,有删减

1:  redis 127.0.0.1:6391> info

2:  used_memory_human:35.58G

3:  keyspace_hits:2580207188

4:  db0:keys=2706740,expires=1440700

目前我们只使用了1个DB 但是key 太多了 有270W个key,已经过期的有144W。第一个想到的就是我勒个去,怎么会有这么多key ,第二个想法就是可能存在过大的key

看看能不能针对过大的key 做优化？可是遗憾的是官方并没有命令显示db 的key 大小，我们只能自己想办法了

Google 一番，发现国外友人已经写好了shell

传送门: [https://gist.github.com/epicserve/5699837][https_gist.github.com_epicserve_5699837]

可以列出每个key 大小了。可是这并不适用我们，因为我们key 太大了 执行了9个小时都没跑完，无力吐槽了。 其实还有一个选择就是用另外一个工具

传送门:[https://github.com/sripathikrishnan/redis-rdb-tools][https_github.com_sripathikrishnan_redis-rdb-tools]

可惜这个太重了 ，不想麻烦ops ，我们就只能撩起袖子，造轮子。

把shell 代码简单看了下发件**DEBUG OBJECT** 是个好东西啊 ，google 下发现官网 [ http://redis.io/commands/object][http_redis.io_commands_object]

已经有简单的调试信息了，剩下的就好处理了

1: #coding=utf-8

2: import redis

4: COLOR_RED = "\033[31;49;1m %s \033[31;49;0m"

6: COLOR_GREED = "\033[32;49;1m %s \033[39;49;0m"

8: COLOR_YELLOW = "\033[33;49;1m %s \033[33;49;0m"

10: COLOR_BLUE = "\033[34;49;1m %s \033[34;49;0m"

11:

12: COLOR_PINK = "\033[35;49;1m %s \033[35;49;0m"

13:

14: COLOR_GREENBLUE = "\033[36;49;1m %s \033[36;49;0m"

15:

16:

17: def getHumanSize(value):

18:     gb = 1024 * 1024 * 1024.0

19:     mb = 1024 * 1024.0

20:     kb = 1024.0

21:     if value >= gb:

22:         return COLOR_RED % (str(round(value / gb, 2)) + " gb")

23:     elif value >= mb:

24:         return COLOR_YELLOW % (str(round(value / mb, 2)) + " mb")

25:     elif value >= kb:

26:         return COLOR_BLUE % (str(round(value / kb, 2)) + " kb")

27:     else:

28:         return COLOR_GREED % (str(value) + "b")

29:

30:

31: month = 3600 * 24 * 30

32: result = []

33: client = redis.Redis(host="XXXXX", port=XXXX)

36: client.info()

37:

38: count = 0

39: for key in client.keys('*'):

40:     try:

41:         count += 1

42:         idleTime = client.object('idletime', key)

43:         refcount = client.object('refcount', key)

44:         length = client.debug_object(key)['serializedlength']

45:         value = idleTime * refcount

46:         print "%s key :%s , idletime : %s,refcount :%s, length : %s , humSize  :%s" % (count, key, idleTime, refcount, length, getHumanSize(length))

47:     except Exception:

48:         pass

写了个简单的python 脚本输出每个key 的大小和idle time,和refer count 。有了这么多数据结合awk 就可以很好的统计每个key 的使用情况。有一点要注意的是这个size 是key 在redis 中的大小，并非实际的大小，这个是经过redis 压缩的。经过分析之后发现不存在过大的key ,但是存在有些key 半年都没有被访问过 Orz 。

接下来就很好处理了,我们为每个key 设置的过期时间,若key 被hit 上则更新这个expire time 。这样可以逐步淘汰冷数据，达到冷热分离

2. 外功修炼

> 我们对内清理了无效的key，对外我们要做到水平扩展，单机的承载始终有限，于是我们开始了传说中的分布式改造

分布式这东西看起来很唬人做起来更唬人，幸好我们是缓存服务 CAP约束有限。 缓存服务做分布式最好的当然是一致性hash 咯。其实当我们改造完成之后，才发现官方已经准备做这个分布式的缓存体系了（流口水啊） 只是现在还在开发中 给了个备用的响当当的  [**Twemproxy**][Twemproxy]** ** 奈何我们已经做好了，就先用着，坐等官方测试之后再说

传送门： [http://redis.io/topics/cluster-spec][http_redis.io_topics_cluster-spec]

我们实现了数据的平滑迁移，而且对server 的修改实现了最小影响。 因为原来是用的是phpredis 所以就扩展了下，代码可以平滑过渡。

我们自己的实现：[https://github.com/trigged/redis\_con\_hash][https_github.com_trigged_redis_con_hash]

其实扯了这么多就是要把redis 的数据分散开，单机的承载始终是个瓶颈，但是redis 在这方面没有Memcached 完善，不过以后会越来越好

[https_gist.github.com_epicserve_5699837]: https://gist.github.com/epicserve/5699837
[https_github.com_sripathikrishnan_redis-rdb-tools]: https://github.com/sripathikrishnan/redis-rdb-tools
[http_redis.io_commands_object]: http://redis.io/commands/object
[Twemproxy]: https://github.com/twitter/twemproxy
[http_redis.io_topics_cluster-spec]: http://redis.io/topics/cluster-spec
[https_github.com_trigged_redis_con_hash]: https://github.com/trigged/redis_con_hash