Redis 实践笔记

￡神魔★判官ぃ 2022-02-01 09:19 168阅读 0赞

最近在项目中实践了一下Redis,过程中遇到并解决了若干问题,记录之.

![redis][]

**Why Redis**  
我们这个项目是对原有缓存系统的改进,应用场景是论坛发帖,回帖,置顶,以及操作日志等等;原有系统会有替换算法把内存缓存一部分冷数据逐渐从内存中换出,内存对象序列化为XML文件持久化到磁盘;内存缓存一方面是为了访问速度,一方面是为后端的DB分担访问压力;而XML文件缓存则是为了避免雪崩,即当系统重启的时候由于缓存没有填充完毕,大量相同的请求会冲击到后端的DB;最初接手项目的时候，被告知公司老大要求xml 文件缓存必须保留，呵呵，通过和老大沟通其实保留文件缓存就是为了解决雪崩.

原有系统的问题在什么地方？  
了解原有系统的瓶颈是第一步，原有系统主要问题是：

\[1\] 操作粒度过大,访问数加1这样的操作都会导致整个DataSet数据对象的序列化和反序列化

\[2\] 由于DataSet本身就是一个复杂数据结构,一方面会占用更多内存,一方面序列化和反序列化都会更比简单对象更耗时

\[3\] DataSet序列化XML,XML文件会有并发读写的问题,这里也是经常出现故障的点

这样我们就能整理出来设计的要点了:

\[1\]提供内存缓存的服务

\[2\]要有持久化缓存,系统重启之后,可以从持久化缓存加载到内存,避免雪崩

\[3\]要解决内存对象锁和文件锁的问题

\[4\]由于是从关系型DB读过来的数据,数据之间的关联关系是已经建立好的

新方案思考的起点是从数据操作粒度, 如果沿袭之前的方案,操作粒度是整个帖子+回帖+相关帖+操作日志的DataSet对象,对于只修改一两个字段的场景成本太高;所以决定把数据操作的粒度缩小,首先把DataSet中的业务对象拆开这是第一步,这也是我们最起码要做到的,拆分之后对象容器不再使用Dataset,我们把这种粒度称为粒度①;这样拆分之后,再一次缩小粒度,目标是把粒度控制为字段级别,这里的判断依据就是业务逻辑,比如操作日志每一次读写都是一个对象,那么把它的读写粒度放在字段级别没有多大好处;但是像主帖访问次数+1这种,就很适合字段级别的粒度,我们把这种粒度称为粒度②;Memcache可以很好的解决内存缓存的问题,但是存在的问题是:1.可以很容易做到支持粒度①,但是要做到粒度②需要构造维护对象的逻辑有点麻烦,与memcache交互的次数过多; 2.在这个基础上还必须要实现持久化缓存的部分.

如果是NoSql呢?经过对比Redis可以取代原来的内存缓存和XML文件缓存:

\[1\]可以作为内存缓存使用

\[2\]数据可以持久化

\[3\]支持多种数据结构,可以实现操作粒度②

**学习Redis**

我的Redis的学习参考主要集中在:

*  官方网站 [http://redis.io/][http_redis.io]
 *  Redis命令 [http://redis.io/commands][http_redis.io_commands]
 *  Redis协议 [http://redis.io/topics/protocol][http_redis.io_topics_protocol]
 *  NoSQLFan Redis资料汇总专题 [http://blog.nosqlfan.com/html/3537.html][http_blog.nosqlfan.com_html_3537.html]

熟悉了命令之后,仔细阅读了Redis协议,总结在 [\[Erlang 0019\]Redis协议解读与实现(.Net & Erlang)][Erlang 0019_Redis_.Net _ Erlang] ,通过协议的学习实际上有了一个心理底线:只要通过协议能够实现的功能,我们就可以在Client实现.NoSQLFan上汇集了很多优秀的Redis资料,我专门预留了一部分时间阅读上面的文章.

**ServiceStack.Redis实践**

Redis的C\#客户端我选择的是ServiceStack.Redis,相比Booksleeve redis-sharp等方案,它提供了一整套从Redis数据结构都强类型对象转换的机制;看一个例子来了解一下ServiceStack.Redis是如何组织数据的,我们使用的实体类定义如下:

![复制代码][copycode.gif]

public class User
    
    {
           
    public User()
    
    {
           
    this.BlogIds = new List<long>();
    
    }
    
    public long Id { get; set; }
    public string Name { get; set; }
    public List<long> BlogIds { get; set; }
    
    }

![复制代码][copycode.gif]

使用下面的代码片段,我们存入两条数据到Redis:

![复制代码][copycode.gif]

using (var redisUsers = redisClient.GetTypedClient<User>())
    
    {
            
    var ayende = new User { Id = redisUsers.GetNextSequence(), Name = "Oren Eini" };
    var mythz = new User { Id = redisUsers.GetNextSequence(), Name = "Demis Bellot" };
    
    redisUsers.Store(ayende);
    
    redisUsers.Store(mythz);
    
    }

![复制代码][copycode.gif]

我们看下Redis中的结果:

redis 127.0.0.1:6379[1]> keys *
    1) "seq:User"
    2) "ids:User"
    3) "urn:user:1"
    4) "urn:user:2"

我们逐一检查一下数据类型:

<table style="border:1px solid #C0C0C0;border-collapse:collapse;"> 
 <tbody> 
  <tr> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">&nbsp;seq:User　</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">string &nbsp;</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">维护当前类型User的ID自增序列,用做对象唯一ID</td> 
  </tr> 
  <tr> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">&nbsp;ids:User</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">set &nbsp; &nbsp; &nbsp;&nbsp;</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">同一类型User所有对象ID的列表</td> 
  </tr> 
  <tr> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">&nbsp;urn:user:1</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">string&nbsp;</td> 
   <td style="line-height:1.5;border:1px solid #C0C0C0;border-collapse:collapse;">user对象</td> 
  </tr> 
 </tbody> 
</table>

seq:User 维护的是类型User的ID序列 redisUsers.GetNextSequence()

![复制代码][copycode.gif]

public long GetNextSequence(int incrBy)
    
    {
             
    return IncrementValueBy(SequenceKey, incrBy);
    
    }
    public long IncrementValue(string key)
    
    {
             
    return client.Incr(key);
    
    }

![复制代码][copycode.gif]

这里的SequenceKey就是 " seq:User",然后我们通过存一个对象到Redis看另外两个key是什么作用:

![复制代码][copycode.gif]

public T Store(T entity)
    
    {
              
    var urnKey = entity.CreateUrn();
    this.SetEntry(urnKey, entity);
    
    return entity;
    
    }
    //entity.CreateUrn();的结果是"urn:user:1"
            public void SetEntry(string key, T value)
    
    {
              
    if (key == null)
    throw new ArgumentNullException("key");
    
    
    client.Set(key, SerializeValue(value));
    
    client.RegisterTypeId(value);
    
    }
    
    internal void RegisterTypeId<T>(T value)
    
    {
              
    var typeIdsSetKey = GetTypeIdsSetKey<T>();
    var id = value.GetId().ToString();
    
    if (this.Pipeline != null)
    
    {
              
    var registeredTypeIdsWithinPipeline = GetRegisteredTypeIdsWithinPipeline(typeIdsSetKey);
    
    registeredTypeIdsWithinPipeline.Add(id);
    
    }
    else
    
    {
              
    this.AddItemToSet(typeIdsSetKey, id);
    
    }
    
    }

![复制代码][copycode.gif]

这里的typedIdsSetKey 就是" ids:User"

ids:User相当于一个索引,包含了所有同为类型User的ID;由于维护了这样一个分组信息,所以很容易实现GetAll<User>()这样的功能;

在redis-cli中查询一下 get urn:user:1 返回值是 [JSON][]格式:

"\{\\"Id\\":1,\\"Name\\":\\"Oren Eini\\",\\"BlogIds\\":\[1\]\}"

ServiceStack.Redis 自己实现了一套序列化功能, [Fastest JSON Serializer for .NET released ][Fastest JSON Serializer for .NET released] 支持 POCO(Plain Old CLR Object)序列化.

实际应用中,由于我们使用的数据是来自关系型数据库,本身包含关联关系,所以并不需要这样的对象组织方式;我们只需要把关系型数据中一对多的关系在Redis中表达出来即可;这里我扩展修改了RedisClient的实现,由于RedisClient本身已经通过partial方式分割成若干个文件,所以很容易把变动的代码集中在同一个代码文件中.具体业务对象存储,主帖和回帖会有字段级修改,所以设计成为Hash结构,其它几个子对象读写都是以对象为单位,设计成为POCO方式持久化;

**使用管道Pipeline遇到的问题**

使用管道可以将客户端到Redis的往返次数减少,不过在使用ServiceStack.Redis的时候,遇到这样一个问题,比如要把一个List<log>全部存储,代码不可以写成下面这样:

![复制代码][copycode.gif]

%%第一种写法 
    
    logs.ForEach(n =>
    
    {
                
    
    pipeline.QueueCommand(r =>
    
    {
                
    
    ((RedisClient)r).Store<OpLog>(n, n.GetObjectID(), n.GetUrnKey());
    
    ((RedisClient)r).Expire(n.GetUrnKey(), dataLifeTime);
    
    });
    
    });

![复制代码][copycode.gif]

而是要写成这样:

![复制代码][copycode.gif]

%%第二种写法
    
    logs.ForEach(n =>
    
    {
                 
    
    
    pipeline.QueueCommand(r => ((RedisClient)r).Store<Log>(n, n.ID, n.GetUrnKey()));
    
    pipeline.QueueCommand(r => ((RedisClient)r).Expire(n.GetUrnKey(), dataLifeTime));
    
    
    });

![复制代码][copycode.gif]

什么原因呢?RedisQueueCompletableOperation的AddCurrentQueuedOperation方法会在 执行CurrentQueuedOperation = null;如果按照第一种写法会丢失回调函数,这就造成有返回值在没有及时提取,后续的操作获取返回值时首先取到的是积压的结果信息,就出现了异常,而第二种写法就避免了这个问题.

protected virtual void AddCurrentQueuedOperation()
    
    {
                  
    this.QueuedCommands.Add(CurrentQueuedOperation);
    
    CurrentQueuedOperation = null;
    
    }

**Redis工具篇**

Redis的客户端redis-cli不是太好用,退格键和箭头都不能正常使用,这个的确影响效率,还是需要找一个合适的工具,我比较喜欢这个: **RedisConsole**

[https://github.com/ptrofimov/RedisConsole/downloads][https_github.com_ptrofimov_RedisConsole_downloads]

这个工具用来学习是很好用的,但是数据量一旦增大,左侧列表就混乱了,而且一点击就假死;所以建议只在学习阶段使用;

![2012031315335133.png][]

在没有window的环境,启动一个Erlang的客户端也是一个不错的选择.

Web端的管理工具我选用的是 **Redis Admin UI**

这个ServiceStack.Redis的配套项目,修改一下web.config就能用,地址在此: [http://www.servicestack.net/mythz\_blog/?p=381][http_www.servicestack.net_mythz_blog_p_381]

Redis图书资料:

\[1\] [*Big Data Glossary* \- O'Reilly Media][Big Data Glossary_ _- O_Reilly Media]

\[2\] [The Little Redis Book][] by [Karl Seguin][]

\[3\] [Redis Cookbook (O'Reilly Media, 2011)][Redis Cookbook _O_Reilly Media_ 2011]

\[4\] [Professional NoSQL (Wrox, 2011)][Professional NoSQL _Wrox_ 2011]

刚刚在NOSQLFan上看到一篇<Memcached真的过时了吗？>一定要转过来:

原文: [http://blog.nosqlfan.com/html/3729.html][http_blog.nosqlfan.com_html_3729.html]

> 这两年[Redis][]火得可以，Redis也常常被当作[Memcached][]的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而，Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗？
> 
> 下面内容来自Redis作者在stackoverflow上的一个回答，对应的问题是《[Is memcached a dinosaur in comparison to Redis?][Is memcached a dinosaur in comparison to Redis]》（相比Redis，Memcached真的过时了吗？）
> 
>  *  You should not care too much about performances. Redis is faster per core with small values, but memcached is able to use multiple cores with a single executable and TCP port without help from the client. Also memcached is faster with big values in the order of 100k. Redis recently improved a lot about big values (unstable branch) but still memcached is faster in this use case. The point here is: nor one or the other will likely going to be your bottleneck for the query-per-second they can deliver.
>  *  没有必要过多的关心性能，因为二者的性能都已经足够高了。由于Redis只使用单核，而Memcached可以使用多核，所以在比较上，平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。说了这么多，结论是，无论你使用哪一个，每秒处理请求的次数都不会成为瓶颈。（比如瓶颈可能会在网卡）
>  *  You should care about memory usage. For simple key-value pairs memcached is more memory efficient. If you use Redis hashes, Redis is more memory efficient. Depends on the use case.
>  *  如果要说内存使用效率，使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。当然，这和你的应用场景和数据特性有关。
>  *  You should care about persistence and replication, two features only available in Redis. Even if your goal is to build a cache it helps that after an upgrade or a reboot your data are still there.
>  *  如果你对数据持久化和数据同步有所要求，那么推荐你选择Redis，因为这两个特性Memcached都不具备。即使你只是希望在升级或者重启系统后缓存数据不会丢失，选择Redis也是明智的。
>  *  You should care about the kind of operations you need. In Redis there are a lot of complex operations, even just considering the caching use case, you often can do a lot more in a single operation, without requiring data to be processed client side (a lot of I/O is sometimes needed). This operations are often as fast as plain GET and SET. So if you don’t need just GEt/SET but more complex things Redis can help a lot (think at timeline caching).
>  *  当然，最后还得说到你的具体应用需求。Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果你需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。

注意:实践版本 Redis 2.4.9

2013-3-22 16:30:30 更新

Rdbtools is a parser for Redis' dump.rdb files. The parser generates events similar to an xml sax parser, and is very efficient memory wise.

In addition, rdbtools provides utilities to :

1.  Generate a Memory Report of your data across all databases and keys
2.  Convert dump files to JSON
3.  Compare two dump files using standard diff tools

[https://github.com/sripathikrishnan/redis-rdb-tools][https_github.com_sripathikrishnan_redis-rdb-tools]

[redis]: /images/20220201/ecec15c833c14152b6353611f10326a3.png
[http_redis.io]: http://redis.io/
[http_redis.io_commands]: http://redis.io/commands
[http_redis.io_topics_protocol]: http://redis.io/topics/protocol
[http_blog.nosqlfan.com_html_3537.html]: http://blog.nosqlfan.com/html/3537.html
[Erlang 0019_Redis_.Net _ Erlang]: http://www.cnblogs.com/me-sa/archive/2011/12/06/erlang0019.html
[copycode.gif]: /images/20220201/e111ea3b02494bd6b842d5e7bb4ce56a.png
[JSON]: http://www.json.org/
[Fastest JSON Serializer for .NET released]: http://www.servicestack.net/mythz_blog/?p=344%20
[https_github.com_ptrofimov_RedisConsole_downloads]: https://github.com/ptrofimov/RedisConsole/downloads
[2012031315335133.png]: /images/20220201/4329aedabf574a3d85661531c0817a68.png
[http_www.servicestack.net_mythz_blog_p_381]: http://www.servicestack.net/mythz_blog/?p=381
[Big Data Glossary_ _- O_Reilly Media]: http://shop.oreilly.com/product/0636920022466.do
[The Little Redis Book]: http://openmymind.net/2012/1/23/The-Little-Redis-Book/
[Karl Seguin]: http://twitter.com/karlseguin
[Redis Cookbook _O_Reilly Media_ 2011]: http://shop.oreilly.com/product/0636920020127.do
[Professional NoSQL _Wrox_ 2011]: http://www.wrox.com/WileyCDA/WroxTitle/Professional-NoSQL.productCd-047094224X.html
[http_blog.nosqlfan.com_html_3729.html]: http://blog.nosqlfan.com/html/3729.html
[Redis]: http://blog.nosqlfan.com/tags/redis
[Memcached]: http://blog.nosqlfan.com/tags/memcached
[Is memcached a dinosaur in comparison to Redis]: http://stackoverflow.com/questions/2873249/is-memcached-a-dinosaur-in-comparison-to-redis
[https_github.com_sripathikrishnan_redis-rdb-tools]: https://github.com/sripathikrishnan/redis-rdb-tools