redis集群实现（八）redis+twemproxy集群

傷城~ 2022-07-13 08:14 230阅读 0赞

redis的确是一个非常高效的缓存服务器，但是单台redis服务器的内存管理能力有限，如果一味的加大内存的话会导致redis服务器的性能下降，所以就必须要搭建redis集群来提供服务。在redis官方在3.0.0版本给出集群方案之前，大部分的企业都使用twemproxy组件来进行redis集群的搭建。

twemproxy 通过引入一个代理层，可以将其后端的多台redis进行统一管理与分配，使应用程序只需要在twemproxy 上进行操作，而不用关心后面具体有多少个真实的redis服务器。

接下来我们来搭建一个twemproxy代理的redis，感受一把redis + twemproxy的魅力。

我们首先搭建起来6个节点的redis集群，具体步骤见[http://blog.csdn.net/sanwenyublog/article/details/52946669][http_blog.csdn.net_sanwenyublog_article_details_52946669]

搭建twemproxy，步骤如下

#编译twemproxy需要用到automake和libtool两个编译工具包
    sudo apt-get install automake 
    sudo apt-get install libtool 
    git clone https://github.com/twitter/twemproxy.git
    cd twemproxy
    autoreconf -fvi 
    ./configure --enable-debug=log 
    make

这样，我们就安装成功了，如果我们输入nutcracker -h会有如下的打印结果，就说明我们安装twemproxy成功。

This is nutcracker-0.4.1
    
    Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
                      [-c conf file] [-s stats port] [-a stats addr]
                      [-i stats interval] [-p pid file] [-m mbuf size]
    
    Options:
      -h, --help             : this help
      -V, --version          : show version and exit
      -t, --test-conf        : test configuration for syntax errors and exit
      -d, --daemonize        : run as a daemon
      -D, --describe-stats   : print stats description and exit
      -v, --verbose=N        : set logging level (default: 5, min: 0, max: 11)
      -o, --output=S         : set logging file (default: stderr)
      -c, --conf-file=S      : set configuration file (default: conf/nutcracker.yml)
      -s, --stats-port=N     : set stats monitoring port (default: 22222)
      -a, --stats-addr=S     : set stats monitoring ip (default: 0.0.0.0)
      -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
      -p, --pid-file=S       : set pid file (default: off)
      -m, --mbuf-size=N      : set size of mbuf chunk in bytes (default: 16384 bytes)

然后我修改配置文件，启动twemproxy作为redis的代理。在conf/nutcracker.yml有配置文件的模板，我们照着修改下就可以了，修改后的配置文件如下

beta:                                                                                                                                                        
       listen: 127.0.0.1:22122                                                                                                                                    
       hash: fnv1a_64                                                                                                                                             
       hash_tag: "{}"                                                                                                                                             
       distribution: ketama                                                                                                                                       
       auto_eject_hosts: false                                                                                                                                    
       timeout: 400                                                                                                                                               
       redis: true                                                                                                                                                
       servers:                                                                                                                                                   
        - 127.0.0.1:7000:1 server1                                                                                                                                
        - 127.0.0.1:7001:1 server2                                                                                                                                
        - 127.0.0.1:7002:1 server3                                                                                                                                
        - 127.0.0.1:7003:1 server4                                                                                                                                
        - 127.0.0.1:7004:1 server5                                                                                                                                
        - 127.0.0.1:7005:1 server6

执行如下命令启动twemproxy

nutcracker -d -c conf/nutcracker.yml

我们测试下twemproxy是否可用

ubuntu@ubuntu-virtual-machine:~/redis-3.0.0/src$ redis-cli -p 22122 -c
    127.0.0.1:22122> set key value
    -> Redirected to slot [12539] located at 192.168.39.153:7005
    OK
    192.168.39.153:7005> get key
    "value"

然后进行twemproxy和redis后端的benchmark对比

ubuntu@ubuntu-virtual-machine:~/redis-3.0.0/src$ redis-benchmark -h 127.0.0.1 -p 22122 -c 100 -t set -d 100 -l
    SET 
    35790.98 requests per second
    而redis后端的性能是
    SET
    64935.07 requests per second

说明twemproxy的代理使得redis性能有所损失，但是为了使redis能够支持集群，损失一点性能还是可以接受的。

[http_blog.csdn.net_sanwenyublog_article_details_52946669]: http://blog.csdn.net/sanwenyublog/article/details/52946669