redis集群搭建以及Yii1.1连接redis集群

傷城~ 2022-06-11 09:59 401阅读 0赞

微笑微笑微笑本来博客搭建在自己的服务器上，不知道多久没有维护和更新后，再一看域名都需要重新备案了。介于本人的“懒惰性”，还是迁过来不浪费资源了。

最近搭建一个业务，号称每秒响应需要1W次请求，然后LZ各种折腾php、mysql和nginx配置。最后放弃mysql使用redis单机版，最后的最后使用redis集群。

1、生产环境

ubuntu16.04

redis-3.0.7

内网机器IP：192.168.140.180和192.168.140.181

机器CPU：4核

2、搭建

LZ在搭建集群前是使用的redis单机版，而单机版的启动直接使用redis.server /etc/redis/redis.conf的，也就是说完全没有理解redis的单核运行原理 【手动滑稽，LZ是个菜】,还是记录一下redis的单线程：

redis是用”单线程-多路复用io模型”来实现高性能的内存数据服务的，这种机制避免了使用锁，但是同时这种机制在进行sunion之类的比较耗时的命令时会使redis的并发下降。因为是单一线程，所以同一时刻只有一个操作在进行，所以，耗时的命令会导致并发的下降，不只是读并发，写并发也会下降。而单一线程也只能用到一个cpu核心。

CPU 是一个重要的影响因素，由于是单线程模型，Redis 更喜欢大缓存快速 CPU， 而不是多核。在多核 CPU 服务器上面，Redis 的性能还依赖 NUMA 配置和 处理器绑定位置。 最明显的影响是 redis-benchmark 会随机使用 CPU 内核。
然后LZ的业务负载机器上面还跑着redis的实例，最后造成了这种情况：
20170804165139386

简直不要太开心，8核机器redis用了50%的CPU？？？ WTF？？？当时LZ的内心是崩溃的。所以查找了相当的redis集群资料开始搭建过程。

2.1.1 下载和安装redis源码 

  1. cd /data/bao
  2. wget "http://download.redis.io/releases/redis-3.0.7.tar.gz"
  3. tar -zxvf redis-3.0.7.tar.gz　

、

然后进入到安装目录 

  1. cd redis-3.0.7
  2. make test

ubuntu 下会报错：
You need tcl 8.5 or newer in order to run the Redis test

然后我们需要一下操作: 

  1. wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz
  2. sudo tar xzvf tcl8.6.1-src.tar.gz  -C /usr/local/
  3. cd  /usr/local/tcl8.6.1/unix/
  4. sudo ./configure
  5. sudo make
  6. sudo make install

再返回进入到redis目录下 

  1. cd /data/bao/redis-3.0.7 && make && make install

OK,搭建了六套相关环境暂时还没有出现过其他问题.现在源码安装好了redis，redis的启动和cli是和系统同样的，也就是 

  1. cd /data/bao/redis-3.0.7/src

下有 redis-server 和 redis-cli 文件。./redis-cli 就可以使用连接了。

2.1.2 搭建redis集群
OK，两台机器做同样的命令:
用端口为名称建立redis集群的配置，LZ搭建4主4从，所以启用四个端口 

  1. mkdir -p /data/redis/7000
  2. mkdir -p /data/redis/7001
  3. mkdir -p /data/redis/7002
  4. mkdir -p /data/redis/7003

将编译好的redis-server移过来，只是为了启动方便 

  1. cp /data/bao/redis-3.0.7/src/redis-server /data/redis

编写相对简答的redis.conf文件 

  1. vi /data/redis/redis.con
  3. port 7000  #运行端口，和你将要放入的文件夹名称对应
  4. cluster-enabled yes  
  5. cluster-config-file nodes.conf  #节点配置信息
  6. cluster-node-timeout 5000  #超时
  7. appendonly no   
  8. daemonize yes  #后台运行

储存后将这个文件复制到各个以端口命名的文件夹内，并将port修改为文件夹名称存储.

完成之后启用redis-cluster，LZ比较懒，写了个脚本启动。 

  1. cd /data/redis/7000/ && taskset -c 0 /data/redis/redis-server /data/redis/7000/redis.conf
  2. cd /data/redis/7001/ && taskset -c 1 /data/redis/redis-server /data/redis/7001/redis.conf
  3. cd /data/redis/7002/ && taskset -c 2 /data/redis/redis-server /data/redis/7002/redis.conf
  4. cd /data/redis/7003/ && taskset -c 3 /data/redis/redis-server /data/redis/7003/redis.conf

这里的taskset -c 0 是指定redis运行在某个cpu上，cpu的个数从0开始往上计算，如LZ的机器是4核，所以开了4个端口使用4个CPU来运行cluster。这种方式比较极限，机器上也不敢运行太多其它东西了。

2.1.3 使用ruby管理redis集群
安装ruby redis插件，听说编写redis的人本身是写ruby的，所以又用ruby编写了一套管理脚本，保证redis的代码清洁，也为后来埋下了坑-。- 

  1. apt update
  2. apt install ruby
  3. gem install redis
  5. cd /data/bao/redis-3.0.7/src
  7. redis-trib.rb  create  --replicas  1  192.168.140.180:7000 192.168.140.180:7001  192.168.140.180:7002 192.168.140.180:7003  192.168.140.180:7000 192.168.140.181:7000 192.168.140.181:7001 192.168.140.181:7002 192.168.140.181:7003

redis-trib.rb 针对集群的运用：
1、create：创建集群
2、check：检查集群
3、info：查看集群信息
4、fix：修复集群
5、reshard：在线迁移slot
6、rebalance：平衡集群节点slot数量
7、add-node：将新节点加入集群
8、del-node：从集群中删除节点
9、set-timeout：设置集群节点间心跳连接的超时时间
10、call：在集群全部节点上执行命令
11、import：将外部redis数据导入集群

create —replicas 第一个参数1 是指每个master节点将有1个子节点

OK，运行完毕不出意外的话全部都是success，有错误的话问问度娘， ubuntu16下LZ暂时没有出现很难解的错误。

3.1.1 链接redis集群并测试
进入集群池命令： 

  1. redis-cli -p 7000 -c

具体set/get的测试就不列举了，蛋疼-。- 但在get的时候或许你会发现下面情况：(error) MOVED 1409 192.168.140.180:7000 ，这个也不是错误，是redis的集群机制。redis的各个master之间是互不干涉的，只是在存储的时候存储池给每个master分配了一些槽和数据。而你在某个节点get命令的时候，redis会先计算这个值存在的哈希，计算出他的存储节点，若不在这台机器上则报上方信息并告知你正确的节点。这样redis就有了两次I/O开销。额，还没到这一层面还是安静的看大神分析吧。

redis cluster浅析和Bada对比 原文

20170804180815849

最后LZ测试运行后的结果，跑业务的时候最高占用也仅在20%，和之前可怕的单核形成强烈的对比。。。

4.1.1 yii1.1 连接集群

楼主使用的是yiiredis拓展，github地址：https://github.com/phpnode/YiiRedis

然而，这个拓展没有cluster的链接【微笑】

没办法，山寨的楼主只能用phpredis来写个简单的拓展放里边。。。

  1. <?php
  3. /**
  4.  * Created by PhpStorm.
  5.  * User: land.zhang
  6.  * Date: 2017/8/3
  7.  * Time: 16:55
  8.  */
  9. class RedisClusterConnection extends CApplicationComponent
  10. {
  11.     /**
  12.      * The redis client
  13.      * @var RedisCluster
  14.      */
  15.     protected $_client;
  17.     /**
  18.      * The redis unix socket location
  19.      * @var unixSocket
  20.      */
  21.     public $unixSocket=null;
  23.     /**
  24.      * Redis default prefix
  25.      * @var string
  26.      */
  27.     public $prefix = "Yii.redis.";
  29.     /**
  30.      * The redis server password
  31.      * @var password
  32.      */
  33.     public $password=null;
  35.     /**
  36.      * The redis socket timeout, defaults to 0 (unlimited)
  37.      * @var timeout
  38.      */
  39.     public $timeout=0;
  41.     /**
  42.      * The redis cluster
  43.      * @var array
  44.     */
  45.     public $clusterConfig=[];
  47.     /**
  48.      * Sets the redis client to use with this connection
  49.      * @param RedisCluster $client the redis client instance
  50.      */
  51.     public function setClient(RedisCluster $client)
  52.     {
  53.         $this->_client = $client;
  54.     }
  56.     /**
  57.      * Gets the redis client
  58.      * @return RedisCluster the redis client
  59.      */
  60.     public function getClient($reconnect = false)
  61.     {
  62.         if ($this->_client === null || $reconnect) {
  63.             if(empty($this->clusterConfig)){
  64.                 throw new CException('Redis Cluster Config Error');
  65.             }
  66.             $clusterList = [];
  67.             foreach ($this->clusterConfig as $item){
  68.                 $clusterList[] = $item['host'] . ':' . $item['port'];
  69.             }
  70.             if(empty($clusterList)){
  71.                 throw new CException('Redis Cluster Config Error');
  72.             }
  73.             $this->_client = new RedisCluster(null,$clusterList);
  74. //            $this->_client->connect($this->hostname, $this->port, $this->timeout);
  75.             //phpredis not support password yet
  76. //            if (isset($this->password)) {
  77. //                if ($this->_client->auth($this->password) === false) {
  78. //                    throw new CException('Redis authentication failed!');
  79. //                }
  80. //            }
  81. //            $this->_client->setOption(Redis::OPT_PREFIX, $this->prefix);
  82. //            $this->_client->select($this->database);
  83.         }
  84.         return $this->_client;
  85.     }
  87.     /**
  88.      * Returns a property value based on its name.
  89.      * Do not call this method. This is a PHP magic method that we override
  90.      * to allow using the following syntax to read a property
  91.      * <pre>
  92.      * $value=$component->propertyName;
  93.      * </pre>
  94.      * @param string $name the property name
  95.      * @return mixed the property value
  96.      * @throws CException if the property is not defined
  97.      * @see __set
  98.      */
  99.     public function __get($name) {
  100.         $getter='get'.$name;
  101.         if (property_exists($this->getClient(),$name)) {
  102.             return $this->getClient()->{$name};
  103.         }
  104.         elseif(method_exists($this->getClient(),$getter)) {
  105.             return $this->$getter();
  106.         }
  107.         return parent::__get($name);
  108.     }
  110.     /**
  111.      * Sets value of a component property.
  112.      * Do not call this method. This is a PHP magic method that we override
  113.      * to allow using the following syntax to set a property
  114.      * <pre>
  115.      * $this->propertyName=$value;
  116.      * </pre>
  117.      * @param string $name the property name
  118.      * @param mixed $value the property value
  119.      * @return mixed
  120.      * @throws CException if the property is not defined or the property is read only.
  121.      * @see __get
  122.      */
  123.     public function __set($name,$value)
  124.     {
  125.         $setter='set'.$name;
  126.         if (property_exists($this->getClient(),$name)) {
  127.             return $this->getClient()->{$name} = $value;
  128.         }
  129.         elseif(method_exists($this->getClient(),$setter)) {
  130.             return $this->getClient()->{$setter}($value);
  131.         }
  132.         return parent::__set($name,$value);
  133.     }
  135.     /**
  136.      * Checks if a property value is null.
  137.      * Do not call this method. This is a PHP magic method that we override
  138.      * to allow using isset() to detect if a component property is set or not.
  139.      * @param string $name the property name
  140.      * @return boolean
  141.      */
  142.     public function __isset($name)
  143.     {
  144.         $getter='get'.$name;
  145.         if (property_exists($this->getClient(),$name)) {
  146.             return true;
  147.         }
  148.         elseif (method_exists($this->getClient(),$getter)) {
  149.             return true;
  150.         }
  151.         return parent::__isset($name);
  152.     }
  154.     /**
  155.      * Sets a component property to be null.
  156.      * Do not call this method. This is a PHP magic method that we override
  157.      * to allow using unset() to set a component property to be null.
  158.      * @param string $name the property name or the event name
  159.      * @throws CException if the property is read only.
  160.      * @return mixed
  161.      */
  162.     public function __unset($name)
  163.     {
  164.         $setter='set'.$name;
  165.         if (property_exists($this->getClient(),$name)) {
  166.             $this->getClient()->{$name} = null;
  167.         }
  168.         elseif(method_exists($this,$setter)) {
  169.             $this->$setter(null);
  170.         }
  171.         else {
  172.             parent::__unset($name);
  173.         }
  174.     }
  175.     /**
  176.      * Calls a method on the redis client with the given name.
  177.      * Do not call this method. This is a PHP magic method that we override to
  178.      * allow a facade in front of the redis object.
  179.      * @param string $name the name of the method to call
  180.      * @param array $parameters the parameters to pass to the method
  181.      * @return mixed the response from the redis client
  182.      */
  183.     public function __call($name, $parameters) {
  184.         return call_user_func_array(array($this->getClient(),$name),$parameters);
  185.     }
  186. }

然后在配置里边加上如下代码

  1. 'clusterConfig' => [
  2.                     [
  3.                         'host' => '192.168.140.180',
  4.                         'port' => 7000,
  5.                     ],
  6.                     [
  7.                         'host' => '192.168.140.180',
  8.                         'port' => 7001,
  9.                     ],
  10.                     [
  11.                         'host' => '192.168.140.181',
  12.                         'port' => 7000,
  13.                     ],
  14.                     [
  15.                         'host' => '192.168.140.181',
  16.                         'port' => 7001,
  17.                     ],
  18.                 ],

嗯，然后你就能在代码里边欢快的set和get： Yii:app->clusterConfig->get() 。

由于是基于phpredis拓展的，所以需要在ubuntu上为php装上拓展别忘了亲。。。拓展的安装在楼主的另外一篇文章 搭建nginx+php+mysql脚本。

发表评论

表情：
评论列表 （有 0 条评论，401人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Redis集群介绍以及搭建

    [主从：][Link 1] > 通过持久化功能，Redis保证了即使在服务器重启的情况下也不会损失（或少量损失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载

    朱雀朱雀/ 0 赞/ 311 阅读

    相关 Redis--集群搭建

    集群概述 redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群，我这里

    女爷i女爷i/ 0 赞/ 702 阅读