Redis 日志收集系统高可用搭建

àì夳堔傛蜴生んèń 2022-08-05 13:24 200阅读 0赞

为了搭建日志收集系统LEK，需要搭建一套Redis高可用集群，确保日志正常从各个应用服务器流转到ElasticSeach服务器，最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现，具有主备和故障转移功能。

### 一、安装环境说明 ###

两台机器：master(192.168.2.52),slave(192.168.2.53)  
操作系统：CentOS 6.5  
Redis：2.8.17，下载地址：http://download.redis.io/releases/redis-2.8.17.tar.gz

### 二、安装Redis ###

*  安装前准备
    
    1、安装c++编译器  
    yum install gcc-c++
    
    2、安装依赖tcl  
    yum install -y tcl
 *  安装
    
    1、下载  
    wget http://download.redis.io/releases/redis-2.8.17.tar.gz
    
    2、解压  
    tar -zxvf redis-2.8.17.tar.gz
    
    3、安装  
    先创建一个软链接，然后进入链接目录，安装。
    
        ln -s redis-2.8.17 redis
        cd redis
        make install
    
    安装完成之后，在/usr/local/bin目录下会出现redis相关的脚本文件（不包含redis-sentinel.sh）。如下图所示：

![Center][]

*  配置
    
    1、创建相关目录
    
    redis配置需要指定日志文件、进程id文件、数据文件和数据文件目录，下面创建这些相关目录，以便在下一步进行配置。
    
        mkdir /var/redis
        cd /var/redis
        mkdir log #存放日志
        mkdir run #存放redis进程文件
        mkdir data #存放备份数据
    
    此外，还需要创建一个存放配置文件的目录，将redis链接目录中的redis.conf文件拷贝过来。
    
        mkdir /etc/redis
        cp YOURPATH/redis/redis.conf /etc/redis/
    
    2、配置文件
    
    通常需要修改一下配置：
    
        daemonize yes
        pidfile "/var/redis/run/redis.pid"
        logfile "/var/redis/log/redis.log"
        dir "/var/redis/data" #这个可以自己定义大小
 *  测试
    
    启动redis服务 redis-server /etc/redis/redis.conf  
    执行简单的存取操作，如果成功，则表示redis服务正常。如下图所示
    
    ![Center 1][]  
    
 *  复制安装  
    按照上述步骤，在slave机器上安装好redis服务，redis主备和高可用至少需要两台机器。

### 三、Redis主备 ###

*  前提  
    master和slave两台机器均已完成Redis安装，且服务可以正常运转。
 *  主备配置  
    redis的主备配置比较简单，只需要在从服务的配置文件中指明主服务地址和端口号即可。即修改slave上的redis配置文件：  
    slaveof 192.168.2.52 6379
 *  测试  
    依次重启redis master，redis slave，在master和slave分别执行如下命令，可以查看主备信息。
    
        #在master上执行
        redis-cli -h 192.168.2.52 -p 6379 info Replication
        
        #在slave上执行
        redis-cli -h 192.168.2.53 -p 6379 info Replication
    
    此外还可以进行存取测试，在master上执行set操作，在slave上执行get操作，如果value相等，则证明主备功能正常。因为默认 slave是只读，所以当在slave上执行set操作时，将报错：(error) ERR wrong number of arguments for 'set' command

### 四、Redis高可用 ###

redis高可用的实现采用redis-sentinel，自Redis2.8版开始，正式提名为Sentinel主从切换方案。Sentinel用于管理多个Redis服务器实例，主要负责3个方面的任务：

*  监控（Monitoring）：Sentinel会不断检测你的主服务器和从服务器是否正常运作
 *  提醒（Notification）：当被监控的某个Redis服务器出现问题时，Sentinel可以通过API向管理员或者其他应用程序发送通知
 *  自动故障转移（Automatic Failover）：当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作， 它会将失效主服务器的其中一个从服务器升级为新的主服务器， 并让失效主服务器的其他从服务器改为复制新的主服务器； 当客户端试图连接失效的主服务器时， 集群也会向客户端返回新主服务器的地址， 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统， 你可以在一个架构中运行多个 Sentinel 进程（progress）， 这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息， 并使用投票协议（agreement protocols）来决定是否执行自动故障迁移， 以及选择哪个从服务器作为新的主服务器。

1.  Redis-sentinel配置

拷贝sentinel的脚本至/usr/local/bin目录 cp src/redis-sentinel /usr/local/bin;

拷贝配置文件sentinel.conf至/etc/redis目录cp sentinel.conf /etc/redis，修改配置文件：

port 26379
    
    # master1
    sentinel monitor master1 192.168.2.52 6379 1
    sentinel down-after-milliseconds master1 5000
    sentinel failover-timeout master1 900000
    sentinel parallel-syncs master1 1

1.  集群测试

启动redis-sentinel服务redis-sentinel /etc/redis/sentinel.conf --sentinel;

执行检测命令redis-cli -h 192.168.2.52 -p 26379 info Sentinel，结果如下，master为192.168.2.52

![Center 2][]

现在停止52上redis服务redis-cli -h 192.168.2.52 -p 6379 shutdown,再执行检测命令如下，master变成了192.168.2.53

![Center 3][]

五、总结

本文主要介绍了如何使用redis-sentinel搭建redis高可用集群，理论结合实际演示了集群实现的效果，主备和故障转移。

转至：[http://my.oschina.net/xiaohui249/blog/338517][http_my.oschina.net_xiaohui249_blog_338517]

**参考文章**

1.[使用logstash+elasticsearch+kibana快速搭建日志平台][logstash_elasticsearch_kibana]

[Center]: /images/20220805/b2b2b163decd4b47a221976982c6f37a.png
[Center 1]: /images/20220805/ca6abde1a8fd4cfb9a1969da44e46fb4.png
[Center 2]: /images/20220805/1b7bae170e5f42819b886096aa1d1583.png
[Center 3]: /images/20220805/6c206c468f904384bbe1c800aec0b7d3.png
[http_my.oschina.net_xiaohui249_blog_338517]: http://my.oschina.net/xiaohui249/blog/338517
[logstash_elasticsearch_kibana]: http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html