docker搭建redis集群踩坑记录Could not get a resource from the pool

ゝ一世哀愁。 2023-07-16 09:57 1阅读 0赞

## docker搭建redis集群踩坑记录Could not get a resource from the pool ##

[skyeye办公管理系统  
][skyeye_]skyeye项目采用了redis集群的方式进行缓存存储，需要搭建相应的运行环境。

#redis集群
    redis:
       clusterNodes: ${ redis.ip1}:${ redis.host1},${ redis.ip2}:${ redis.host2},${ redis.ip3}:${ redis.host3},${ redis.ip4}:${ redis.host4},${ redis.ip5}:${ redis.host5},${ redis.ip6}:${ redis.host6}
       #连接超时时间（毫秒）
       timeout: 10000
       #redis操作的超时时间
       commandTimeout: 10000
       pool:
           #连接池最大连接数（使用负值表示没有限制）
           max-active: 10
           #连接池中的最大空闲连接
           max-idle: 8
           #连接池中的最小空闲连接
           min-idle: 2
           #连接池最大阻塞等待时间（使用负值表示没有限制）
           max-wait: 100

一开始采用的是慕课网资料中的方式进行集群搭建 采用的redis镜像是：（yyyyttttwwww/redis–慕课网老师提供的应该是把配置文件以及Ruby工具都包含的镜像）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70]  
具体步骤可参考：[redis集群搭建][redis]

1.第一步需要创建内部网段

docker network create --subnet=172.19.0.0/16 net2

2.创建6节点Redis容器

docker run -it -d --name r1 -p 5001:6379 --net=net2 --ip 172.19.0.2 redis bash
    
    docker run -it -d --name r2 -p 5002:6379 --net=net2 --ip 172.19.0.3 redis bash
    
    docker run -it -d --name r3 -p 5003:6379 --net=net2 --ip 172.19.0.4 redis bash
    
    docker run -it -d --name r4 -p 5004:6379 --net=net2 --ip 172.19.0.5 redis bash
    
    docker run -it -d --name r5 -p 5005:6379 --net=net2 --ip 172.19.0.6 redis bash

3.启动6节点Redis服务器

#进入r1节点
    
    docker exec -it r1 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf
    
    #进入r2节点
    
    docker exec -it r2 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf
    
    #进入r3节点
    
    docker exec -it r3 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf
    
    #进入r4节点
    
    docker exec -it r4 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf
    
    #进入r5节点
    
    docker exec -it r5 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf
    
    #进入r6节点
    
    docker exec -it r6 bash
    
    cp /home/redis/redis.conf /usr/redis/redis.conf
    
    cd /usr/redis/src
    
    ./redis-server ../redis.conf

4.创建Cluster集群

#在r1节点上执行下面的指令
    
    cd /usr/redis/src
    
    mkdir -p ../cluster
    
    cp redis-trib.rb ../cluster/
    
    cd ../cluster
    
    #创建Cluster集群
    
    ./redis-trib.rb create --replicas 1 172.19.0.2:6379 172.19.0.3:6379 172.19.0.4:6379 172.19.0.5:6379 172.19.0.6:6379 172.19.0.7:6379

集群创建成功，外部通过可视化工具也都可以正常访问。但是启动项目时，进行登陆操作报错：**Could not get a resource from the pool**  
![在这里插入图片描述][2020031813021426.png]

redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool at redis.clients.util.Pool.getResource(Pool.java:53)	
    at redis.clients.jedis.JedisPool.getResource(JedisPool.java:226)	
    at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnectionFromSlot(JedisSlotBasedConnectionHandler.java:66)	
    at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:116)	
    at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:141)	
    at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:141)	
    at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:141)	
    at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:141)	
    at redis.clients.jedis.JedisClusterCommand.run(JedisClusterCommand.java:31)	
    at redis.clients.jedis.JedisCluster.set(JedisCluster.java:103)	at com.skyeye.jedis.impl.JedisClientServiceImpl.set(JedisClientServiceImpl.java:57)	
    at com.skyeye.eve.service.impl.SysEveUserServiceImpl.queryUserToLogin(SysEveUserServiceImpl.java:232)

最开始以为时连接池连接数太小，加大发现并无卵用  
debug之后发现可能和集群ip设置有关系![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 1]  
似乎连接池获取连接资源时使用的是集群中配置的节点，参考了一些文章。  
[参考1][1]  
[参考2][2]  
于是决定对原有的节点配置文件进行删除重配  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 3]  
错误提示是：  
slot插槽被占用了（这是 搭建集群前时，以前redis的旧数据和配置信息没有清理干净。）  
解决方案是： 用redis-cli 登录到每个节点执行 flushall 和 cluster reset 就可以了。更改所有redis配置中的ip为虚拟机ip。  
外部单点都可以访问，但是无法建立集群，卡在Waiting for the cluster to join。  
。。。。。就很烦。。  
于是干脆换一种方式重新搭建集群。  
先stop所有容器，再rm进行删除。

1.这次pull官方镜像

docker pull redis

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 4]  
2.创建一个集群相关的文件夹，之后进行映射由于配置文件等挂载

mkdir -p /home/redis-cluster

3.创建配置模板信息

vim redis-cluster.tmpl

内容如下：

port ${PORT}
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    cluster-announce-ip 192.168.168.131
    cluster-announce-port ${PORT}
    cluster-announce-bus-port 1${PORT}
    appendonly yes

4.执行如下脚本，进行文件的循环创建

for port in `seq 7000 7005`; do \
       mkdir -p ./${port}/conf \
       && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf \
       && mkdir -p ./${port}/data; \
     done

![在这里插入图片描述][20200318134033647.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 5]  
6.执行脚本循环创建容器

for port in `seq 7000 7005`; do \
     docker run -d -ti -p ${port}:${port} -p 1${port}:1${port} \
     -v /home/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \
     -v /home/redis-cluster/${port}/data:/data \
     --restart always --name redis-${port} --net host \
     --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf; \
     done

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 6]  
这里遇到一个问题，容器一直提示重启  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 7]  
查看日志发现生成的conf文件有部分问题，可能是之前脚本循环创建时有小错误，手动改正一下。**看日志还是很重要滴！！**

docker logs XXXX

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 9]  
容器启动成功  
![在这里插入图片描述][20200318135012554.png]  
接下来进入某个容器搭建集群（**这次节点IP配置的是虚拟机IP而不是内部网段对应IP！！**）

docker exec -it redis-7000 bash

redis-cli --cluster create 192.168.239.254:7000 192.168.239.254:7001 192.168.239.254:7002 192.168.239.254:7003 192.168.239.254:7004 192.168.239.254:7005

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 10]  
看到绿色就很开心啦，生活过得去~~  
接下来启动项目测试下下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 13]  
成功~

[skyeye_]: https://gitee.com/doc_wei01/skyeye?_from=gitee_search
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70]: /images/20230528/9e32bfb7905b40d4a1e55ba92bdb0e39.png
[redis]: https://www.dazhuanlan.com/2020/02/05/5e3a26106bd3e/?__cf_chl_jschl_tk__=34b8f9156f6c4ff227b31825c62b0296b67b4295-1584438303-0-AcsC32qqVL8a1mHcDLDwne4DftgAlldo0k55TdAugee3HYSYGUiXE8w-kAj1VWXehycyDhE22iC_FaEK77LC9DQqlcLDJEuM1RORheybmaV9QCjYz5nwLxPjUTwUQCDbKaEbbxrPxSX1LopGna5W-H_TKNqAbXT7Ag7juvwGa2XUxMtWxRnB2Z8j1D93YC2kLSeGGtTl7rgDcJHkc7rfxNz69oyEWgkJrCkg53aDln4A9MlCQFWzQBbYqzAuHBBW0cwMlnDHlBWvezVKc89R1QtuGcMHfyw2_DVz9KevfkSQ1SCr4PrSMzWvAOal8YwS_w
[2020031813021426.png]: /images/20230528/7f92913306124ec0a2af38a9bb995077.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 1]: /images/20230528/c4a014873a74489c96ecc288145c95d0.png
[1]: https://blog.csdn.net/weixin_30642267/article/details/99080503?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
[2]: https://blog.csdn.net/zhaohongfei_358/article/details/100584158
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 2]: /images/20230528/105abac2e2b341a38e4d51687c752029.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 3]: /images/20230528/2ddc2f8c6dda4f69998890267b0774ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 4]: /images/20230528/5422a6e888384963bab780e5414e6a46.png
[20200318134033647.png]: /images/20230528/cc464630dd35488e8c8241e63f53bae3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 5]: /images/20230528/8522944c31a64420aa71a8315246b8d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 6]: /images/20230528/35599f42d83c40dd9762dbb8616efdaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 7]: /images/20230528/3eb89f2f50704cd7bbcc977c1ff6fb47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 8]: /images/20230528/3aa3da41d6e14cd6a93b6ef68429419e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 9]: /images/20230528/fbecef665c03444088ea462000dcdfe9.png
[20200318135012554.png]: /images/20230528/eafdea688ecb427fba55d96ddf5ff910.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 10]: /images/20230528/d099eaaa1ef44d7bb2f3e70b79579efb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 11]: /images/20230528/31815f2d81a4499495d851f8d219bb85.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 12]: /images/20230528/47f3f646579a43b5a490b4934523b878.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMzM5Mzc0_size_16_color_FFFFFF_t_70 13]: /images/20230528/4e18d9d2c97540a1beeeeb13a4e78a1b.png