Nacos+Docker+Mysql快速集群搭建

秒速五厘米 2021-09-25 12:26 634阅读 0赞

### 目录 ###

*   *  说明
     *  安装docker
     *  创建mysql数据库
     *  拉取docker 镜像
     *  nacos一些说明点
     *  创建docker容器
     *  访问集群
     *  结束语

## 说明 ##

简单记录一下 三台 云ECS 快速docker方式创建 nacos集群。 Nacos 版本 2.0.2，里面的一些注意点一并记录

三台 ECS，充当三个节点

## 安装docker ##

这个跳过

## 创建mysql数据库 ##

mysql安装跳过，这里使用了阿里云RDS

运行sql脚本  
不得不吐槽一下，nacos文档中没有明显的找到mysql的脚本文件的提示语，  
一般在nacos源代码文件夹中的文件： **/distribution/conf/nacos-mysql.sql**

## 拉取docker 镜像 ##

三个节点上分别执行

docker pull  nacos/nacos-server:2.0.2

## nacos一些说明点 ##

> 避免一些坑，先说明一下很有可能导致你集群失败或访问失败的点

**---------说明点1：--------------------**  
**NACOS\_APPLICATION\_PORT** 为nacos服务对外提供主端口（默认8848），而不是老版本的NACOS\_SERVER\_PORT

另外查看具体的环境变量含义参考官方文档：  
[https://github.com/nacos-group/nacos-docker][https_github.com_nacos-group_nacos-docker]

**---------说明点2：--------------------**  
针对docker容器，我这里直接使用的是 host 网络模式，docker容器端口同宿主机端口，如果是默认模式，则需要注意nacos2.x版本起，多了好几个端口（这里吐槽一下 谁的主意， 搞这么多端口作甚？）

如果你不仔细看文档了解相关端口，启动客户端会大概率会报异常: **NacosException: Client not connected,current status:STARTING**  
参考github issues [https://github.com/alibaba/nacos/issues/6154][https_github.com_alibaba_nacos_issues_6154]

**---------说明点3：--------------------**  
**nacos 2.x 新增了gRPC的通信方式，因此需要注意不止官方网站文档里面说的2个端口，确切的说是4个端口！！！ 看下面nacos端口用途：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70]

<table> 
 <thead> 
  <tr> 
   <th>端口</th> 
   <th>与主端口的偏移量</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>8848</td> 
   <td>0</td> 
   <td>【服务主端口】，默认8848，java程序注册中心、配置中心、服务注册等使用该端口</td> 
  </tr> 
  <tr> 
   <td>9848</td> 
   <td>+1000</td> 
   <td>客户端gRPC请求服务端端口，用于TCP长连接和请求，无需手动配置，已经集成了 就是【服务主端口】+ 1000</td> 
  </tr> 
  <tr> 
   <td>7848</td> 
   <td>-1000</td> 
   <td>jRaft服务节点之间数据同步协议端口，无需手动配置，已经集成了 就是【服务主端口】- 1000</td> 
  </tr> 
  <tr> 
   <td>9849</td> 
   <td>+1001</td> 
   <td>gRPC服务节点之间数据同步协议端口，无需手动配置，已经集成了 就是【服务主端口】+ 1001</td> 
  </tr> 
 </tbody> 
</table>

再次吐槽一下 谁的主意， 搞这么多端口作甚？  
因此不管你是docker 还是什么部署方式，一定一定注意这些端口是否对外开放了，是否服务节点之间开放了。

详情查看：[https://nacos.io/zh-cn/docs/2.0.0-compatibility.html][https_nacos.io_zh-cn_docs_2.0.0-compatibility.html]

## 创建docker容器 ##

> 三个节点上分别执行 下面的docker命令。

部署再次说明：

*  docker 方式部署
 *  mysql 方式存储
 *  三台阿里云ECS，同一个内网环境，之间任意端口访问正常
 *  docker 网络模式为 host方式
 *  设置nacos主端口为 8849

1.  在 172.20.167.254 节点上运行

docker run -d \
    --network=host  \
    --name nacos-node1 \
    -e MODE=cluster \
    -e SPRING_DATASOURCE_PLATFORM=mysql \
    -e MYSQL_SERVICE_HOST=rm-xxx.mysql.rds.aliyuncs.com  \
    -e MYSQL_SERVICE_PORT=3306 \
    -e MYSQL_SERVICE_USER=root \
    -e MYSQL_SERVICE_PASSWORD=abc123 \
    -e MYSQL_SERVICE_DB_NAME=nacos \
    -e NACOS_APPLICATION_PORT=8849 \
    -e NACOS_SERVERS="172.20.167.254:8849 172.20.168.0:8849 172.20.167.255:8849" \
    -e NACOS_SERVER_IP=172.20.167.254 \
    -e JVM_XMS=256m -e JVM_XMX=512m  \
    nacos/nacos-server:2.0.2

1.  在 172.20.168.0 节点上运行

docker run -d \
    --network=host  \
    --name nacos-node2 \
    -e MODE=cluster \
    -e SPRING_DATASOURCE_PLATFORM=mysql \
    -e MYSQL_SERVICE_HOST=rm-xxx.mysql.rds.aliyuncs.com  \
    -e MYSQL_SERVICE_PORT=3306 \
    -e MYSQL_SERVICE_USER=root \
    -e MYSQL_SERVICE_PASSWORD=abc123 \
    -e MYSQL_SERVICE_DB_NAME=nacos \
    -e NACOS_APPLICATION_PORT=8849 \
    -e NACOS_SERVERS="172.20.167.254:8849 172.20.168.0:8849 172.20.167.255:8849" \
    -e NACOS_SERVER_IP=172.20.168.0 \
    -e JVM_XMS=256m -e JVM_XMX=512m  \
    nacos/nacos-server:2.0.2

1.  在 172.20.167.255 节点上运行

docker run -d \
    --network=host  \
    --name nacos-node3 \
    -e MODE=cluster \
    -e SPRING_DATASOURCE_PLATFORM=mysql \
    -e MYSQL_SERVICE_HOST=rm-xxx.mysql.rds.aliyuncs.com  \
    -e MYSQL_SERVICE_PORT=3306 \
    -e MYSQL_SERVICE_USER=root \
    -e MYSQL_SERVICE_PASSWORD=abc123 \
    -e MYSQL_SERVICE_DB_NAME=nacos \
    -e NACOS_APPLICATION_PORT=8849 \
    -e NACOS_SERVERS="172.20.167.254:8849 172.20.168.0:8849 172.20.167.255:8849" \
    -e NACOS_SERVER_IP=172.20.167.255 \
    -e JVM_XMS=256m -e JVM_XMX=512m  \
    nacos/nacos-server:2.0.2

## 访问集群 ##

> 访问有两个点 1：访问nacos web管理界面 2:SDK客户端访问nacos接口

一般可以是 nginx代理访问这三台ECS ，或者通过阿里云SLB代理负载均衡访问这三台ECS（本质上还是nginx）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70 1]

**注意了！** 上面说过nacos2.x开始，多了好几个端口哦，这里就说一下nginx如何代理配置访问三台集群节点。  
nginx 在第4台ECS上，nginx 需要代理两个 端口的访问 （8849 和 9849），8849是我们的主服务端口，9849是nacos gRPC直接计算出来的端口（8849+1000）

nginx 对外开放端口是8849和9848，nginx所在的ECS 对外公网ip假设为 **8.20.168.6**，阿里云上安全组开放8849和9848 端口。

这里重点说明一下 9848是TCP方式代理访问。

....
    
    stream { 
        upstream nacos_socket_proxy { 
            hash $remote_addr consistent;
            server 172.20.167.254:9849;
            server 172.20.168.0:9849;
            server 172.20.167.255:9849;
        }
    
        server { 
           listen 9849;
           proxy_connect_timeout 20s;
           proxy_timeout 300s;
           proxy_pass nacos_socket_proxy;
        }
    }
    
    http { 
             ....
           upstream  nacos-server { 
                server  172.20.168.0:8849   weight=1;
                server  172.20.167.254:8849 weight=3;
                server  172.20.167.255:8849 weight=6;
            }
    
           server { 
            listen 8849;
            server_name localhost;
            location / { 
               proxy_pass http://nacos-server;
             }
           }
               ....
    }

首先访问 **http://8.20.168.6:8849/nacos** 进入登录页面，输入用户名密码（默认 nacos naocs）  
一般在界面中可查看到如下情况，说明集群搭建完毕。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70 2]

SDK 本地测试访问，可以现在nacos 控制页面上 新增一个配置信息 dataId=“myTest” group=“DEFAULT\_GROUP”

import com.alibaba.nacos.api.NacosFactory;
    import com.alibaba.nacos.api.PropertyKeyConst;
    import com.alibaba.nacos.api.config.ConfigService;
    import com.alibaba.nacos.api.config.listener.Listener;
    import com.alibaba.nacos.api.exception.NacosException;
    
    import java.util.Properties;
    import java.util.concurrent.Executor;
    
    public class NcosTest { 
    
        public static void main(String[] args) throws NacosException, InterruptedException { 
            String serverAddr = "8.20.168.6:8849";
            String dataId = "mytest";
            String group = "DEFAULT_GROUP";
            Properties properties = new Properties();
            properties.put(PropertyKeyConst.SERVER_ADDR, serverAddr);
            ConfigService configService = NacosFactory.createConfigService(properties);
            String content = configService.getConfig(dataId, group, 5000);
            System.out.println(content);
            configService.addListener(dataId, group, new Listener() { 
                @Override
                public void receiveConfigInfo(String configInfo) { 
                    System.out.println("recieve:" + configInfo);
                }
    
                @Override
                public Executor getExecutor() { 
                    return null;
                }
            });
    
            boolean isPublishOk = configService.publishConfig(dataId, group, "content");
            System.out.println(isPublishOk);
    
            Thread.sleep(3000);
            content = configService.getConfig(dataId, group, 5000);
            System.out.println(content);
    
            boolean isRemoveOk = configService.removeConfig(dataId, group);
            System.out.println(isRemoveOk);
            Thread.sleep(3000);
    
            content = configService.getConfig(dataId, group, 5000);
            System.out.println(content);
            Thread.sleep(300000);
    
    
        }
    
    }

直接运行 main方法查看运行结果。

## 结束语 ##

说实在话，nacos 2.0.2 引入了新的网络连接方式给运维带来了一定的工作量， 如果你是内网，如果你只是简单的用了注册中心服务，并发量没有想象的那么大，可以先直接采用单机模式运行，做好监控自动docker重启即可。

nacos 单机版本 并使用mysql作为持久化存储 docker启动命令记录一下：

docker run -d \
    -e MODE=standalone \
    -e SPRING_DATASOURCE_PLATFORM=mysql \
    -e MYSQL_SERVICE_HOST=rm-xxxxxxxxx.mysql.rds.aliyuncs.com \
    -e MYSQL_SERVICE_PORT=3306 \
    -e MYSQL_SERVICE_USER=qizhi_dev \
    -e MYSQL_SERVICE_PASSWORD=Qzhi123456 \
    -e MYSQL_SERVICE_DB_NAME=nacos \
    -e MYSQL_DATABASE_NUM=1 \
    -e JVM_XMS=512m -e JVM_XMX=512m -e JVM_XMN=256m \
    -p 8848:8848 \
    --restart=always \
    --name nacos \
    nacos/nacos-server:1.4.3

[https_github.com_nacos-group_nacos-docker]: https://github.com/nacos-group/nacos-docker
[https_github.com_alibaba_nacos_issues_6154]: https://github.com/alibaba/nacos/issues/6154
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70]: /images/20210923/e72568a5fe6246f9a0f70878e4b29b0c.png
[https_nacos.io_zh-cn_docs_2.0.0-compatibility.html]: https://nacos.io/zh-cn/docs/2.0.0-compatibility.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70 1]: /images/20210923/abf858dfcd4f46d3b42cd6f1be893acb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d6dDE5ODgxMTIz_size_16_color_FFFFFF_t_70 2]: /images/20210923/b76c633cc2ea446e92dbf2fc1dbb394b.png