Apollo部署

深碍√TFBOYSˉ_ 2022-12-08 04:50 304阅读 0赞

### Apollo介绍 ###

Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。

服务端基于Spring Boot和Spring Cloud开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。

Java客户端不依赖任何框架，能够运行于所有Java运行时环境，同时对Spring/Spring Boot环境也有较好的支持。.Net客户端不依赖任何框架，能够运行于所有.Net运行时环境。

Apollo支持4个维度管理Key-Value格式的配置：

application (应用)
    
    environment (环境)
    
    cluster (集群)
    
    namespace (命名空间)

github地址：https://github.com/ctripcorp/apollo ，最新版本：1.7.1

*  概念：

application (应用)：实际使用配置的应用，每个应用都要有唯一的身份表示——appId，Apollo客户端可以根据appId去获取对应的配置
    
    environment (环境)：配置对应的环境，Apollo客户端在运行时需要知道当前应用处于哪个环境，从而可以去获取应用的配置。环境默认是通过读取机器上的配置（server.properties中的env属性）指定的
    
    cluster (集群)：一个应用下不同实例的分组。对不同的cluster，同一个配置可以有不一样的值，如zookeeper地址。集群默认是通过读取机器上的配置（server.properties中的idc属性）指定的
    
    namespace (命名空间)：一个应用下不同配置的分组。可以把namespace类别为文件，不同类型的配置存放在不同的文件中，如数据库配置文件、RPC配置文件、应用自身的配置文件等

*  架构图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center]

Config Service提供配置的读取、推送等功能，服务对象是Apollo客户端
    
    Admin Service提供配置的修改、发布等功能，服务对象是Apollo Portal（管理界面）
    
    Config Service和Admin Service都是多实例、无状态部署，所以需要将自己注册到Eureka中并保持心跳
    
    在Eureka之上加了一层Meta Server用于封装Eureka的服务发现接口
    
    Client通过域名访问Meta Server获取Config Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Client侧会做load balance、错误重试
    
    Portal通过域名访问Meta Server获取Admin Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Portal侧会做load balance、错误重试
    
    为了简化部署，实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程中

*  客户端：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center 1]

1. 客户端和服务端保持了一个通过Http Long Polling实现的长连接，能第一时间获得配置更新的推送
    
    2. 客户端还会定时从Apollo配置中心服务端拉取应用的最新配置
    
        这是一个fallback机制，为了防止推送机制失效导致配置不更新
        
        客户端定时拉取会上报本地版本，所以一般情况下，对于定时拉取的操作，服务端都会返回304 - Not Modified
        
        定时频率默认为每5分钟拉取一次，客户端也可以通过在运行时指定System Property: apollo.refreshInterval来覆盖，单位为分钟
    
    3. 客户端从Apollo配置中心服务端获取到应用的最新配置后，会保存在内存中
    
    4. 客户端会把从服务端获取到的配置在本地文件系统缓存一份
    
        在遇到服务不可用，或网络不通的时候，依然能从本地恢复配置
    
    5. 应用程序从Apollo客户端获取最新的配置、订阅配置更新通知

*  特点：

统一管理不同环境、不同集群的配置
    
    配置修改实时生效（热发布）
    
    版本发布管理，支持灰度发布
    
    权限管理、发布审核、操作审计
    
    客户端配置信息监控
    
    提供开放平台API
    
    部署简单，仅依赖mysql

*  可用性：

配置中心作为基础服务，可用性要求非常高。

<table> 
 <thead> 
  <tr> 
   <th>场景</th> 
   <th>影响</th> 
   <th>降级</th> 
   <th>原因</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>某台config service下线</td> 
   <td>无影响</td> 
   <td></td> 
   <td>Config service无状态，客户端重连其它config service</td> 
  </tr> 
  <tr> 
   <td>所有config service下线</td> 
   <td>客户端无法读取最新配置，Portal无影响</td> 
   <td>客户端重启时,可以读取本地缓存配置文件</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>某台admin service下线</td> 
   <td>无影响</td> 
   <td></td> 
   <td>Admin service无状态，Portal重连其它admin service</td> 
  </tr> 
  <tr> 
   <td>所有admin service下线</td> 
   <td>客户端无影响，portal无法更新配置</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>某台portal下线</td> 
   <td>无影响</td> 
   <td></td> 
   <td>Portal域名通过slb绑定多台服务器，重试后指向可用的服务器</td> 
  </tr> 
  <tr> 
   <td>全部portal下线</td> 
   <td>客户端无影响，portal无法更新配置</td> 
   <td></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>某个数据中心下线</td> 
   <td>无影响</td> 
   <td></td> 
   <td>多数据中心部署，数据完全同步，Meta Server/Portal域名通过slb自动切换到其它存活的数据中心</td> 
  </tr> 
 </tbody> 
</table>

--------------------

### 环境准备 ###

*  角色划分：

系统：CentOS 7.8    Java：1.8
    
    Meta Server/Config Service          192.168.30.129
    
    Admin Service                       192.168.30.130
    
    Portal Server/MySQL                 192.168.30.131

*  全部关闭防火墙和selinux：

systemctl stop firewalld && systemctl disable firewalld
    
    sed -i 's/=enforcing/=disabled/g' /etc/selinux/config  && setenforce 0

*  全部安装Java环境：

mkdir /software && cd /software
    
    tar xf jdk-8u231-linux-x64.tar.gz && mv jdk1.8.0_231/ /usr/local/jdk
    
    vim /etc/profile

JAVA_HOME=/usr/local/jdk
    PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib
    export JAVA_HOME PATH CLASSPATH

source !$
    
    java -version
    
    ln -s /usr/local/jdk/bin/java /usr/local/bin/java

--------------------

### 数据库部署 ###

Apollo服务端共需要两个数据库：`ApolloPortalDB`和`ApolloConfigDB`，只需要导入数据库即可。

192.168.30.131

*  安装mysql：

cd /software
    
    vim mysql_install.sh

#!/bin/bash
    #用于安装mysql
    
    MYSQL_VER=mysql-5.7.31
    PASSWORD=123456789
    
    [ ! -d /software/ ] && mkdir /software
    
    #安装依赖包
    install_package() { 
        cd /software
        yum install -y curl libaio-devel &>/dev/null
    }
    
    #安装mysql
    install_mysql() { 
        #创建mysql用户
        id mysql &> /dev/null
        [ $? -ne 0 ] && useradd -r -s /sbin/nologin mysql
    
        #下载mysql
        if [ ! -f $MYSQL_VER.tar.gz ] && [ ! -f $MYSQL_VER-*.tar.gz ]
        then
            curl -o $MYSQL_VER.tar.gz https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/MySQL-5.7/$MYSQL_VER-linux-glibc2.12-x86_64.tar.gz
        fi
        
        #解压
        if [ -f $MYSQL_VER.tar.gz ]
        then
            tar xf $MYSQL_VER.tar.gz
            [ ! -d  /home/mysql/ ] && mv $MYSQL_VER-*/ /home/mysql
        fi
        
        #创建mysql数据存放及安装目录
        [ ! -d  /home/mysql/data ] && mkdir /home/mysql/data
        [ ! -d /home/mysql/tmp/ ] && mkdir /home/mysql/tmp
        [ ! -f /home/mysql/log/error.log ] && mkdir /home/mysql/log && touch /home/mysql/log/error.log
        chown -R mysql:mysql  /home/mysql/
        
        #初始化
    	cd /home/mysql
    	
        if [ $? -eq 0 ]
        then
            echo -e "\033[34m数据库开始初始化\033[0m"
            ./bin/mysqld --initialize-insecure --user=mysql --basedir=/home/mysql --datadir=/home/mysql/data
            
    	    if [ $? -eq 0 ]
            then
                echo -e "\033[36m数据库初始化成功\033[0m"
            else
                echo -e "\033[31m初始化失败，请检查\033[0m"
                exit 1
            fi
        fi
        
        #配置mysql
        cat > /etc/my.cnf << EOF [client] port = 3306 socket = /home/mysql/tmp/mysql.sock [mysql] default-character-set=utf8 [mysqld] default-storage-engine=INNODB character_set_server=utf8 explicit_defaults_for_timestamp basedir=/home/mysql datadir=/home/mysql/data socket=/home/mysql/tmp/mysql.sock log_error = /home/mysql/log/error.log sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION EOF
    
        #6、配置环境变量
        n=`grep "/home/mysql/bin" /etc/profile |wc -l`
    	
        if [ $n -eq 0 ]
        then
            echo "export PATH=$PATH:/home/mysql/bin" >> /etc/profile && source /etc/profile
        else 
            source /etc/profile
        fi
    
        #配置服务
        cat > /usr/lib/systemd/system/mysqld.service << EOF [Unit] Description=MySQL Server After=network.target After=syslog.target [Install] WantedBy=multi-user.target [Service] User=mysql Group=mysql ExecStart=/home/mysql/bin/mysqld --defaults-file=/etc/my.cnf #连接数限制 LimitNOFILE=65535 LimitNPROC=65535 #Restart配置可以在进程被kill掉之后，让systemctl产生新的进程，避免服务挂掉 #Restart=always PrivateTmp=false EOF
    
        systemctl daemon-reload && systemctl enable mysqld && systemctl start mysqld
        
        if [ $? -eq 0 ]
        then
            echo -e "\033[36mmysql安装成功并启动\033[0m"
        fi
        
        #修改数据库密码
        /home/mysql/bin/mysql -uroot -D mysql -e "UPDATE user SET authentication_string=PASSWORD("$PASSWORD") WHERE user='root';"
        /home/mysql/bin/mysql -uroot -e "FLUSH PRIVILEGES;"
        /home/mysql/bin/mysql -uroot -p$PASSWORD -e "grant all privileges on *.* to root@'%' identified by '$PASSWORD';"
    
        if [ $? -eq 0 ]
        then
            echo -e "\033[36m数据库密码修改为$PASSWORD成功\033[0m"
        else
            echo -e "\033[31m数据库密码修改为$PASSWORD失败，为空\033[0m"
        fi
    }
    
    install_package
    install_mysql
    echo -e "\033[36mmysql安装完毕\033[0m"

sh mysql_install.sh
    
    source /etc/profile
    
    mysql -uroot -D mysql -e "UPDATE user SET authentication_string=PASSWORD("123456789") WHERE user='root';"
    
    mysql -uroot -e "FLUSH PRIVILEGES;"
    
    mysql -uroot -p123456789 -e "grant all privileges on *.* to root@'%' identified by '123456789';"

*  创建ApolloPortalDB：

cd /software
    
    git clone https://github.com/ctripcorp/apollo.git
    
    mysql -uroot -p123456789 < apollo/scripts/sql/apolloportaldb.sql
    
    mysql -uroot -p123456789

select `Id`, `Key`, `Value`, `Comment` from `ApolloPortalDB`.`ServerConfig` limit 1;
    
    +----+--------------------+-------+--------------------------+
    | Id | Key                | Value | Comment                  |
    +----+--------------------+-------+--------------------------+
    |  1 | apollo.portal.envs | dev   | 可支持的环境列表         |
    +----+--------------------+-------+--------------------------+
    1 row in set (0.00 sec)

*  创建ApolloConfigDB：

mysql -uroot -p123456789 < apollo/scripts/sql/apolloconfigdb.sql
    
    mysql -uroot -p123456789

select `Id`, `Key`, `Value`, `Comment` from `ApolloConfigDB`.`ServerConfig` limit 1;
    
    +----+--------------------+-------------------------------+------------------------------------------------------+
    | Id | Key                | Value                         | Comment                                              |
    +----+--------------------+-------------------------------+------------------------------------------------------+
    |  1 | eureka.service.url | http://localhost:8080/eureka/ | Eureka服务Url，多个service以英文逗号分隔 |
    +----+--------------------+-------------------------------+------------------------------------------------------+
    1 row in set (0.00 sec)

--------------------

### 部署 ###

*  192.168.30.129：

cd /software
    
    wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-configservice-1.7.1-github.zip
    
    unzip -qd apollo-configservice apollo-configservice-1.7.1-github.zip
    
    vim apollo-configservice/config/application-github.properties

# DataSource
    spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloConfigDB?characterEncoding=utf8
    spring.datasource.username = root
    spring.datasource.password = 123456789

vim apollo-portal/scripts/startup.sh                #取消注释

export JAVA_OPTS="-Xms6144m -Xmx6144m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=4096m -XX:MaxNewSize=4096m -XX:SurvivorRatio=8"

./apollo-configservice/scripts/startup.sh

*  192.168.30.130：

cd /software
    
    wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-adminservice-1.7.1-github.zip
    
    unzip -qd apollo-adminservice apollo-adminservice-1.7.1-github.zip
    
    vim apollo-adminservice/config/application-github.properties

# DataSource
    spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloConfigDB?characterEncoding=utf8
    spring.datasource.username = root
    spring.datasource.password = 123456789

vim apollo-adminservice/scripts/startup.sh              #取消注释

export JAVA_OPTS="-Xms2560m -Xmx2560m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=1536m -XX:MaxNewSize=1536m -XX:SurvivorRatio=8"

./apollo-adminservice/scripts/startup.sh

*  192.168.30.131：

cd /software
    
    wget https://github.com/ctripcorp/apollo/releases/download/v1.7.1/apollo-portal-1.7.1-github.zip
    
    unzip -qd apollo-portal apollo-portal-1.7.1-github.zip
    
    vim apollo-portal/config/application-github.properties

# DataSource
    spring.datasource.url = jdbc:mysql://192.168.30.131:3306/ApolloPortalDB?characterEncoding=utf8
    spring.datasource.username = root
    spring.datasource.password = 123456789

vim apollo-portal/scripts/startup.sh                #取消注释

export JAVA_OPTS="-Xms2560m -Xmx2560m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=384m -XX:NewSize=1536m -XX:MaxNewSize=1536m -XX:SurvivorRatio=8"

./apollo-portal/scripts/startup.sh

> 1.  如果需要修改JVM参数，可以修改 `scripts/startup.sh` 的 `JAVA_OPTS` 部分
> 2.  如要调整服务的日志输出路径，可以修改 `scripts/startup.sh` 和 各自配置文件中的 `LOG_DIR`
> 3.  如要调整服务的监听端口，可以修改 `scripts/startup.sh`中的 `SERVER_PORT`

*  访问ui：

打开`192.168.30.131:8070`，账号/密码：`apollo`/`admin`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center 2]

至此，Apollo部署完成。这里仅部署一个环境，实际情况下可能需要部署3 ~ 4个环境：DEV（开发）、FAT（测试）、UAT（集成）、PRO（生产）。

具体用法参考：[官方github][github]

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ca2ab8419de945a8910a78cf732ef656.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1c930dbd0eec4c60841d15372146eba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/9b9724804cb64eb0bc3b09237dfdf9d5.png
[github]: https://github.com/ctripcorp/apollo