Jenkins + Ansible + Gitlab（三）

╰半夏微凉° 2023-06-07 08:11 5阅读 0赞

版本控制系统    Gitlab Github
    
    持续集成工具    Jenkins
    
    部署工具    Ansible Saltstack Chef

本文通过`Jenkins + Ansible + Gitlab`实现自动化部署。

--------------------

### Jenkins介绍 ###

Jenkins是一个开源可扩展的，持续集成、交付、部署（软件/代码的编译、打包、部署）工具，由Java开发，它提供了软件开发的持续集成服务，支持主流软件配置管理、配合实现软件配置管理及持续集成功能。

*  jenkins的优势：

1. 主流的运维开发平台，兼容所有主流开发环境
    
    2. 插件市场可与海量业内主流开发工具实现集成
    
    3. Job为配置单位与日志管理，使运维与开发人员协同工作
    
    4. 权限管理划分不同的Job不同角色
    
    5. 强大的负载均衡功能，保障项目的可靠性

--------------------

### 环境准备 ###

3台机器需要做环境准备。

*  角色划分：

Jenkins + Ansible   192.168.30.128
    
    test host   192.168.30.129
    
    gitlab  192.168.30.130

*  关闭防火墙和selinux：

# systemctl stop firewalld && systemctl disable firewalld
    
    # setenforce 0 && sed -i 's/=enforcing/=disabled/g' /etc/selinux/config

*  添加本地dns：

# vim /etc/hosts
    
    192.168.30.128 jenkins.lzxlinux.com
    192.168.30.129 test.lzxlinux.com
    192.168.30.130 gitlab.lzxlinux.com

在Windows电脑hosts文件中添加本地dns：

192.168.30.128 jenkins.lzxlinux.com
    192.168.30.129 test.lzxlinux.com
    192.168.30.130 gitlab.lzxlinux.com

--------------------

### Jenkins安装配置 ###

*  添加yum仓库源：

# wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
    
    # cat /etc/yum.repos.d/jenkins.repo
    
    [jenkins]
    name=Jenkins
    baseurl=http://pkg.jenkins.io/redhat
    gpgcheck=1				#为1时会检测key
    
    # rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key

*  安装java（java版本在8.0及以上）:

# yum install -y java
    
    # java -version
    
    openjdk version "1.8.0_222"
    OpenJDK Runtime Environment (build 1.8.0_222-b10)
    OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)

*  安装jenkins：

# yum install -y jenkins

*  创建jenkins系统用户：

# useradd deploy

*  更改jenkins启动用户与端口：

# vim /etc/sysconfig/jenkins
    
    JENKINS_USER="deploy"               #保证jenkins启动用户与ansible部署用户一致
    JENKINS_PORT="8080"
    
    # chown -R deploy:deploy /var/lib/jenkins
    
    # chown -R deploy:deploy /var/log/jenkins
    
    # chown -R deploy:deploy /var/cache/jenkins

*  启动jenkins并开机启动：

# systemctl start jenkins && systemctl enable jenkins
    
    # netstat -lntp |grep 8080
    tcp6       0      0 :::8080                 :::*                    LISTEN      1441/java

打开网页，访问`jenkins.lzxlinux.com:8080`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70]

查看`/var/lib/jenkins/secrets/initialAdminPassword`，复制密码登录。

选择`安装推荐的插件`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 1]

创建admin用户，自定义密码

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 2]

url保持默认，进入jenkins页面。

--------------------

### Jenkins Job介绍 ###

jenkins的每个job代表一个任务或项目，它是可配置与可执行的。执行job后的记录称之为build（构建）。

jenkins job分为两种：`freestyle job`与`pipeline job`。

*  两者区别：

freestyle job：
        1. 需在页面添加模块配置项与参数完成配置
        2. 每个job仅能实现一个开放功能
        3. 无法将配置代码化，不利于job配置迁移与版本控制
        4. 逻辑相对简单，无需额外学习成本
    
    pipeline job：
        1. 所有模块、参数配置都可以体现为一个pipeline脚本
        2. 可定义多个stage构建一个管道工作集
        3. 所有配置代码化，方便job配置迁移与版本控制
        4. 需要pipeline脚本语法基础

*  jenkins环境准备：

1.  配置jenkins server本地gitlab dns

# echo '192.168.30.130 gitlab.lzxlinux.com' >> /etc/hosts

1.  jenkins server安装git client、curl工具依赖

# yum install -y git curl

1.  jenkins server关闭系统git http.sslVerify安全认证

# git config --system http.sslVerify false

1.  添加jenkins后台git client user与email

`系统管理` → `系统设置` → `Git plugin`，填入user与email

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 3]

1.  添加jenkins后台git credential凭据

`凭据` → `全局` → `添加凭据`，类型为`Username with password`， 范围为全局

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 4]

--------------------

### Freestyle Job配置与构建 ###

*  配置freestyle job：

点击`新建任务`，任务名称输入`test-freestyle-job`，选择`自由风格的软件项目`。

添加描述信息：`This is my first test freestyle job`，勾选`参数化构建过程`，添加`选项参数`和`文本参数`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 5]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 6]

接着`源码管理`，勾选`Git`，写入之前gitlab的test-repo这个项目地址，然后选择前面添加的git凭据

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 7]

接着`构建` → `增加构建步骤` → `执行 shell`，写入下面内容

#!/bin/bash
    
    export PATH="/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin"
    
    # Print env variable
    echo "[INFO] Print env variable"
    echo "Current deployment environment is $deploy_env" >> test.properties
    echo "The build is $version" >> test.properties
    echo "[INFO] Done..."
    
    # Check test properties
    echo "[INFO] Check test properties"
    if [ -s test.properties ]
    then
        cat test.properties
        echo "[INFO] Done..."
    else
        echo "test.properties is empty"
    fi
    
    echo "[INFO] Build finished..."

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 8]

点击`应用`，再点击`保存`。

*  构建freestyle job：

点击`Build with Parameters`，选择对应的`选项参数`，选择好后点击`开始构建`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 9]

等待构建完成，查看控制台输出

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 10]

可以看到，构建的工作区路径为`/var/lib/jenkins/workspace/test-freestyle-job`，该job的配置文件都会保存在该路径中。

git部分相当于对gitlab的test-repo项目仓库做了`git clone`操作，接着执行了定义的shell脚本，最终的构建结果是SUCCESS。

--------------------

### Pipeline Job构建与配置 ###

*  pipeline基础架构：

1. 所有代码包裹在pipeline{}层内
    
    2. stages{}层用来包含该pipeline所有stage{}子层
    
    3. stage{}层用来包含具体需要编写任务的steps{}子层
    
    4. steps{}层用来添加具体需要调用的模块语句

agent区域
        agent定义pipeline在哪里运行，可以使用any、none或具体的jenkins node主机名
        
    environment区域
        "变量名称=变量值"，定义环境变量。可在pipeline{}层定义全局环境变量，应用于所有stages任务
        
    steps区域
        echo模块：打印输出
        sh模块：调用linux系统shell命令
        git url：调用git模块进行git相关操作
        
    script区域(可选)
        该区域定义在steps{}层内，可编写groovy脚本语言，用来进行脚本逻辑运算

*  配置pipeline job：

点击`新建任务`，任务名称输入`test-pipeline-job`，选择`流水线`。

添加描述信息：`This is my first test pipeline job`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 11]

接着定义`Pipeline script`，写入下面内容

#!groovy
    
    pipeline { 
        agent { node { label 'master'}}
        
        environment { 
            PATH="/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin"
        }
        
        parameters { 
            choice (
                choices: 'dev\nprod',
                description: 'choose deploy environment',
                name: 'deploy_env'
            )
            string (
                name: 'version', 
                defaultValue: '1.0.0', 
                description: 'build version'
            )
        }
        
        stages { 
            stage("Checkout test repo") { 
                steps { 
                    sh 'git config --global http.sslVertify false'
                    dir ("${env.WORKSPACE}") { 
                        git branch: 'master', credentialsId: "00ee2c7c-c475-440c-a88f-dd6c9a49f669", url: 'https://root@gitlab.lzxlinux.com/root/test-repo.git'
                    }
                }
            }
            stage("Print env variable") { 
                steps { 
                    dir ("${env.WORKSPACE}") { 
                        sh """ echo "[INFO] Print env variable" echo "Current deployment environment is $deploy_env" >> test.properties echo "The build is $version" >> test.properties echo "[INFO] Done..." """
                    }
                }
            }
            stage("Check test properties") { 
                steps { 
                    dir ("${env.WORKSPACE}") { 
                        sh """ echo "[INFO] Check test properties" if [ -s test.properties ] then cat test.properties echo "[INFO] Done..." else echo "test.properties is empty" fi echo "[INFO] Build finished..." """
                    }
                }
            }
        }
    }

上面的credentialsId即`00ee2c7c-c475-440c-a88f-dd6c9a49f669`，是复制凭据页面创建该凭据（gitlab管理员全局凭据）时自动生成的凭据id。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 12]

点击`应用`，再点击`保存`。

*  构建pipeline job：

点击`立即构建`，等待构建完成，会发现构建失败，原因是第一次构建时`选项参数`没有引入到当前的pipeline job中。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 13]

点击`test-pipeline-job`回到该项目中，会发现`立即构建`变成了`Build with Parameters`，选择对应的`选项参数`，选择好后点击`开始构建`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 14]

第二次构建则成功了，查看控制台输出

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 15]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 16]

通过前面两次构建，对比freestyle job和pipeline job，可以看到，pipeline job将所有配置代码化，方便job配置迁移与版本控制，pipeline job更具有优势。

--------------------

### Jenkins Maven集成 ###

*  jenkins server安装maven：

# cd /software
    
    # wget https://www-eu.apache.org/dist/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz
    
    # tar zxf apache-maven-3.6.2-bin.tar.gz
    
    # mv apache-maven-3.6.2 /usr/local/maven
    
    # echo 'PATH=$PATH:/usr/local/maven/bin' >> /etc/profile
    
    # source /etc/profile
    
    # mvn --version
    
    Apache Maven 3.6.2 (40f52333136460af0dc0d7232c0dc0bcf0d9e117; 2019-08-27T23:06:16+08:00)
    Maven home: /usr/local/maven
    Java version: 1.8.0_222, vendor: Oracle Corporation, runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-1.el7_7.x86_64/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "linux", version: "3.10.0-1062.1.1.el7.x86_64", arch: "amd64", family: "unix"

*  jenkins配置`JAVA_HOME`及`MAVEN_HOME`：

`系统管理` → `全局工具配置` → `新增JDK`，填入内容

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 17]

接着`新增Maven`，填入内容

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 18]

点击`应用`，再点击`保存`。

后续在打包时，`构建`这一步选择`调用顶层 Maven 目标`，版本选择`maven3.6.2`，目标填入`package`即可。

--------------------

### Jenkins Ansible集成 ###

*  编辑ansible主机清单：

# su - deploy
    
    $ vim testservers
    
    [testserver]
    test.lzxlinux.com ansible_user=root

*  配置ansible-freestyle-job：

点击`新建任务`，任务名称输入`test-freestyle-job`，选择`自由风格的软件项目`。

添加描述信息：`This is my first ansible job`，接着`构建` → `增加构建步骤` → `执行 shell`，写入下面内容

#!/bin/bash
    
    set +x              #关闭命令行扩展环境功能
    
    source /home/deploy/.py3-a2.8-env/bin/
    source /home/deploy/.py3-a2.8-env/ansible/hacking/env-setup -q
    
    cd /home/deploy
    ansible --version
    
    ansible-playbook --version
    cat testservers
    ansible -i testservers testserver -m command -a "ip addr"
    
    set -x

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 19]

点击`应用`，再点击`保存`。

*  构建ansible-freestyle-job：

点击`立即构建`，查看控制台输出

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 20]

可以看到，shell脚本中执行的命令在控制台中输出。

--------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70]: /images/20230601/47eaaefd73764b12b24b1b7f65e3c14e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 1]: /images/20230601/3d77c780ea734da188c9833c9b98e98e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 2]: /images/20230601/4e52946c8fc94a2db69a52cad560fa13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 3]: /images/20230601/e36e373f2804419eaeed20999fb3d6d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 4]: /images/20230601/f9aae2d72f09434ab1cc65d52e36fbad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 5]: /images/20230601/1fcedef417174e4f9d9e1f080ae1303f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 6]: /images/20230601/1e83afce445e4e709be1629693bafb68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 7]: /images/20230601/b3a851c55d7849cd96cff370f28762cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 8]: /images/20230601/cfa84c79504744f6b7281af3c9a7f1dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 9]: /images/20230601/32c3a4f0270543c6aa74c8582868a816.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 10]: /images/20230601/c5548f6115a446e48bf9581d55fd5cfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 11]: /images/20230601/bd3991bf2bc3443c8b43a97a60781fa6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 12]: /images/20230601/9a880b94c492467ebf693dcdd2ac87e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 13]: /images/20230601/94712fa2430a4190a7c011df8de12dd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 14]: /images/20230601/bcbb750098f54f16ac62efe726921fdb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 15]: /images/20230601/e33e8bef87574b0d999f72a5a36c1eab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 16]: /images/20230601/872af4dd05ce4433a7954cf18fb0937b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 17]: /images/20230601/5fc2e12622844454a9bf7631f2f8f86a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 18]: /images/20230601/9e203024105447948583bb442acc0bb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 19]: /images/20230601/aa5bddc0768e415a8237a94e9f6373cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21pc3MxMTgxMjQ4OTgz_size_16_color_FFFFFF_t_70 20]: /images/20230601/35606021792143fdaeb8a818c27cae80.png