K8S CICD工具：搭建DHorse服务及DHorse部署单体项目

爱被打了一巴掌 2024-02-18 09:13 68阅读 0赞

## DHorse云原生系统 ##

### 一、**DHorse介绍** ###

#### 1.1 前置知识 ####

首先你必须熟练的操作Linux命令。

其次熟练的掌握Docker的操作。

需要具备Kubernetes的基本操作。

其次如果可以掌握这些，你学DHorse会更舒服：

*  Jenkins……
 *  其次掌握整体CI、CD的概念……

其他的Java知识，SpringBoot，Git的基本操作这些就不说了……

#### 1.2 DHorse介绍 ####

DHorse其实就是一个CI、CD的工具，和Jenkins以及Kubersphere都是一样的工具。

只不过DHorse相对另外两个工具来说，操作更简单，配置也没什么太繁琐的内容。但是DHorse还持续不断的更新，现在的功能或许没有那么的鉴权。不过DHorse是基于Java实现的，现在大多数的云原生工具都是基于Go去玩的，Java实现的不多。

![4fabcc648122ae2b2b6964e4d6386378.jpeg][]![image.png][]

这个是DHorse的架构图。

整体流程就是，咱们写完代码之后，发布到Git远程仓库，之后可以在DHorse系统的图形化界面中，点击构建项目就会触发上述的核心流程

*  DHorse会从Git远程仓库拉取代码到DHorse系统内部
 *  DHorse内部会基于Docker构建镜像，并且将镜像上传到Harbor的Docker镜像仓库
 *  Kubernetes会从Harbor上拉取镜像，并且在Kubernetes中部署运行。

![4fabcc648122ae2b2b6964e4d6386378.jpeg][]其实这个流程就是一个简易的DevOps过程

![image.png][image.png 1]

上面这个图，是Jenkins实现DevOps的涉及到的一些过程。

*  PLAN：指定好计划。
 *  CODE：编写代码，并且上传到Git仓库。
 *  BUILD：拉取Git仓库代码，并且构建项目。
 *  TEST：在构建过程，或者在构建后，可以做测试。
 *  DEPLOY：将构建后的项目制作成镜像，上传到镜像仓库
 *  OPERATE：将镜像拉取到Kubernetes内部部署启动。
 *  MONITOR：监控项目。

### 二、**DHorse环境准备** ###

搭建DHorse需要差不多5台虚拟机：

*  Kubernetes集群需要三台（2C4G）
 *  DHorse + Harbor（1C4G）
 *  Gitlab（1C4G）

这5台虚拟机还需要固定好IP地址，不然IP发生变化，需要修改的内容就太多了。

实现搭建一台最小安装的Centos7.8的虚拟机，并且基于NAT模式固定IP地址。

你需要安装好一个VMware，注册码直接百度搜索就有。

![image.png][image.png 2]

你还需要一个Centos7.8的镜像，来这个位置下载：https://vault.centos.org/

也可以直接点击这个路径：https://vault.centos.org/7.8.2003/isos/x86\_64/CentOS-7-x86\_64-Minimal-2003.iso

![image.png][image.png 3]

着手开始准备搭建虚拟机。

**为了固定在VMware中的NAT模式的IP地址，需要设置好网卡信息。**

1、设置好VMware的虚拟网卡，将NAT模式的DHCP分配IP方式去掉，换成手动指定IP。

2、设置好自己的子网段，同时将NAT设置里而定网关的子网段也分配好

![image.png][image.png 4]

![image.png][image.png 5]

**确认Windows可以连接上VMnet8网卡，手动指定好IP和默认网关**

![image.png][image.png 6]![image.png][image.png 7]

开始安装Linux在VMware上。

![image.png][image.png 8]![image.png][image.png 9]![image.png][image.png 10]![image.png][image.png 11]![image.png][image.png 12]![image.png][image.png 13]![image.png][image.png 14]![image.png][image.png 15]

![image.png][image.png 16]![image.png][image.png 17]

安装好之后，后面的4台虚拟机，可以基于当前这台做克隆。但是完整克隆之后，IP地址是一模一样的，需要在Linux内部去修改IP地址，如何修改。

直接修改

vi /etc/sysconfig/network-script/ifcfg-ens33

![image.png][image.png 18]

可以查看到网卡信息![image.png][image.png 19]

需要的话，直接修改IPADDR里面的最后的地址，保存当前文件。

记得需要重新启动network才会生效

systemctl restart network

![image.png][image.png 20]

根据这个方式，准备5台虚拟机

*  DHorse + Harbor：192.168.11.20
 *  k8s-master：192.168.11.21
 *  k8s-worker：192.168.11.22
 *  k8s-kubespray：192.168.11.23
 *  gitlab：192.168.11.24

### 三、**搭建DHorse服务** ###

DHorse的启动并不是说强行的依赖于Kubernetes，和Harbor以及Gitlab。DHorse本质就是一个Java的Web项目，只不过内部维护好了一整套部署的流程。在部署的时候，才需要上述的三个环境。

但是DHorse是Java的Web项目，启动时，需要依赖JAVA\_HOME的环境变量。

#### 2.1 安装Java环境 ####

第一步，下载jdk的.tar.gz的压缩包，扔到Linux环境中

第二步，将压缩包解压到/usr/local目录下

tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local

第三步，跳转到/usr/local下，将jdk目录名修改一波

cd /usr/local
    mv jdk1.8.0_231/ jdk/

第四步，配置环境变量，修改系统级别的环境变量文件

vi /etc/profile
    # 追加上如下内容
    export JAVA_HOME=/usr/local/jdk
    export PATH=$JAVA_HOME/bin:$PATH
    #==========================================
    配置完成后，保存，重新加载/etc/profile
    source /etc/profile

![image.png][image.png 21]

#### 2.2 搭建DHorse ####

直接调到DHorse的地址，无论是Gitee还是GitHub。

https://gitee.com/i512team/dhorse

直接找到DHorse准备好的安装包下载即可

![image.png][image.png 22]

将下载好的压缩包拖拽到安装好Java环境的Linux中。

正常解压压缩包即可

tar -zxvf dhorse-v1.2.0-jdk1.8-bin-unix.tar.gz

直接去bin目录下启动服务，发现报错

![image.png][image.png 23]

这里的错误是说没有netstat的命令，直接通过yum的方式安装即可

yum -y install net-tools

![image.png][image.png 24]

安装成功后，再次启动DHorse![image.png][image.png 25]

查看日志，发现启动成功，But页面无法访问![image.png][image.png 26]

防火墙还没有关闭，需要关闭防火墙，再次访问。

systemctl start firewalld
    systemctl stop firewalld
    systemctl disable firewalld

直接再次访问8100端口

![image.png][image.png 27]

默认的用户名和密码是admin，直接登录即可

![image.png][image.png 28]

#### 2.3 DHorse的演示 ####

可以看到在DHorse可以去配置Git仓库地址，同时指定给项目打包的Maven信息，同时再指定好Harbor这种镜像仓库的地址，同时还要去准备Kubernetes集群的地址信息。

上述信息全部指定好之后，就可以针对具体的服务设置应用信息，指定好信息后，就可以在发布管理中看到具体的信息，可以选择不同的方式进行发布。

后面的发布，不需要关注Kubernetes等组建的底层，直接傻瓜式的点击按钮即可。

### 四、**搭建Kubernetes集群** ###

#### 4.1 搭建Kubernetes集群 ####

参照kubespray部署k8s 1.26集群.pdf安装Kubernetes集群。

#### 4.2 DHorse配置上Kubernetes集群地址 ####

生成Kubernetes集群的令牌信息

# 第一个
    kubectl create serviceaccount dhorse-admin -n kube-system
    # 第二个
    kubectl create clusterrolebinding dhorse-cluster-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dhorse-admin
    # 第三个
    kubectl create token dhorse-admin -n kube-system --duration 867240h

拿到令牌

eyJhbGciOiJSUzI1NiIsImtpZCI6ImxweWMtWklheHoyV0JzOHZKYjQ4eXlrbXY5R0NyWEZDaTB2endtVjRZaU0ifQ.eyJhdWQiOlsiaHR0cHM6Ly9rdWJlcm5ldGVzLmRlZmF1bHQuc3ZjLmNsdXN0ZXIubG9jYWwiXSwiZXhwIjo0ODEyNDU0NDM1LCJpYXQiOjE2OTAzOTA0MzUsImlzcyI6Imh0dHBzOi8va3ViZXJuZXRlcy5kZWZhdWx0LnN2Yy5jbHVzdGVyLmxvY2FsIiwia3ViZXJuZXRlcy5pbyI6eyJuYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsInNlcnZpY2VhY2NvdW50Ijp7Im5hbWUiOiJkaG9yc2UtYWRtaW4iLCJ1aWQiOiJmNWY5NmUyOC1kMDI2LTQ2ZmUtYTlmZi0yMzI1N2Y2OWYyODIifX0sIm5iZiI6MTY5MDM5MDQzNSwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRob3JzZS1hZG1pbiJ9.C8jD3PDwRgdARNolOeh4jEmzcVl32FJV9Fr05sYf-Lgz6NdR0_W5zTtUCJRBwISt-LvOIznIPW3277qtzXrr-hX1HpN5RZwl5oBBh0Js1lp2HoECEJQCEr9HVIVDd--_Y2X99B0E4ouLcGrVqwMXf-Z7ndqUyfAmegqi0aGvuX3n1gAC5YGk82Tr37VFlKqun_2fmlPni2IGPRhxIomrIbwpws-78YnOavfUfvCZQT2VFZnMV16KRX8PJkplgEwL2t0hVDpNy1cdQWqnLDYY0OyJq5KOT3LA2DbMoRZZr--YfWTOh6F51lwy8RMit4cHcHswtrey0DffHUjjrM5q7w

在咱们的DHorse中，指定好集群管理中的Kubernetes信息维护，这样后期部署项目时，就会采用这个Kubernetes作为部署的服务

![image.png][image.png 29]

### 五、**搭建Harbor服务** ###

#### 5.1 安装Harbor（上） ####

搭建Harbor直接去Github的地址中搜索harbor就可以，跳转到这个地址

https://github.com/goharbor/harbor

在tag里面找到一个offline的版本，安装时，不通过网络的形式安装，更舒服

https://github.com/goharbor/harbor/releases/download/v2.4.3/harbor-offline-installer-v2.4.3.tgz

下载好之后，将tgz文件扔到Linux操作系统中

解压压缩包

tar -zxvf harbor-offline-installer-v2.4.3.tgz -C /usr/local

跳转到harbor的HOME目录下，执行install的脚本

cd /usr/local/harbor
    ./install.sh

执行之后，报了错误，说需要docke的环境

![image.png][image.png 30]

#### 5.2 Docker环境安装 ####

*  下载Docker依赖的组件

yum -y install yum-utils device-mapper-persistent-data lvm2

*  设置下载Docker服务的镜像源，设置为阿里云

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

*  安装Docker服务

yum -y install docker-ce

*  安装成功后，需要启动docker服务，并且设置docker是开机自启项

# 启动docker服务
    systemctl start docker
    # 设置开机自动启动docker
    systemctl enable docker

*  测试安装结果

docker version

--------------------

Docker-Compose安装

*  下载Docker-Compose：https://github.com/docker/compose/releases/tag/v2.10.0
 *  下载的是：![image.png][image.png 31]
 *  下载完毕后，将脚本直接拖拽到Linux操作系统中（我的图形化界面是 **Moba-Xterm** 的软件）  
    下载地址：https://mobaxterm.mobatek.net/download.html
 *  先赋予docker-compose文件一个可执行的权限
    
        chmod a+x docker-compose-linux-x86_64
 *  将拥有可执行权限的docker-compose文件移动到系统默认的环境变量的PATH目录中
    
        mv docker-compose-linux-x86_64 /usr/bin/docker-compose
 *  测试一下功能
    
        docker-compose version

#### 5.3 安装Harbor（下） ####

再次执行harbor目录下的install.sh

./install.sh

安装过程中，需要下载一些镜像信息，需要稍等一会。

经过大量下载，最后抛出一个错误![image.png][image.png 32]

发现需要配置harbor的yml文件，直接将准备的模板，复制一份

![image.png][image.png 33]

复制之后，稍微修改一下内部的配置，将hostname和密码重置一下

同时将https的配置全部注释掉。

![image.png][image.png 34]

再次执行install脚本

![image.png][image.png 35]访问一下harbor的仓库，端口是80端口，默认用户名和密码是80

![image.png][image.png 36]

#### 5.4 DHorse配置Harbor ####

在DHorse的公共配置里，将镜像仓库指定为Harbor使用

![image.png][image.png 37]

### 六、GitLab的选择 ###

因为DHorse不支持Gitee还有Github这种平台，一般两种选择：

*  自己搭建GitLab，但是GitLab镜像都不怎么靠谱，而且一个GitLab，需要至少4G的运行内存。
 *  采用极狐提供的GitLab平台，DHorse支持极狐平台的GitLab。

在极狐的平台上注册一个账号，习惯一下极狐的操作。

后面在DHorse中直接基于极狐去拉取代码，实现DevOps的操作。

### 七、DHorse部署单体项目 ###

#### 7.1 本地搭建工程并测试运行没问题 ####

正常的构建SpringBoot工程，导入依赖，编写好启动类和Controller即可。

Ps：SpringBoot最好采用2.x版本。并且本地测试没问题。

#### 7.2 将代码推送带极狐仓库 ####

在本地IDEA中追加.gitignore文件，忽略到IDEA和Maven的信息。

在本地构建Git仓库，并将代码提交到本地仓库

在极狐GitLab平台上构建一个裸库。

将代码推送到极狐仓库中。

#### 7.3 完善DHorse的配置 ####

##### 7.3.1 配置极狐仓库地址 #####

![image.png][image.png 38]

##### 7.3.2 配置Maven的私服 #####

![image.png][image.png 39]

##### 7.3.3 构建应用 #####

![image.png][image.png 40]

![image.png][image.png 41]

我选择的基础镜像地址：daocloud.io/library/java:8-jre-alpine

应用添加完毕后，可以在发布管理中，找到当前应用，并且查看到对应的应用信息

![image.png][image.png 42]

标签管理，需要在极狐GitLab给对应的提交点打上标签，才可以看到。

![image.png][image.png 43]

![image.png][image.png 44]

#### 7.4 构建应用的版本（制作镜像） ####

直接在分支管理或者在标签管理中，点击构建版本，DHorse会做几个事情：

*  会将极狐GitLab上的代码拉取到本地
 *  项目是Maven，所以会给予Maven的命令打包
 *  将打包的jar包，基于指定的基础镜像，构建成一个全新的镜像
 *  将镜像推送到harbor仓库上。

日志信息，点击构建后，记得查看DHorse上的日志，有问题方便排查。

![image.png][image.png 45]

构建并且推送成功后，可以查看Harbor上的信息

![image.png][image.png 46]

#### 7.5 准备环境 ####

DHorse里在部署项目前，需要指定好在哪个环境下部署。

直接在环境管理中，构建好环境信息（构建测试环境）

![image.png][image.png 47]

![image.png][image.png 48]

#### 7.6 部署项目 ####

先查看Kubernetes上的环境信息

查看了Pod，Deploy，Service。发现只有最开始的测试Kubernetes环境的Nginx内容。

![image.png][image.png 49]

在DHorse上，点击对应的环境部署simple-dhorse

![image.png][image.png 50]

![image.png][image.png 51]

发现服务部署，一致在启动。直接去kubernetes中查看pod，发现日志信息是拉取镜像失败。

![image.png][image.png 52]

#### 7.7 开启Harbor的https ####

生成https的证书，这里我是编写的我的IP地址，如果你操作，记得更改为你的地址。

sudo openssl genrsa -out ca.key 4096
    
    sudo openssl req -x509 -new -nodes -sha512 -days 3650 \
     -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=192.168.11.20" \
     -key ca.key \
     -out ca.crt
    
    
     sudo openssl genrsa -out 192.168.11.20.key 4096
    
     openssl req -sha512 -new \
        -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=192.168.11.20" \
        -key 192.168.11.20.key \
        -out 192.168.11.20.csr
    
    cat > v3.ext <<-EOF
    authorityKeyIdentifier=keyid,issuer
    basicConstraints=CA:FALSE
    keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
    extendedKeyUsage = serverAuth
    subjectAltName = IP:192.168.11.20
    EOF
    
    openssl x509 -req -sha512 -days 3650 \
        -extfile v3.ext \
        -CA ca.crt -CAkey ca.key -CAcreateserial \
        -in 192.168.11.20.csr \
        -out 192.168.11.20.crt
    
    mkdir -p /data/cert
    
    cp 192.168.11.20.crt /data/cert/
    cp 192.168.11.20.key /data/cert/
    
    openssl x509 -inform PEM -in 192.168.11.20.crt -out 192.168.11.20.cert
    
    mkdir -p /etc/docker/certs.d/192.168.11.20/
    
    cp 192.168.11.20.cert /etc/docker/certs.d/192.168.11.20/
    cp 192.168.11.20.key /etc/docker/certs.d/192.168.11.20/
    cp ca.crt /etc/docker/certs.d/192.168.11.20/

上面的整数生成完毕后，将harbor.yml文件重新配置一下（记得要删除harbor整体目录，重新解压一份）

配置文件：![image.png][image.png 53]

Kubernetes莫名其妙的崩溃了。为了测试镜像是否ok，单独的手动将镜像拉取到本地，进行了一波run。再次发现问题，镜像无法运行

![image.png][image.png 54]

基于这个问题查看构建镜像的日志，发现项目是正常打包的。

在Linux的目录下，直接找到了打包好的jar文件，测试启动是完全没有问题的。

![image.png][image.png 55]

剩下需要排查的是这一个位置

![image.png][image.png 56]

确认一下构建镜像的过程是不是有坑，其次选择的基础镜像是否有问题。

#### 7.8 问题解决 ####

1、首先确认一个事情，Jar包是没有问题得，因为java -jar可以正常得启动。另外我也基于Dockerfile文件，自定义了一个镜像，发现也是ok得。

2、Harbor镜像也是ok得，最开始怀疑https得问题，后续测试发现Harbor也是ok得。

3、基础镜像得问题，之前用得alpine这种空间占用非常非常小得镜像， 但是对时区得把控不太好，不支持走RUN命令指定时区。而且DHorse源码中也聊到了关于alpine镜像得问题，所以关于基础镜像这一块，我更换了一个自定义得镜像。依赖了openjdk8得基础镜像，同时执行了源码中提供得指令。

RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

![image.png][image.png 57]

制作自定义镜像得方式，是声明了Dockerfile文件，输入下述内容

FROM openjdk:8u102-jre
    RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

在这个Dockerfile目录下执行指令

# 制作基础镜像，通过Dockerfile指定了时区
    docker build -t demo.goharbor.io/dhorse/jdk:8 .

需要将制作好得镜像仍到Harbor仓库中

docker login demo.goharbor.io -u admin -p Harbor12345

将镜像推送到公共得Harbor仓库

docker push demo.goharbor.io/dhorse/jdk:8

![image.png][image.png 58]

4、直接测试，测试之后发现了，制作好得镜像依然无法正常得通过docker run起来。

![image.png][image.png 59]

又认为，采用得极狐公共得Gitlab可能存在问题。所以我又去搭建了Gitlab。

直接采用Docker得方式搭建即可

version: '3.1'
    services:
      gitlab:
        image: gitlab/gitlab-ce:latest
        restart: always
        container_name: gitlab
        ports:
          - "80:80"
          - "443:443"
          - "2222:22"
        volumes:
          - ./config:/etc/gitlab
          - ./logs:/var/log/gitlab
          - ./data:/var/opt/gitlab

但是在日志中，没有找到超级管理员root用户得密码。需要进入到Gitlab容器中，执行指令，重置root用户密码

# 1、进入到gitlab容器
    docker exec -it gitlab bash
    # 2、进入到容器后，执行指令，会卡一会。
    gitlab-rails runner -e production
    # 3、卡一会之后，会又一个类似  字母0 > 这种命令框输入得形式
    # 之后就一行一行输入指令
    user = User.find_by_username('root');
    user.password = '你得密码';
    user.password_copnfirmation = '你得密码';
    user.save!
    quit

最后基于自己搭建的gitlab整体跑了一波。

发现，镜像依然无法直接通过 **docker 运行** 。

5、最后，尝试点击了一下部署，想通过K8s基于Containerd尝试运行一下这个镜像。成功的运行起来镜像了。

![image.png][image.png 60]

结论：DHorse内部是基于Jib构建的Docker镜像，但是其实Jib不依赖Docker环境。基于Jib制作的镜像对Docker的版本铁定有一些要求。之前测试的过程中，确实存在解决的时区问题。这里咱们主要掌握两个事情即可：

**将之前采用的apline镜像，替换为自己指定时区的镜像**

**当前的镜像没什么问题，主要是当前的Docker版本导致的无法正常的run，containerd是可以的。**

之前在单独玩的时候，没有这个问题。如果你前面跟着流程走，没问题，先不看这。如果出了问题，再看这会更好。

#### 7.9 重新部署单体项目 ####

之前的配置几乎没有变化。

不过再添加应用的时候，将之前采用的alpline镜像，替换为解决问题中制作的，具体时区的一个镜像。

再构建好镜像推送到harbor仓库后，直接点击构建，可以看到

![image.png][image.png 61]

同时K8s中的pod容器，也成功的运行起来了。

![image.png][image.png 62]

本地基于svc的ip访问

![image.png][image.png 63]

如果想通过浏览器或者是浏览器等访问，需要对外提供一个NodePort，或者是让运维人员调通k8s和外部的网络。直接基于NodePort对外提供访问端口

kubectl expose deploy deploy名称 --type NodePort --port=内部的端口

![image.png][image.png 64]

通过浏览器访问32080端口，即可

![image.png][image.png 65]

#### 7.10 基于标签构建并部署 ####

可以给Gitlab仓库中的提交点，打上标签，作为指定发行的版本，大好标签就可以再DHorse上找到

![image.png][image.png 66]

将v1.0.0以及v2.0.0的两个标签都构建好镜像。![image.png][image.png 67]

优先部署v.1.0.0。等到v1.0.0启动之后，访问对应的接口。可以访问。

再次部署v.2.0.0。会发现，等到2.0.0完全启动之后。v1.0.0的pod就变为Terminating。

在稍等一会，v1.0.0的pod就被干掉了。

![image.png][image.png 68]

### 八、部署微服务项目 ###

准备好Nacos，让两个服务之间可以调用即可。

直接准备了一个SpringCloud最最基本的调用的环境。

首先确认在本地可以跑通。

同时将代码扔到Git远程仓库中。

同时在Dhorse中，添加应用，添加两个，最终构建包的位置不一样。

打包没报错，但是在部署的时候，发现K8s启动说没有找到main方法。因为项目忘记加入插件了。

给pom.xml文件，加入插件，重新做打包和部署的两个操作。

最终访问client，调通server，拿到返回结果

![image.png][image.png 69]

[4fabcc648122ae2b2b6964e4d6386378.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/54fb60c27c8e43e28164b8979518c14b.png
[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/2e0d47df1ef8425d951e6c176f9efa06.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b702db03ba024f9abdd0c1aab2e0b5a0.png
[image.png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b404e5c54c1f40b7a241107ea08cd7af.png
[image.png 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/a64972aae8df4a6fa959e07bec647297.png
[image.png 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/62f061a581b341cc9a253b27f380ae81.png
[image.png 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/db099f65568e4f5aa8a3ccbabdfc489e.png
[image.png 6]: https://img-blog.csdnimg.cn/img_convert/fd942b4628f5eade0f20b41b295b45d3.png
[image.png 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/68ca635718c84d4ca3e56216003f1dd1.png
[image.png 8]: https://img-blog.csdnimg.cn/img_convert/94bcc0ae14d30e3d4dcd5002cfe5ce80.png
[image.png 9]: https://img-blog.csdnimg.cn/img_convert/c73817a2ca22be86d80f355fdf2e7bb0.png
[image.png 10]: https://img-blog.csdnimg.cn/img_convert/270c94794ec101c03d55a88b03f0bf75.png
[image.png 11]: https://img-blog.csdnimg.cn/img_convert/f3d1638a42ba51f1d31dacb155c025c0.png
[image.png 12]: https://img-blog.csdnimg.cn/img_convert/8f58a911140dd3892c96dc276f5e11aa.png
[image.png 13]: https://img-blog.csdnimg.cn/img_convert/1dd279120686c336c3ab88dcd7766527.png
[image.png 14]: https://img-blog.csdnimg.cn/img_convert/c256fc15617de792264ed434c3b58217.png
[image.png 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/144f21c823944d7d8316442ec57ecfb7.png
[image.png 16]: https://img-blog.csdnimg.cn/img_convert/4e76585b0146489691b255c35ce0a6dc.png
[image.png 17]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/20ae496cbe8a4f1a990530db95c7e490.png
[image.png 18]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/664ce5eca26e44d499c6ef85832d24e2.png
[image.png 19]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/11579a46723d48d3b923f8a04a53b314.png
[image.png 20]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/850f2daf73ce43df96327876fd7da08e.png
[image.png 21]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/caddb4403c8e46f19d296991319c6b37.png
[image.png 22]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/ab507d9ecf0b49ad86f6e3b2287858da.png
[image.png 23]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/70f764210e4d4b31af7b9bad3f2d5157.png
[image.png 24]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/7994c3e337ac45e891f1307b8af8e1ce.png
[image.png 25]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/2efc30977ba94385b45aecb89ee05601.png
[image.png 26]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/57935d8cc066496f81221de538518c7e.png
[image.png 27]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/89bb6d7b4e72431e80cc16ace556df2d.png
[image.png 28]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/09b419fdadb14e8f8fa42904b2b2a683.png
[image.png 29]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/23e1253e52f04b40b5f1da0156627ec3.png
[image.png 30]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/389261e425c544b8a54c519cdcba4ae0.png
[image.png 31]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/001af25722984d8fa4ac567e3b29db22.png
[image.png 32]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/7df29f5e59b8419a8c3ed35a93ebd1db.png
[image.png 33]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/80aa3b3ceea34d75a8b61b68115c826e.png
[image.png 34]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/5ac7dcf0535642939a7e38e9ae6e35b8.png
[image.png 35]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b2759dc2a52e4bde987ff40a9d465dcb.png
[image.png 36]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/ab52f459d78e4ec9b2b950fce29080ec.png
[image.png 37]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/4002b3040fa64c44834d9560a48f3dad.png
[image.png 38]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/cc7de498984f41d7804810b20190dc9d.png
[image.png 39]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/67fca6acd374468599f9bb8605907d53.png
[image.png 40]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/b5212cf0f0994072b67e54f33b1c2c15.png
[image.png 41]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/97bbf79e56334e719ad0058b7f94de2d.png
[image.png 42]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/9f4818235a994148a2905a016e587b3e.png
[image.png 43]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/5c1cff3b737c46a088f75563a156b459.png
[image.png 44]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/734ce504d3ee462ea294c9aa3e791f7e.png
[image.png 45]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/79db079f98d14fc29389bc57e89be478.png
[image.png 46]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/52e202c64dea4b58baf15a73dfdacace.png
[image.png 47]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/87db8c1d9b2d428aa8e2823755db850b.png
[image.png 48]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/4d921ccbd75e419096dacb345be90576.png
[image.png 49]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/e185ede81fac47bdb3cf952b69ecc149.png
[image.png 50]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/69f9ac3ecad24d5e9f242752bc024418.png
[image.png 51]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/e4fa17a9933d4714879292b765eef7c1.png
[image.png 52]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/c42c03fdaedc40919d73329311677b60.png
[image.png 53]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/ad3b5ef423674955b0203c2744da6e74.png
[image.png 54]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/7bf47d1ada0d4e079d50c82edd07765a.png
[image.png 55]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/fcde0fc498dc4742bafb236cea8e7a38.png
[image.png 56]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/05a2289043144da393bcd6e384c84d10.png
[image.png 57]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/ad5100e3744348658cb334d0d793435d.png
[image.png 58]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/81de97fad48c4a6fae66239ee2ecfc20.png
[image.png 59]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/719f878d0aea4863a94327bbc75c79d0.png
[image.png 60]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/0f313d5df8c14f9e8b6e3622966659c2.png
[image.png 61]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/923b0e432a2d46eebe2ec3a9376b5c25.png
[image.png 62]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/3a06c29f604148dc973a60644c5857f6.png
[image.png 63]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/4f67dfabaf2448e78a22c5b659bdd6be.png
[image.png 64]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/127953a5e60f449f861589bef3d794e9.png
[image.png 65]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/da015c1f34f5472d9df0bd5b37f69676.png
[image.png 66]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/82eb750fad3c411091ddff28cc35bc60.png
[image.png 67]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/35c5cb79c06145f5932d78874947901f.png
[image.png 68]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/8f1914ff0ff44880bdacfe8e5efa1ebb.png
[image.png 69]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/18/9dffd8e8a2a44780bc0ffe8bde0b66c1.png