k8s集群安装----（一）

﹏ヽ暗。殇╰゛Y 2024-04-07 13:05 69阅读 0赞

## **安装前提示，不要放C盘，不要放C盘，不要放C盘** ##

### 1 kubeadm ###

kubeadm是官⽅社区推出的⼀个⽤于快速部署kuberneters集群的⼯具。  
这个⼯具能通过两条指令完成⼀个kuberneters集群的部署  
创建⼀个master节点

$ kuberneters init

将⼀个node节点加⼊到当前集群中

$ kubeadm join <Master节点的IP和端⼝>

上述步骤会在接下来的节点安装好有步骤，可以先按照下面的步骤去部署好节点。

### 2 前置要求 ###

⼀台或多台机器，操作系统Centos7.x-86\_x64  
硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多  
集群中所有的机器之间⽹络互通  
可以访问外⽹，需要拉取镜像  
禁⽌Swap分区

### 3 部署步骤 ###

1.  在所有的节点上安装Docker和kubeadm
2.  部署Kubernetes Master
3.  部署容器⽹络插件
4.  部署Kubernetes Node，将节点加⼊Kubernetes集群中
5.  部署DashBoard web⻚⾯，可视化查看Kubernetes资源

![在这里插入图片描述][edb96b869378479a931a30cee05bf7b0.png]

### 4 环境准备 ###

#### 4.1 准备⼯作 ####

我们可以使⽤vagrant快速创建三个虚拟机。虚拟机启动前先设置virtualbox的主机⽹络。现在全部统⼀为192.168.56.1，以后所有虚拟机都是56.x的ip地址。  
![在这里插入图片描述][5de3fb18ee3d457ab19fd71d8a64a7e6.png]  
在全局设定中，找到⼀个空间⽐较⼤的磁盘⽤⽤来存放镜像。

![在这里插入图片描述][bc67d9eae6ec43c2b485f511eba9ae51.png]

#### 4.2 启动三个虚拟机 ####

使⽤我们提供的vagrant⽂件，复制到⾮中⽂⽆空格⽬录下，运⾏vagrant up启动三个虚拟机。其实vagrant完全可以⼀键部署全部K8s集群  
https://github.com/rootsongjc/kubernetes-vagrant-centos-cluster  
http://github.com/davidkbainbridge/k8s-playground

下⾯是vagrantfile，使⽤它来创建三个虚拟机，分别为k8s-node1，k8s-node2和k8s-node3.  
我们当初安装vagrant的目录下，把下面的配置文件放进去就会生成了三个节点。  
![在这里插入图片描述][e1004a2f0aab401d8a7c1fea8b86bbec.png]

Vagrant.configure("2") do |config|
     (1..3).each do |i|
     config.vm.define "node#{i}" do |node|
     # 设置虚拟机的Box
     node.vm.box = "centos/7"
     # 设置虚拟机的主机名
     node.vm.hostname="node#{i}"
     # 设置虚拟机的IP
     node.vm.network "private_network", ip: "192.168.56.#{199+i}",
    netmask: "255.255.255.0"
     # 设置主机与虚拟机的共享⽬录
     # node.vm.synced_folder "~/Documents/vagrant/share",
    "/home/vagrant/share"
     # VirtaulBox相关配置
     node.vm.provider "virtualbox" do |v|
     # 设置虚拟机的名称
    v.name = "node#{i}"
     # 设置虚拟机的内存⼤⼩
     v.memory = 4096
     # 设置虚拟机的CPU个数
     v.cpus = 4
     end
     end
     end
    end

进⼊到三个虚拟机，开启root的密码访问权限

Vagrant ssh xxx进⼊到系统后  
![在这里插入图片描述][9aea1bc43dc24290b453856b218d0f78.png]

su root 密码为vagrant  
![在这里插入图片描述][247d2e9a1f4840e1877367888fae52a8.png]

vi /etc/ssh/sshd\_config  
修改  
PermitRootLogin yes  
PasswordAuthentication yes  
![在这里插入图片描述][dee61298a8c44f3da3d37ed222dd5ba7.png]  
所有的虚拟机设为4核4G  
重启sshd  
systemctl restart sshd  
远程连接node3连接不上  
![在这里插入图片描述][2c3e3d8cbcfa4b8f8b86cf86c2d77481.png]  
重启node3里的sshd服务：  
![在这里插入图片描述][c7f07c920f1948098609c623950bcd64.png]  
关于在"⽹络地址转换"的连接⽅式下，三个节点的eth0，IP地址相同的问题。  
问题描述：查看k8s-node1的路由表：  
![在这里插入图片描述][3721d403cdaf404bb10a2870bb033f4c.png]  
能够看到路由表中记录的是，通过端⼝eth0进⾏数据包的收发。  
分别查看k8s-node1，k8s-node2和k8s-node3的eth0所绑定的IP地址，发现它们都是相同的，全都是10.0.2.15，这些地址是供kubernetes集群通信⽤的，区别于eth1上的IP地址，是通远程管理使⽤的。  
![在这里插入图片描述][90981e29eb864cffa63d8de6e1cab434.png]  
原因分析：这是因为它们使⽤是端⼝转发规则，使⽤同⼀个地址，通过不同的端⼝来区分。但是这种端⼝转发规则在以后的使⽤中会产⽣很多不必要的问题，所以需要修改为NAT⽹络类型  
![在这里插入图片描述][d3ca21a27f834646ac34cfd8e9b21eea.png]  
![在这里插入图片描述][df9f2029de7b4747a893c13b2f20e272.png]  
解决⽅法：  
选择三个节点，然后执⾏“管理”->“全局设定”->“⽹络”，添加⼀个NAT⽹络。  
![在这里插入图片描述][f3f66de575384720b1930470002333db.png]  
![在这里插入图片描述][48aabe6f2da546f3a26a232e7ce51989.png]

在关机的情况下，分别修改每台主机的网络连接类型，以及重新刷新MAC地址。  
![在这里插入图片描述][904cf8baf8854e2897d8dea4affa3d1f.png]  
![在这里插入图片描述][226cc5079651479aac07585d917e4e90.png]  
再次查看三个节点的IP

![在这里插入图片描述][17e9ed82b5b0480ca20f28c9f9dc2afb.png]

#### 4.3 设置Linux环境 ####

三个节点都执⾏  
关闭防⽕墙

systemctl stop firewalld
    systemctl disable firewalld

关闭seLinux

sed -i 's/enforcing/disabled/' /etc/selinux/config
    setenforce 0
    #查看
    cat /etc/selinux/config

![在这里插入图片描述][a7ae6fad668a4bcb8cf134df293bff24.png]  
![在这里插入图片描述][3df2e37595c14e54834e5e98bcc600c8.png]  
关闭swap

swapoff -a #临时关闭
    sed -ri 's/.*swap.*/#&/' /etc/fstab #永久关闭
    free -g #验证，swap必须为0

![在这里插入图片描述][13d61bb677624166b19eaba094b0bfd0.png]  
如果没有变成0的话就重启一下node节点  
![在这里插入图片描述][aa84970d2a41409b910a498c152bdaa5.png]  
查看主机名  
![在这里插入图片描述][dc72921d935c4f76a6b8d924e66216f7.png]  
如果主机名不正确，可以通过“hostnamectl set-hostname :指定新的hostname”命令来进⾏修改。  
没有配置前，节点是ping不通的  
![在这里插入图片描述][249945d0fdbd47a289e17d849e5b44b8.png]

用ip addr查看对应的ip地址
    10.0.2.15 node1
    10.0.2.4 node2
    10.0.2.5 node3

![在这里插入图片描述][a659f8a7b7784a688ff3b274e19e6cf8.png]  
现在我们可以ping通了  
![在这里插入图片描述][91f57679be1f4f2788efe10085bfe770.png]  
K8s的有一大功能就是当某一个节点流量多的时候，他就会自动的拉取多个节点，进行水平扩容。  
具体配置如下：

cat > /etc/sysctl.d/k8s.conf <<EOF
    net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    EOF

应⽤规则：

sysctl --system

应用成功  
![在这里插入图片描述][34ead8a99f0a460a98c57680cc1fe0db.png]

#### 4.4 安装组件 ####

所有节点安装docker、kubeadm、kubelet、kubectl  
Kubenetes默认CRI（容器运⾏时）为Docker，因此先安装Docker。  
（1）安装Docker  
1、卸载之前的docker

$ sudo yum remove docker \
     docker-client \
     docker-client-latest \
     docker-common \
     docker-latest \
     docker-latest-logrotate \
     docker-logrotate \
     docker-engine

![在这里插入图片描述][4b8460eb01a54cac930c90d4b8aeb9ed.png]

2、安装Docker -CE

$ sudo yum install -y yum-utils \
     device-mapper-persistent-data \
     lvm2
    $ sudo yum-config-manager \
     --add-repo \
     https://download.docker.com/linux/centos/docker-ce.repo
     
    $ sudo yum -y install docker-ce docker-ce-cli containerd.io

上述三个命令执行情况如下：  
![在这里插入图片描述][41db3691825d46d4aa5d13512ad4cd40.png]  
![在这里插入图片描述][9c2ea3ad7f4b4a09a2b43569eefc5747.png]![在这里插入图片描述][d4726aad7b364c3884f0151c901cef35.png]  
上述步骤Docker就安装好了。

3、配置镜像加速

sudo mkdir -p /etc/docker
    sudo tee /etc/docker/daemon.json <<-'EOF'
    {
        
     "registry-mirrors": ["https://azk2srw0.mirror.aliyuncs.com"],
     "exec-opts": ["native.cgroupdriver=systemd"]
    }
    EOF
    sudo systemctl daemon-reload
    sudo systemctl restart docker

上述四条命令直接复制粘贴 执行即可。  
4、启动Docker && 设置docker开机启动

systemctl enable docker

![在这里插入图片描述][e132a839676341ab95c93e5b429dd8b7.png]

基础环境准备好，可以给三个虚拟机备份⼀下；  
![在这里插入图片描述][5a865421ea01404ca62c9eb4c21a7094.png]  
（2）添加阿⾥与Yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
    https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

更多详情⻅： https://developer.aliyun.com/mirror/kubernetes

（3）安装其他组件  
安装kubeadm，kubelet、kubectl

yum list|grep kube

安装

yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3

如果这里安装发生错误的话如下：  
![在这里插入图片描述][8dedb961a40d4c65939cc3ae13f32de4.png]  
![在这里插入图片描述][19da496c08dc4e3a950556466c3fc12e.png]  
我试了上面只改那一个不行，得把两个校验值都改为0

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
    https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

![在这里插入图片描述][354a5a56b4654901a702ea4d6e774041.png]

开机启动

systemctl enable kubelet && systemctl start kubelet

![在这里插入图片描述][c7d5e3fcc01e470da1833742854c6561.png]

查看kubelet的状态：

systemctl status kubelet

![在这里插入图片描述][63a4b53c774d40948eb1b3c4c892ffa3.png]  
现在还是一个faild的状态，我们还没有装master和node节点

查看kubelet版本：

kubelet  --version

![在这里插入图片描述][4efe05bc93304e2abcec8de002e64d55.png]  
![在这里插入图片描述][1ea39a9050d44c4184ee5d5416dfa149.png]

#### 4.5 部署k8s-master ####

（1）master节点初始化  
master 初始化比较慢，所以这里从阿里云去下载  
各个images的 意思  
第一个，暴露api命令的一个服务，接受命令，跟其他客户端进行交互的一个命令  
第二个 网络代理  
第三个 管理controller的  
第四个是调度任务的  
第五个是 用来容器的发现，对于服务伸缩经常变动的节点进行管理。  
第六个是 键值对的数据库，  
第七个是 k8s 进行容器隔离的一个沙箱的机制

在Master节点上，创建并执⾏master\_images.sh

#!/bin/bash
    images=(
     kube-apiserver:v1.17.3
     kube-proxy:v1.17.3
     kube-controller-manager:v1.17.3
     kube-scheduler:v1.17.3
     coredns:1.6.5
     etcd:3.4.3-0
     pause:3.1
    )
    for imageName in ${
        images[@]} ; do
     docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    # docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName 
    k8s.gcr.io/$imageName
    done

在node节点下创建k8s目录  
![在这里插入图片描述][7b8bf495d1174b4a812f3bacf7fdc707.png]  
![在这里插入图片描述][8c8532c5759c44cc9891182c75f1903b.png]  
拷贝进去以后保存这个脚本文件，然后执行它  
![在这里插入图片描述][7b59edb5961e4a22bd841272fd57321f.png]  
执行的时候发现没有权限  
![在这里插入图片描述][3205c813cbe943bc99b22806a7ba4f2a.png]  
提升一下权限。

chmod 777 ./master_images.sh

![在这里插入图片描述][f39872afbad045bba997c9fe282f99e0.png]  
再次执行，可以看到执行成功了  
![在这里插入图片描述][1b94fe23a74e4af983d87a48ae073f3f.png]  
到这里的时候可以看到已经下载完成了。  
![在这里插入图片描述][3ca67e45d047402d863bd5636c579522.png]  
使用docker命令可以看到，我们的镜像已经全部下载成功了。  
![在这里插入图片描述][4e23babd778049ef876ba46841314065.png]

初始化kubeadm  
先查看一下网卡的地址  
![在这里插入图片描述][fd4bbce84f034f27ab09a4d383dcfd75.png]  
下面初始化的地址要和上面查看的保持一致。

kubeadm init \
    --apiserver-advertise-address=10.0.2.15 \
    --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
    --kubernetes-version v1.17.3 \
    --service-cidr=10.96.0.0/16 \
    --pod-network-cidr=10.244.0.0/16

![在这里插入图片描述][0d03874514cd46f68f33bb8274965cfb.png]  
执行成功  
![在这里插入图片描述][008f5b796d5940899b1d362a3b867ac5.png]

注：  
–apiserver-advertise-address= ：这⾥的IP地址是master主机的地址，为上⾯的eth0⽹卡的地址；  
执⾏结果：  
![在这里插入图片描述][19802ac47eb6474f9d3476b54d436e1f.png]  
执行结果（同上面的执行成功的那个，这是一个比较全的执行成功的显示界面）  
![在这里插入图片描述][8fb3fef80dde4fd9ba2799123a4ee645.png]  
![在这里插入图片描述][a4de4302dee9421ea7ce532381a4f28e.png]  
由于默认拉取镜像地址k8s.cr.io国内⽆法访问，这⾥指定阿⾥云仓库地址。可以⼿动按照我们的images.sh先拉取镜像。  
地址变为：registry.aliyuncs.com/googole\_containers也可以。  
科普：⽆类别域间路由（Classless Inter-Domain Routing 、CIDR）是⼀个⽤于给⽤户分配IP地址以及在互联⽹上有效第路由IP数据包的对IP地址进⾏归类的⽅法。  
拉取可能失败，需要下载镜像。  
运⾏完成提前复制：加⼊集群的令牌。就是下面这一串需要提前保存好

kubeadm join 10.0.2.15:6443 --token l1wsvh.13x01yyb7y6h12mg \
        --discovery-token-ca-cert-hash sha256:25efa6b0b9a981733fecc0e2a169538d08bc29d9b530e746ae20f7a690dff3bb

![在这里插入图片描述][bba49ba3d5354bc592f1533b4ec65842.png]

（2）测试Kubectl  
主节点上执⾏

mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config

详细部署⽂档：https://kubernetes.io/docs/concepts/cluster-administration/addons/

![在这里插入图片描述][e04f977e6c614ed8a6fd2b5f63f69e58.png]

$ kubectl get nodes #获取所有节点

![在这里插入图片描述][8fb1f85dd31e4c32b17360cfc717f026.png]

⽬前Master状态为notready。等待⽹络加⼊完成即可。

$ journalctl -u kubelet #查看kubelet⽇志

#### 4.6 安装POD⽹络插件（CNI） ####

在master节点上执⾏按照POD⽹络插件

kubectl apply -f \
    https://raw.githubusercontent.com/coreos/flanne/master/Documentation/kubeflannel.ym

以上地址可能被墙，可以直接获取本地已经下载的kube-flannel.yml运⾏即可，命令如下：  
![在这里插入图片描述][ae6f5ae4163c4467a2daaab2318d6434.png]  
由于yml文件实测有600行，为了篇幅尽可能的短，所以我将yml文件放到另一篇文章里，可复制自己到Linux创建一个文件,[点击传送][Link 1]

安装lrzsz，要来传递⽂件（将文件直接可以拖到ssh远程连接的框里，方便）

yum -y install lrzsz

直接拖过来然后选最后一个就行  
![在这里插入图片描述][8bd5457193f54ec3a787409c0a36a753.png]  
可以看到执行成功  
![在这里插入图片描述][03c3621462e54d13a67ec225ca6ba586.png]

[root@k8s-node1 k8s]# kubectl apply -f kube-flannel.yml

![在这里插入图片描述][8f1d6cd80ebe4710932c49611fb4fb17.png]

同时flannel.yml中指定的images访问不到可以去docker hub找⼀个wget yml地址vi 修改yml 所有amd64的地址修改了即可  
等待⼤约3分钟

kubectl get pods -n kube-system 查看指定名称空间的pods  
kubectl get pods --all-namespaces 查看所有名称空间的pods

`$ ip link set cni0 down` 如果⽹络出现问题，关闭cni0，重启虚拟机继续测试  
执⾏watch kubectl get pod -n kube-system -o wide 监控pod进度  
等待3-10分钟，完全都是running以后继续

我这里没有出现这个问题，执行 kubectl get pods --all-namespaces命令以后全部都是Running 状态

查看命名空间：  
![在这里插入图片描述][158d41ed86af4710ab96da4cfc47ffbd.png]

[root@k8s-node1 k8s]# kubectl get pods --all-namespaces

![在这里插入图片描述][3d7af88a36234358805e4b8e0c56822a.png]  
查看master上的节点信息：

[root@k8s-node1 k8s]# kubectl get nodes

![在这里插入图片描述][dff837fe56164260870fb9a9c5058f66.png]

#### 4.7 加⼊kubenetes的Node节点 ####

这里的令牌就是我上面说的那个要保存下来的令牌，不要用我这里这个，没用的，用自己的。  
kubeadm join 10.0.2.15:6443 --token 0e47ye.g2hp4d4pbliz6z0a  
–discovery-token-ca-cert-hash  
sha256:f8d5bf40cdb6e6d1172f423aaf22eeffd3893e14c4bfa8c0523ab4f5eaa6d415  
最后再次执⾏，并且分别在“k8s-node2”和“k8s-node3”上也执⾏这⾥命令：

kubeadm join 10.0.2.15:6443 --token nqkilj.vbonqoiq3yf0jj1h \
     --discovery-token-ca-cert-hash
    sha256:dbd6ecc2ac65cf8ad12d878d114b1ff74ece97184cb2755fc2f3a8e4b0f40be5

![在这里插入图片描述][6b24049851684fb88aca76ea0e149865.png]  
等待1分钟就装好了  
![在这里插入图片描述][a158e338b77f48f290741e0f66adfe8a.png]

[root@k8s-node1 opt]# kubectl get nodes;

![在这里插入图片描述][2a0ec7214fb84844937ee77370b22b03.png]

监控pod进度

watch kubectl get pod -n kube-system -o wide

等到所有的status都变为running状态后，再次查看节点信息：  
![在这里插入图片描述][433e2d16e3b144a4b61592ecad58b7a6.png]  
![在这里插入图片描述][d8a36125eb2344c39b3e4322a35f7e88.png]

[root@k8s-node1 ~]# kubectl get nodes;

![在这里插入图片描述][10644931eb6649759c02c5e806cb4f65.png]

在node节点中执⾏，向集群中添加新的节点，执⾏在kubeadm init 输出的kubeadm join命令；  
确保node节点成功：

下面是重新生成令牌的命令。如果我们上面执行成功，即可不执行下面的步骤，如果执行的过程token过期了，用下面的命令重新生成令牌就行。

token过期怎么办

kubeadm token create --print-join-command

再次执⾏join命令

kubeadm join 10.0.2.5:6443 --token nqkilj.vbonqoiq3yf0jj1h \
     --discovery-token-ca-cert-hash
    sha256:dbd6ecc2ac65cf8ad12d878d114b1ff74ece97184cb2755fc2f3a8e4b0f40be5

[edb96b869378479a931a30cee05bf7b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e322374f9afa4028baa7b2c94fa37a17.png
[5de3fb18ee3d457ab19fd71d8a64a7e6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b4b9473814e1482da2ef8d808f46d314.png
[bc67d9eae6ec43c2b485f511eba9ae51.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/61b0b76a8bcd4340a665ba1c2d8051e4.png
[e1004a2f0aab401d8a7c1fea8b86bbec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1972c7afc39543c887a18eb0f9b2c47d.png
[9aea1bc43dc24290b453856b218d0f78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7f3bf3993aa143d298ac68950f142ac5.png
[247d2e9a1f4840e1877367888fae52a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/c859705036f34032b600302625622a07.png
[dee61298a8c44f3da3d37ed222dd5ba7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ef12a9f5d6994faca7532e67978286e2.png
[2c3e3d8cbcfa4b8f8b86cf86c2d77481.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/db05c9539d4b4e738f1398207c71c120.png
[c7f07c920f1948098609c623950bcd64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/0918df22a5a1451db38b77f0181eacbf.png
[3721d403cdaf404bb10a2870bb033f4c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/097a18b45ade4644a8a6a6418f424a13.png
[90981e29eb864cffa63d8de6e1cab434.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f28e6b7d8ec74025bc0cb9f363fac269.png
[d3ca21a27f834646ac34cfd8e9b21eea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7a86665d786f410d9c90ffeb77d57d16.png
[df9f2029de7b4747a893c13b2f20e272.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/6c60b724f4ac49d9b70461bf99f5dfb8.png
[f3f66de575384720b1930470002333db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/3483185ce9f140089f64c6404c42abed.png
[48aabe6f2da546f3a26a232e7ce51989.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4fbff513c7564e8e83897c630c637aa2.png
[904cf8baf8854e2897d8dea4affa3d1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a7fff1cbe66543f483f18b8e46d29d57.png
[226cc5079651479aac07585d917e4e90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4b4c7ebf57ef48d79c8a4fcdacf4e371.png
[17e9ed82b5b0480ca20f28c9f9dc2afb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1f56a47d8ea84273aad728eff723c876.png
[a7ae6fad668a4bcb8cf134df293bff24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a5b0e6c1bba1457d99b712b9710b3318.png
[3df2e37595c14e54834e5e98bcc600c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/c4566b325d304ff68b7e16a90ecbb965.png
[13d61bb677624166b19eaba094b0bfd0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/115fd294b32e467c86a6b0eb3e145fca.png
[aa84970d2a41409b910a498c152bdaa5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d4d62f384ac64954908829d697182ebf.png
[dc72921d935c4f76a6b8d924e66216f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/545e7c0adf894af6b2dbdd497e801ad7.png
[249945d0fdbd47a289e17d849e5b44b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/12e4516ad3a0404ca99b61e79dc6aec8.png
[a659f8a7b7784a688ff3b274e19e6cf8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e8a45811065d4184bb52cef6a5171318.png
[91f57679be1f4f2788efe10085bfe770.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7c05d68fda424c3a9d869addddbb4e50.png
[34ead8a99f0a460a98c57680cc1fe0db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/794d4cda25e24228b3d56d0f68023720.png
[4b8460eb01a54cac930c90d4b8aeb9ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/646e01e7dfeb41e38cf298e4a3e0077d.png
[41db3691825d46d4aa5d13512ad4cd40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/c8c7112d16974ad3b34bc4456a0e70f4.png
[9c2ea3ad7f4b4a09a2b43569eefc5747.png]: https://img-blog.csdnimg.cn/9c2ea3ad7f4b4a09a2b43569eefc5747.png
[d4726aad7b364c3884f0151c901cef35.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/2f5f4566f5be469288799b9d40e6b8df.png
[e132a839676341ab95c93e5b429dd8b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d24b0040fea54aa582c98c937734472d.png
[5a865421ea01404ca62c9eb4c21a7094.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ae1ca4a056b044028c39d72de3febf77.png
[8dedb961a40d4c65939cc3ae13f32de4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/7bc18c2c42fc4e7daea98c48db6d7a97.png
[19da496c08dc4e3a950556466c3fc12e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/43e32eaed0834ac99a5c649dcd9c5671.png
[354a5a56b4654901a702ea4d6e774041.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b89607841757429a9256ced2c61e7313.png
[c7d5e3fcc01e470da1833742854c6561.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/60843a5f87fe4e6d8327834bab157e6e.png
[63a4b53c774d40948eb1b3c4c892ffa3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/af7c6b2756444fb09f8ccfa274c347f9.png
[4efe05bc93304e2abcec8de002e64d55.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/66edea96a3d8462683d6c620182991aa.png
[1ea39a9050d44c4184ee5d5416dfa149.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b1a052d81c3f48619edb6c1978d82959.png
[7b8bf495d1174b4a812f3bacf7fdc707.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e8437d140fe7497aa1bbea93aaa8f3ac.png
[8c8532c5759c44cc9891182c75f1903b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/6c1f73bce8024b79bfd8f13ccc9874d7.png
[7b59edb5961e4a22bd841272fd57321f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1b928409c2254cf8aa6171b52cbb6693.png
[3205c813cbe943bc99b22806a7ba4f2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/91677947c73e4d4898d81de69072f486.png
[f39872afbad045bba997c9fe282f99e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/211bb658e46748468e7141ab396a544d.png
[1b94fe23a74e4af983d87a48ae073f3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/050e40b143ee4a3fbe5bbb4b1bac10b3.png
[3ca67e45d047402d863bd5636c579522.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/760940bf9ff64760ad58d936dedd9ba6.png
[4e23babd778049ef876ba46841314065.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d62d14d144234835b5a2ed6827c8c246.png
[fd4bbce84f034f27ab09a4d383dcfd75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f682cce217a849dcabc0f13a306dff6c.png
[0d03874514cd46f68f33bb8274965cfb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f20283fa9ec440f0b920cbe7ba217906.png
[008f5b796d5940899b1d362a3b867ac5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/62e2d8b2fecc406b83669715ceb28816.png
[19802ac47eb6474f9d3476b54d436e1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/0cee5b28189f40ec858b0d1ef023cd8d.png
[8fb3fef80dde4fd9ba2799123a4ee645.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/16a3d736ce244dae8041ddf2d4086eb4.png
[a4de4302dee9421ea7ce532381a4f28e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/be755bde034f4ff79fccf039eb37b86a.png
[bba49ba3d5354bc592f1533b4ec65842.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/507d6e40e5314510af6a26c598427488.png
[e04f977e6c614ed8a6fd2b5f63f69e58.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/1ed27e17648449be8641033c637d26bd.png
[8fb1f85dd31e4c32b17360cfc717f026.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b2090c891ae049d68e20f70a4a25efec.png
[ae6f5ae4163c4467a2daaab2318d6434.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d718e903a31b400bb8bdd7ac1ae15c49.png
[Link 1]: https://blog.csdn.net/delete_bug/article/details/126735460?csdn_share_tail=%7B%22type%22:%22blog%22,%22rType%22:%22article%22,%22rId%22:%22126735460%22,%22source%22:%22delete_bug%22%7D
[8bd5457193f54ec3a787409c0a36a753.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b2432988b946443f8dddb773a1204d05.png
[03c3621462e54d13a67ec225ca6ba586.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/bb014c582bb841c8bea159b7e5974540.png
[8f1d6cd80ebe4710932c49611fb4fb17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/bf339e59c7f04d8692bb20b1bf3d4ff6.png
[158d41ed86af4710ab96da4cfc47ffbd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/3875d5cfc20c495daa9237b098e3d565.png
[3d7af88a36234358805e4b8e0c56822a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/c0d8e0a00e9d4fb0a7b415541fb30cd1.png
[dff837fe56164260870fb9a9c5058f66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/331534fb13404f4ca42d9059c95769fb.png
[6b24049851684fb88aca76ea0e149865.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/0bc976d3042f4d5aa7d95b097f8493a4.png
[a158e338b77f48f290741e0f66adfe8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b2f5bfb01c2a425ab6aa6fd05ad3d6c7.png
[2a0ec7214fb84844937ee77370b22b03.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f75a759ea52445509e8db2904b82b261.png
[433e2d16e3b144a4b61592ecad58b7a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/3cbea050aa9344ae9ead5635033af110.png
[d8a36125eb2344c39b3e4322a35f7e88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/18c3acec1c534bb1906b01729769564a.png
[10644931eb6649759c02c5e806cb4f65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/95bb56fd58464ec2a6fac4e62abc397d.png