一文带你全面了解Kubernetes核心原理和搭建

逃离我推掉我的手 2022-10-31 12:13 219阅读 0赞

在过去，我们在进行程序部署的时候，是直接将环境和程序统一配置部署到主机上，但是这样做容易造成程序与程序之间的混淆，所以为了处理这种问题，我们可以搭建一台不可变的虚拟机镜像，将环境和程序配置部署到虚拟机镜像中，但是虚拟机镜像部署存在体量过于庞大并且不可移动的问题，所以容器技术应运而生，容器技术是基于操作系统级别的虚拟化技术，各个容器与宿主机是隔离的，各个容器之间也是是隔离的，它比虚拟机镜像更容易搭建，并且可以很方便在不同的主机上移动。但是随着分布式、集群等技术在实际应用中越来越多，在实际的生产环境中，我们可能会涉及到多个容器，而这些容器可能会跨越多个服务器主机进行部署，所以一个基于容器技术的分布式架构解决方案应用而生，它就是Kubernetes。

**2. Kubernetes的概念**

Kubernetes(k8s)是一个基于容器技术的的分布式架构解决方案，是Google开源的容器集群管理系统，Google内部称为Borg,主要用于自动部署、扩展和管理容器化的应用程序，是以Docer为基础的分布式系统架构。

Kubernetes可以对分布式系统进行完美的支撑，它具备完善的集群控制能力，内建有智能的负载均衡器，拥有强大的故障发现和自我修复能力。同时还针对开发、部署测试、运维监控等提供了完善的管理工具。

Kubernetes的核心思想是：一切以服务为中心，根据这一核心思想，Kubernetes可以让在其上构建的系统独立运行在物理机、虚拟机群或者云上，所以，Service（服务）是Kubernetes进行分布式集群构建的核心，必须拥有如下关键特征：

*  拥有一个唯一指定的名称。        
 *  拥有一个虚拟IP和端口。
 *  能够提供某种远程服务能力。可以被映射到提供这种远程服务能力的一组容器应用上。

推荐学习：

Kubernetes(K8S)超快速入门教程  
完整视频：http://yun.itheima.com/course/640.html?2012stt  
配套资料：https://pan.baidu.com/s/1TQX72tx2HS9eIJFBr4ztcg 提取码：sgo3

**3. Kubernetes的术语**  
**3.1 Master**

Kubernetes的集群控制节点，负责整个集群的管理和控制，拥有一个etcd服务，用来保存所有资源对象的数据，我们执行的所有控制命令会发给他，他负责具体的执行过程，Master节点通常会独占一个服务器，在其上会运行以上一组关键的进程：

*  **Kubernetes API Server**:提供Http Rest接口的关键服务进程，是Kubernetes中增、删、改、查等操作的唯
    
    一入口，是集群控制的入口进程。
 *  **Kubernetes Controller Manager**:Kubernetes中所有资源对象的自动化控制中心。
 *  **Kubernetes Scheduler**:负责资源调度的进程。

**3.2 Node**

Kubernetes集群中的其他机器被称为Node节点，Node节点可以是一台物理主机，也可以是一台虚拟机，每个Node节点会被Master节点分配一些负载，所以Node节点是Kubernetes集群中工作负载节点，当某个Node节点宕机时，工作负载会被Master自动转移到其他节点。Node节点之上会运行一组关键进程：

*  **kubelet**:负责Pod对应容器的创建，启动、停止等任务。
 *  **kube-proxy**:实现Kubernetes Service通讯与负载均衡机制的重要组件。
 *  **Docker Engine**:Docker引擎，负责容器的创建和管理

**3.3 Pod**

Pod是Kurbernetes进行创建、调度和管理的最小单位，Pod运行在Node节点之上，其中包含多个业务容器，这些业务容器之间共享网络命名空间、Ip地址、端口，可以通过localhost进行通讯。Pod有两种类型：普通Pod和静态Pod。

**3.4 Replication Controller**

Kurbernetes用来管理和保证集群中拥有的Pod。

**4. Kubernetes的架构**

Kubernetes的一切都是基于分布式的，下面这张图就是Kubernetes的架构图

![d19e3dca1954054c8666cd6cfe98bf95.png][]

通过这张架构图我们发现Kurbernetes主要由以下几个核心组件组成：

*  **Etcd**:保存整个集群的状态。
 *  **API Server**:提供认证、授权、访问控制、API注册和发现等机制，是资源操作的唯一入口。
 *  **Kurbernetes Controller**：负责维护集群的状态。
 *  **Scheduler**：负责资源的调度。
 *  **kubelet**：负责维护容器的生命周期，同时管理Volume和网络。
 *  **Container**：负责镜像管理以及Pod和容器的真正运行。
 *  **kube-proxy**：负责为Service提供cluster内部的服务发现和负载均衡。

**5. Kubernetes的搭建****5.1 准备工作**

因为Kubernetes的一切都是基于分布式的，那么，要想搭建Kubernetes就需要准备多台服务器主机，因为条件有限，这里我采用搭建多台虚拟机系统的方式进行，所以需要将虚拟机和镜像系统准备好。

*  **虚拟机**：这里的虚拟机我采用的是VMware,当然也可以采用VirtualBox，VMware下载地址如下：
    
                     [https://www.vmware.com/cn.html][https_www.vmware.com_cn.html]
 *  **镜像系统**：虚拟机的镜像系统我采用的是：CentOS-7-x86\_64-DVD-1810，下载地址如下：
    
                     [http://mirrors.zju.edu.cn/centos/7.6.1810/isos/x86\_64/CentOS-7-x86\_64-DVD-1810.iso][http_mirrors.zju.edu.cn_centos_7.6.1810_isos_x86_64_CentOS-7-x86_64-DVD-1810.iso]

**5.2 虚拟机环境搭建**

我们准备安装三个虚拟机节点，一个为Kubernetes的Master节点，剩下两个为Kubernetes的Node节点，这里我们只演示第一个安装第一个节点，剩下的两个节点，采用VMware复制镜像的方式进行。

**5.2.1 虚拟机环境要求**

搭建Kubernetes，虚拟机环境至少要满足以下要求：

*  操作系统 CentOS 7
 *  内存 2G 【至少】
 *  CPU 2核【至少】
 *  硬盘 20G 【至少】

**5.2.2 创建虚拟机**

打开VMware，选择“文件”菜单“新建虚拟机”选项，或者直接点击界面上的“创建新的虚拟机”选项，创建新的虚拟机，如下图所示： ![230b6069ba766ca83ae8ba05c3219da4.png][]

在弹出的弹窗中选择“经典”选项，点击“下一步”按钮，如下图所示：

![ca019e7e1e286c6fb3af2f75c88008f5.png][]

在弹出的新的弹窗中选择“稍后安装操作系统”选项，点击“下一步”按钮，如下图所示：

![be7107377634ca8bb682d79fa33714ff.png][]

在弹出的新的弹窗中选择客户机操作系统为“Linux”，版本为“CentOS 64位”，点击“下一步”按钮，如下图所示：

![bd50c94b52445584996762598bf5e5f5.png][]

在弹出的新的弹窗中设置虚拟机名称为“K8S\_Node1”,选择虚拟机系统的安装位置，点击“下一步”按钮，如下图所示：

![a086dc964dcc6b3aeae720b7a3d29557.png][]  
在弹出的新的弹窗中设置最大磁盘大小为20G,选择“将虚拟磁盘存储为单个文件”，点击“下一步”按钮，如下图所示：  
![d0b342904b424cb67a7990ca92b01443.png][]  
在弹出的新的弹窗中选择“自定义硬件”选项  
![158ad58dcfe92bfe10f812b513cd4c40.png][]  
在弹出的硬件配置弹窗中，内存设置为2048M，如下图所示：  
![536d8424dd2b39914b47450f2b98b5d6.png][]  
处理器设置为2个，如下图所示：

![8a9fb0d4ec4e5f8f492aef00151bb50b.png][]

镜像文件选择本地下载好的镜像文件，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjkzNjU1_size_16_color_FFFFFF_t_70][]  
设置完内存、处理、镜像文件之后，点击“关闭”按钮，回到新建虚拟机向导页面，点击“完成”按钮，完成新建虚拟机。

**5.2.3 安装操作系统**

在新建好虚拟机之后，在VMware主界面，选择对应的虚拟机，点击“开启此虚拟机”选项，启动虚拟机，如下图所示：

![3c157c3d04914ff48c726f7c9fe12c76.png][]

在打开的系统界面中选择“Install CentOS 7”,进行CentOS 7系统的安装，如下图所示：

![619eb7bd98e28e2018a943b640611d42.png][]

在打开的界面中选择中文语言环境，点击“继续”按钮，继续进行安装，如下图所示：

![edfa9e12bb296d175fe3ef3dd774f35e.png][]

在打开的界面中进行安装配置，如下图所示：

![e4aa0fc91daad80eb754e434e4d79fd7.png][]

注意："软件选择”建议选择最后一个“开发及生产工作站”，“安装位置”选择默认“自动分区”，禁用Kdump，打开网络，让你的虚拟机可以连接到互联网。

在新打开的页面中设置Root密码，进行安装CentOS 7系统

![cbfc1ee5da398faea0e666237c7c162f.png][]

安装完成后，会进入到系统的基本配置操作页面，可以进行语言环境的配置，如下图所示：

![a616a28495f65243447122f1b99cd46f.png][]

系统键盘布局和输入方式选择配置，如下图所示：

![2a768a04ba3754d558b24f7a70170e29.png][]  
最后点击“开始使用CentOS Linux(s)”按钮，开始进入到CentOS 7系统中，如下图所示：  
![0dccdd50c59d364c6579c32aca661011.png][]  
进入系统之后，使用“ifconfig”指令查看系统的ip地址，发现没有ip地址，如下图所示：  
![77506a20741da47b6174452a3b0ab36f.png][]  
没有ip地址的原因，查看之前2.2.8的配置步骤，发现已经配置了网络适配器为NAT，那没有ip地址的原因可能就是系统在启动的时候没有加载网卡造成的，所以使用“vi”指令打开“/etc/sysconfig/network-scripts/ifcfg-ens33”文件，将其中的“ONBOOT=no”改为“ONBOOT=yes”,使用“wq”指令保存文件，如下图所示：  
![84793996945bdee26752c2e64dc0d275.png][]  
修改文件之后，需要通过“service network restart”重启网络服务，之后在使用“ifconfig”指令查看，就会发现ip地址就有了，如下图所示：  
![1fb5872df9ef5a010c9dd8444ca9ce19.png][]

**5.2.4 远程操作操作系统**

因为在操作系统的终端中直接操作指令不太方便，比较好的方法是使用第三方的终端模拟软件，比如Xshell、SecureCRT登录，我这里使用的是SecureCRT进行操作。打开SecureCRT软件，配置一个连接，连接CentOS 7操作系统，如下图所示：

![de6297d7b74c37e293ec4814097baa12.png][]

在远程连接成功之后，我们还需要配置CentOS 7的yum源，因为使用CentOS 7自带的yum源，在安装软件和下载依赖的时候会非常的慢，甚至有时候还会超时失败，所以这里不建议使用CentOS 7自带的yum源，我们可以执行如下命令，使用阿里云的源替换CentOS 7自带的yum源，如下图所示：

![bca7263056724577fa488f3a790c8c1e.png][]

考虑到后续我们需要安装Kubernetes集群需要各种网络，所以需要将防火墙关闭，避免因为防火墙的问题导致连网失败，如下图所示：

![8aee065a6af9e179458a40de2193c9b1.png][]

在安装Kubernetes集群的时候，为了避免因为内存交互而影响性能以及稳定性，所以这里我们需要关闭Swap内存交互机制。使用“vi”指令打开“/etc/fstab”文件，将其中的swap配置注释掉，如下图所示：

![2723cfc53e227d210accedd16d6c0619.png][]

**5.2.5 安装Docker**

Kubernetes是以Docker为基础的一个全新的分布式系统架构,安装Kubernetes必须要先安装Docker，可以参考Docker官方文档进行操作： [https://docs.docker.com/install/linux/docker-ce/centos/\#prerequisites][https_docs.docker.com_install_linux_docker-ce_centos_prerequisites]

因为使用yum安装Docker的时候经常会超时失败，所以可以添加阿里云的Docker仓库，如下图所示：

![376d493a62646bb09cac4e0304b73525.png][]

使用yum安装Docker最新版本，如下图所示：

![9195cc1312dfe670d96d55b338110f05.png][]

执行如下命令启动Docker并激活开机自动启动，如下图所示：

![f039294c6a75a88cd687377c32b00b88.png][]

**5.3 Kubernetes集群搭建**

虚拟机环境我们在上边已经搭建好了，接下来我们就该搭建Kubernetes集群，我们将现在的虚拟机作为主节点，先安装Kubernetes，之后再复制出两个虚拟机作为工作节点。

**5.3.1 安装Kubernetes**

我们可以参考Kubernetes官方文档进行安装Kubernetes，下面是官方文档网址：[https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/][https_kubernetes.io_docs_setup_independent_create-cluster-kubeadm], 官方仓库因为被墙的原因我们无法使用，所以还是使用阿里云的仓库，执行以下命令添加kubernetes仓库： ![b5c8535550514918456ff858de6c5c2e.png][]

Linux会对我们的访问进行控制，所以需要关闭，如下图所示：

![381f60d6df294ab49ef3e7db82b340af.png][]

**5.3.2 安装kubelet、kubeadm、kubectl**

执行以下的指令安装Kubernetes的kubelet、kubeadm、kubectl，如下图所示：

![14417cce8692d352900eb3e5c4fa0144.png][]

执行以下的指令配置kubelet的cgroup drive，要和docker的cgroup drive保持一致，如下图所示：

![8415fb0d7c3a194c0e6f31e18cf0a8bc.png][]

执行以下指令，启动kubelet

![36adb4d80fce305a40f1529452f80581.png][]

但是启动kubelet会失败，因为缺少证书，但是不用担心，之后我们在执行kubeadm init命令的时候会创建证书，这里不启动也不影响后续的配置。

**5.3.3 下载Kubernetes的Docker镜像**

接下来我们需要使用Kubernetes官方提供的kubeadm工具来初始化Kubernetes集群，但是kubeadm init默认会访问谷歌服务器，使用的Docker镜像仓库是k8s.gcr.io，国内是无法访问的，我们可以使用docker.io/mirrorgooglecontainers中转一下，所以需要执行以下命令，如下图所示：

![e326bd9f114d57a6374bec265a827333.png][] ![6110f55f5f09ddf4462b17290c5f6a5c.png][]

但是coredns没包含在docker.io/mirrorgooglecontainers中，所以需要手工到coredns官方镜像转换下，执行以下命令进行操作，如下图所示：

![417d7da7f97f46b5e140099dd39bba62.png][]

![acd2ae3b414c2169264dd6b2923c4684.png][]

![d80ce202ee60c23b8a4c7f2cec16e8ec.png][]

最后通过“docker images”查看所有的镜像，会发现所有镜像都已经下载完成，如下图所示：

![c97e2ce15872d4bb09f1b30ca5f7c4e3.png][]

**5.4 复制虚拟机**

上面执行完成，Kubernetes就已经安装完毕了，接下来就需要复制虚拟机将其他节点创建出来。

**5.4.1 复制虚拟机**

关闭之前的虚拟机，在VMware的界面中，右键点击第一个节点，我这里叫做K8S\_Node1,选择“管理”选项中的“克隆”选项，开始复制虚拟机，如下图所示：

![0a333e17515da25981f175b3ab3938d6.png][]

进入到选择克隆源的选择，选择“虚拟机中的当前状态”选项，然后点击“下一步”按钮，如下图所示：

![b776d38bf0b346df44201c7da74e70f2.png][]

在弹出的选择克隆类型的窗口中选择“创建完整克隆”选项，点击“下一步”按钮，如下图所示：

![f06840fe2f8b0b503747d61e03a1cbcc.png][]

在弹出的设置新的虚拟机名称的窗口中设置新的虚拟机的名称为K8S\_Node2,并设置保存位置，然后点击“完成”按钮，进行复制操作，如下图所示：

![a4d53786d4fa3d1f1e61fbb3d32a640b.png][]

重复上面的步骤复制出名称为K8S\_Node3的虚拟机。

**5.4.2 设置虚拟机网络**

复制虚拟机结束之后，我们会发现三个节点ip为：

*  K8S\_Node1:192.168.149.129
 *  K8S\_Node2:192.168.149.130
 *  K8S\_Node3:192.168.149.131

但是我们还需要进行一些配置，以便后续操作可以配置连接，这里以K8S\_Node1为例：

*  使用“vi”指令编辑“/etc/hostname”文件,将hostname改为k8s-node1,注意这里不能大写，不能使用“\_”，不然后续的Kubernetes配置会出问题，如下图所示：

![2af71805689dad36c94a8b1c46edac2a.png][]  
使用“vi”指令编辑“/etc/hosts”文件，在其最后添加192.168.149.129  k8s-node1，如下图所示：  
![695de54a72d5516016379d8cc6c803d7.png][]

配置完毕之后，重启生效，剩下的两个节点也是如此的配置，这里不再演示。

**5.5 创建Kubernetes集群**

前面的准备工作都已经准备好了，接下来我们就可以开始创建Kubernetes集群了，这里我们使用之前安装的kubeadm来快速、方便的创建一个Kubernetes集群。

**5.5.1 初始化Kubernetes集群**

在主节点(K8S\_Node1)上执行以下的命令，如下图所示：

![023c4cbc3ac56020d199ab19dc526fa5.png][]

当看到如下信息时，就表示Kubernetes集群初始化成功了，如下图所示：

![7809bdd07b524075a9466495e935409d.png][]

我们需要将初始化成功的提示信息中的kubeadm join记录下来（之后会使用到），同时需要执行提示信息中关于以下的几个指令，如下图所示：

![f11ff01230ef33eece7a3dfb926a202c.png][]

**5.5.2 创建网络**

当初始化好Kubernetes集群之后，我们还需要配置网络，以便实现各个节点之间的通讯，设置网络可以使用Calico或者是flannel，这里我们采用flannel来设置网络，如下图所示：

![07190100ff4493086d08438fe8cfbcf1.png][]

**5.6 配置Kubernetes集群**

当Kubernetes集群初始化成功并设置好网络之后，我们就需要将Pod调度到Master上，因为Kubernetes默认是不会将Pod调度到Master中，所以我们需要手动设置。

**5.6.1 将Master作为工作节点**

可以执行以下命令，将Master节点作为工作节点，如下图所示：

![ec744b44efd607b29c320f181097b4f0.png][]

**5.6.2 将其他节点添加到集群**

在K8S\_Node2和K8S\_Node3的节点上执行K8S\_Node1节点进行kubeadm init初始化集群成功之后提示的kubeadm join指令，将K8S\_Node2和K8S\_Node3添加到集群中，如下图所示：

![aa612972d94b41feda2f3c0394c88305.png][]

![7ac0b4d5e7ceded3417c48e9e113eb40.png][]

如果kubeadm join指令失败了，可以执行kubeadm reset进行重置，然后再次执行kubeadm join。

最后我们通过“kubectl get nodes”查看节点是否添加到集群中，如下图所示：

![d1bf7668b88ef62507fd0a9f93e34b45.png][]

到此，Kubernetes集群就搭建完毕了。

**6. 总结**

通过上述的案例，我们就可以把Kubernetes集群搭建完成，之后我们可以在此基础上继续搭建Kubernetes的Dashboard，也可以在Kubernetes部署nginx、redis等软件。总之，通过Kubernetes我们可以很方便的进行分布式、集群操作，很方便的实现在物理机、虚拟机或者是云上进行项目的部署和迁移。

[d19e3dca1954054c8666cd6cfe98bf95.png]: /images/20221024/3e0199d23d824a58916bcdc9f9dd9c4d.png
[https_www.vmware.com_cn.html]: https://www.vmware.com/cn.html
[http_mirrors.zju.edu.cn_centos_7.6.1810_isos_x86_64_CentOS-7-x86_64-DVD-1810.iso]: http://mirrors.zju.edu.cn/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
[230b6069ba766ca83ae8ba05c3219da4.png]: /images/20221024/8130b1ac1117405fa34f3fbb50795fa7.png
[ca019e7e1e286c6fb3af2f75c88008f5.png]: /images/20221024/7bf9e68e9ba04d57ae3fec04bc472fdc.png
[be7107377634ca8bb682d79fa33714ff.png]: /images/20221024/2283e19bc87b4b018d3ced1ebf9cdfbd.png
[bd50c94b52445584996762598bf5e5f5.png]: /images/20221024/4c33ebe0dd1840e3bbce197ea1f1d202.png
[a086dc964dcc6b3aeae720b7a3d29557.png]: /images/20221024/a8933062ca11425bb56bc2eca9e1675f.png
[d0b342904b424cb67a7990ca92b01443.png]: /images/20221024/ea538a04ace44cd8931885cb98e79d79.png
[158ad58dcfe92bfe10f812b513cd4c40.png]: /images/20221024/67cd541dd3b741cf8d3d526b0d24c961.png
[536d8424dd2b39914b47450f2b98b5d6.png]: /images/20221024/14f66aa379c9464bb8d9648c096217e9.png
[8a9fb0d4ec4e5f8f492aef00151bb50b.png]: /images/20221024/cc74b3859bd94f998f45137e488bf7db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjkzNjU1_size_16_color_FFFFFF_t_70]: /images/20221024/0598a943246e461db92cb30255fa6898.png
[3c157c3d04914ff48c726f7c9fe12c76.png]: /images/20221024/52af88ab2e5c4712adfc3d0239ce6d8c.png
[619eb7bd98e28e2018a943b640611d42.png]: /images/20221024/bc56768cb03f43ebba8e65064d367012.png
[edfa9e12bb296d175fe3ef3dd774f35e.png]: /images/20221024/5f1578cc24b5406cbbf0c58aafaf89c8.png
[e4aa0fc91daad80eb754e434e4d79fd7.png]: /images/20221024/2ce2ad1049934ffab7bbd0cc808ecd59.png
[cbfc1ee5da398faea0e666237c7c162f.png]: /images/20221024/57516bf4ed1242af993be0e296aff1af.png
[a616a28495f65243447122f1b99cd46f.png]: /images/20221024/b4998834d9904824808dacc433e4654e.png
[2a768a04ba3754d558b24f7a70170e29.png]: /images/20221024/780f1dd818164d818022b5e5abe1d865.png
[0dccdd50c59d364c6579c32aca661011.png]: /images/20221024/ea51ede074564917be947e1aac16fc41.png
[77506a20741da47b6174452a3b0ab36f.png]: /images/20221024/757b7651e71c438688ec3f609d09aa4f.png
[84793996945bdee26752c2e64dc0d275.png]: /images/20221024/76b9c14364d546f2bbec50ed27e1db6d.png
[1fb5872df9ef5a010c9dd8444ca9ce19.png]: /images/20221024/6e7fc806c0234f0baae1f35b1101761e.png
[de6297d7b74c37e293ec4814097baa12.png]: /images/20221024/229c52c3e6384ea4960f1f05fdca99f9.png
[bca7263056724577fa488f3a790c8c1e.png]: /images/20221024/9ee0dea64dcd452a945ee51a08e93c5a.png
[8aee065a6af9e179458a40de2193c9b1.png]: /images/20221024/f5f35af25f734c838499304367fda246.png
[2723cfc53e227d210accedd16d6c0619.png]: /images/20221024/f96144690eb9483999256b473d6ee8b3.png
[https_docs.docker.com_install_linux_docker-ce_centos_prerequisites]: https://docs.docker.com/install/linux/docker-ce/centos/#prerequisites
[376d493a62646bb09cac4e0304b73525.png]: /images/20221024/f655912d32f744ea86a501663ad7e14e.png
[9195cc1312dfe670d96d55b338110f05.png]: /images/20221024/4c91746e3b8b41248d4252bd0ba68988.png
[f039294c6a75a88cd687377c32b00b88.png]: /images/20221024/4cf9dfbb3b1c4565b5f97aed2a6c9af8.png
[https_kubernetes.io_docs_setup_independent_create-cluster-kubeadm]: https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/
[b5c8535550514918456ff858de6c5c2e.png]: /images/20221024/186cfb760e8948538ad24c5776af2fed.png
[381f60d6df294ab49ef3e7db82b340af.png]: /images/20221024/5c4efd530afa426fbada461291441574.png
[14417cce8692d352900eb3e5c4fa0144.png]: /images/20221024/e48f1326a6734912aa8aa7b97c454366.png
[8415fb0d7c3a194c0e6f31e18cf0a8bc.png]: /images/20221024/368c8d3c090949a2887087ec6bcf873b.png
[36adb4d80fce305a40f1529452f80581.png]: /images/20221024/4be8fa8d012d4eb6abec242439615587.png
[e326bd9f114d57a6374bec265a827333.png]: https://img-blog.csdnimg.cn/img_convert/e326bd9f114d57a6374bec265a827333.png
[6110f55f5f09ddf4462b17290c5f6a5c.png]: /images/20221024/acc21e7313294257bbb4e0e5a09021b8.png
[417d7da7f97f46b5e140099dd39bba62.png]: /images/20221024/6fa1f83a40424f5099a0a20958c87e31.png
[acd2ae3b414c2169264dd6b2923c4684.png]: /images/20221024/115ad5dcf70a4b4fb64b8658af4f1591.png
[d80ce202ee60c23b8a4c7f2cec16e8ec.png]: /images/20221024/22e189d424e34644825b08ff34737544.png
[c97e2ce15872d4bb09f1b30ca5f7c4e3.png]: /images/20221024/c7877ad560cf499bbda00cc4e944c879.png
[0a333e17515da25981f175b3ab3938d6.png]: /images/20221024/6486cb660fa44fadaca8dd9c4b4143f7.png
[b776d38bf0b346df44201c7da74e70f2.png]: /images/20221024/9e2efa25cf7b42c69278976a1c9fceff.png
[f06840fe2f8b0b503747d61e03a1cbcc.png]: /images/20221024/ddc8d7572fba49969eedce8ebca5ab20.png
[a4d53786d4fa3d1f1e61fbb3d32a640b.png]: /images/20221024/8ebf54c1297c462da354259f8a39dd6f.png
[2af71805689dad36c94a8b1c46edac2a.png]: /images/20221024/665d2816123949588ca6680372937c25.png
[695de54a72d5516016379d8cc6c803d7.png]: /images/20221024/586761adb08f4df983b4a18338e71199.png
[023c4cbc3ac56020d199ab19dc526fa5.png]: /images/20221024/5f920f18fc95424d9a8bb724354f03c1.png
[7809bdd07b524075a9466495e935409d.png]: /images/20221024/362928829f2d4124b1c67f824ec8b925.png
[f11ff01230ef33eece7a3dfb926a202c.png]: /images/20221024/5c3101b0749f4b8395cb0c4a44448729.png
[07190100ff4493086d08438fe8cfbcf1.png]: /images/20221024/394586398eac465d985ef5b962f2ef88.png
[ec744b44efd607b29c320f181097b4f0.png]: /images/20221024/6423e2edcdf649f18065ee347bfe8620.png
[aa612972d94b41feda2f3c0394c88305.png]: /images/20221024/eeca162306d643d1868169a4769aeeb8.png
[7ac0b4d5e7ceded3417c48e9e113eb40.png]: /images/20221024/f1d92a27f05141269555b2cc38405e13.png
[d1bf7668b88ef62507fd0a9f93e34b45.png]: /images/20221024/431783ac5ccf492780d52f70af4930e3.png