Ubuntu环境搭建Kubernetes1.13.1集群

向右看齐 2021-11-04 12:58 1196阅读 0赞

### 文章目录 ###

*  部署软件环境版本
 *  Ubuntu搭建研发环境
 *   *  Ubuntu安装过程
     *   *  创建虚拟机
         *  图形界面安装方式
         *  修改root密码
         *  修改主机名
         *  重启
     *  配置静态IP(永久有效)(NAT模式)
     *  修改hosts
     *  ip应用启动：
 *  Docker-CE安装及配置
 *   *  基础准备
     *   *  在线安装Docker-ce(本教程不推荐)
         *  手动安装Docker(离线安装)
         *  启动Docker-ce
         *  申请阿里云镜像加速器
         *  docker配置国内镜像加速器
 *  Kubernetes 安装及部署
 *   *  k8s安装环境准备
     *   *  配置并安装k8s国内源
         *  禁止基础设施
         *  k8s系统网络配置
     *  安装k8s
     *  验证k8s
 *  创建Kubernetes多主机集群环境
 *   *  创建两个节点(两个虚拟机)
     *  master和node基础配置
     *   *  给node配置hostname
         *  配置IP地址
         *  修改hosts文件
     *  配置Master节点
     *   *  创建工作目录
         *  创建kubeadm.conf配置文件
         *  拉取K8s必备的模块镜像
         *  初始化kubernetes环境
         *  验证kubernetes启动结果
         *  部署集群内部通信flannel网络
     *  配置Node
     *   *  确认外部环境
         *  配置k8s集群的Node主机环境

# 部署软件环境版本 #

操作系统: `Ubuntu 18.10`(本教程采用server版本)

Docker： `docker-ce 18.06`

Kubernetes: `k8s 1.13.1`

# Ubuntu搭建研发环境 #

我们直接下载Unbuntu18.10-server版本，server版本的好处是没有Desktop,可以节省资源。

wget http://mirrors.aliyun.com/ubuntu-releases/18.10/ubuntu-18.10-live-server-amd64.iso

## Ubuntu安装过程 ##

### 创建虚拟机 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70]

这里注意选择CPU，选择处理器数量为2！！！![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 1]

我这里选择1，结果后面在安装的时候就会报

error execution phase preflight: [preflight] Some fatal errors occurred:
            [ERROR NumCPU]: the number of available CPUs 1 is less than the required 2
    [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

所以牢记cpu选择2，免得后面要重新设置就很麻烦。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 3]

### 图形界面安装方式 ###

选择英文语言  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 5]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 6]  
设置国内镜像源头 `http://mirrors.aliyun.com/ubuntu/` 注意末尾的斜线，我这里居然忘记添加末尾的斜线，不过貌似没啥问题？最好还是加上末尾的斜线吧。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 7]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 8]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 9]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 10]  
**切勿选择** `microk8s snap` `stable: v1.14.2` 空格选中  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 11]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 13]  
重启之后就完成了。

### 修改root密码 ###

1.  安装过程中，输入用户名 `YOUR_USERNAME` 密码: `YOUR_PASSWORD`
2.  重新启动后登录 用户名 `YOUR_USERNAME` 密码: `YOUR_PASSWORD`
3.  确认登录成功后输入`sudo passwd` 输入上面的`YOUR_PASSWORD`,然后输入root用户的密码`root`

设置root用户的密码root，是为了教学过程中简单。
    但是在生产环境下禁止使用弱强度的密码。

1.  执行`exit`退出当前登录用户，然后使用root用户重新登录
2.  输入`shutdown now`停机

![在这里插入图片描述][20190809212200435.png]

### 修改主机名 ###

修改主机名称

1.  使用root用户登录
2.  打开配置文件`vim /etc/cloud/cloud.cfg`
3.  修改配置`preserve_hostname: true`

![在这里插入图片描述][20190809212227323.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 14]

### 重启 ###

$ shutdown -r now

## 配置静态IP(永久有效)(NAT模式) ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 15]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 16]

![在这里插入图片描述][20190809212326945.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 17]

## 修改hosts ##

使用root用户登录

1.  打开hosts文件 `vim /etc/hosts`
2.  输入如下内容
    
        192.168.236.177 master
    
    这个ip是当前桥接或者NAT分配的IP地址
3.  重启机器`shutdown -r now`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 18]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 19]

## ip应用启动： ##

`$netplan apply`

# Docker-CE安装及配置 #

## 基础准备 ##

1.  Docker 要求 Ubuntu 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的 Ubuntu 版本是否支持 Docker。

uname -r 
    4.18.0-21-generic(主版本必须保持一致)

![在这里插入图片描述][20190809212508946.png]

1.  安装`curl`

我们先使用secureCRT连接。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 20]  
接下来我们安装`curl`

首先切换root用户

apt-get update && apt-get install -y curl telnet wget man  apt-transport-https  ca-certificates  software-properties-common vim

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 21]

1.  查看新版本号

*  Ubuntu 18.10

$ lsb_release -c
      Codename:	cosmic

![在这里插入图片描述][20190809212847776.png]

1.  查看确认国内源
    
        $ cp /etc/apt/sources.list /etc/apt/sources.list.bak
        	$ cat /etc/apt/sources.list
    
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 22]

### 在线安装Docker-ce(本教程不推荐) ###

> (建议下面的手动安装方式，因为在线可能会出现版本不一致)

注意： **该国内源目前提供的版本，与k8s不符。k8s推荐安装`Docker ce 18.06`**

1.  安装GPG秘钥和添加国内镜像

$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

添加国内源头

$ sudo add-apt-repository "deb https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

1.  更新国内源路径

$ apt update

3.安装查看版本指令

$ apt-get install -y apt-show-versions

4.查看docker-ce版本号

$ apt-show-versions -a docker-ce

1.  在线安装`Docker-ce`

$ sudo apt-get update && apt-get install -y docker-ce

### 手动安装Docker(离线安装) ###

1.  下载`docker-ce_18.06.1\~ce\~3-0\~ubuntu_amd64.deb`
2.  上传到上述文件到待安装服务器`master`

![在这里插入图片描述][20190809213220226.png]

![在这里插入图片描述][20190809213225563.png]

1.  登录待安装服务器，切换到root账户
2.  `dpkg -i docker-ce_18.06.1\~ce\~3-0\~ubuntu_amd64.deb`

> 如果提示错误

dpkg: error: dpkg frontend is locked by another process

说明已经有其他进程在使用dpkg安装程序

sudo rm /var/lib/dpkg/lock

即可。

> 如果提示错误

root@master:/home/master# dpkg -i docker-ce_18.06.1\~ce\~3-0\~ubuntu_amd64.deb
    Selecting previously unselected package docker-ce.
    (Reading database ... 100354 files and directories currently installed.)
    Preparing to unpack docker-ce_18.06.1~ce~3-0~ubuntu_amd64.deb ...
    Unpacking docker-ce (18.06.1~ce~3-0~ubuntu) ...
    dpkg: dependency problems prevent configuration of docker-ce:
     docker-ce depends on libltdl7 (>= 2.4.6); however:
      Package libltdl7 is not installed.
    
    dpkg: error processing package docker-ce (--install):
     dependency problems - leaving unconfigured
    Processing triggers for man-db (2.8.4-2) ...
    Processing triggers for systemd (239-7ubuntu10.12) ...
    Errors were encountered while processing:
     docker-ce
    root@master:/home/master#

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 23]

表示当前docker-ce 依赖系统libltd17库，安装就可以了

$ apt-get install -y libltdl7

![在这里插入图片描述][20190809213401973.png]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 24]

1.  检查docker是否安装成功

docker version

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 25]

确保版本号是 `18.06`

### 启动Docker-ce ###

1.  开机并启动docker

sudo systemctl enable docker 
    sudo systemctl start docker

![在这里插入图片描述][20190809213444393.png]

1.  重启，登录确认`docker`已经运行

sudo docker ps

发现报如下错误：

Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.38/containers/json: dial unix /var/run/docker.sock: connect: permission denied

![在这里插入图片描述][20190809213518143.png]

我们需要将当前的普通用户添加到当前的docker用户组中

sudo groupadd docker
    sudo usermod -aG docker $USER
    exit

![在这里插入图片描述][20190809213657445.png]  
重新登录使用普通用户登录:  
![在这里插入图片描述][20190809213534499.png]

就可以使用了。

1.  下载`Alpine`镜像热身一下 `Docker`

~$ sudo docker run -it --rm alpine:latest sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 26]

输出内容如下，我们在`Docker`容器中测试三个命令，分别是

- `date`
    - `time`
    - `uname -r`

### 申请阿里云镜像加速器 ###

**申请步骤如下**

在阿里云注册自己账户

找到**容器镜像服务**，参考网址如下

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

点开左侧菜单**镜像中心**—>**镜像加速器**

右侧加速器地址，即使私人专属的镜像加速器地址，点击**复制**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 27]

### docker配置国内镜像加速器 ###

> 目的 : 为了下载docker镜像更快

您可以通过修改`daemon`配置文件`/etc/docker/daemon.json`来使用加速器。

创建`/etc/docker/daemon.json`文件，内容如下：

{ 
      "registry-mirrors": ["https://xxxxxxx.mirror.aliyuncs.com"]
    }

![在这里插入图片描述][20190809213826405.png]

重启docker服务

# 重载所有修改过的配置文件
    sudo systemctl daemon-reload
    # 重启Docker服务
    sudo systemctl restart docker

![在这里插入图片描述][20190809213843862.png]

建议在安装的过程中，保存虚拟机的快照，这样防止误操作导致环境崩坏。

# Kubernetes 安装及部署 #

## k8s安装环境准备 ##

### 配置并安装k8s国内源 ###

1.  创建配置文件`sudo touch /etc/apt/sources.list.d/kubernetes.list`
2.  添加写权限

$ sudo chmod 666 /etc/apt/sources.list.d/kubernetes.list

![在这里插入图片描述][20190809213921285.png]

再添加，内容如下:

deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 28]

1.  执行`sudo apt update` 更新操作系统源，开始会遇见如下错误  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 29]

root@master:/home/master# vim /etc/apt/sources.list.d/kubernetes.list 
    root@master:/home/master# sudo apt update
    Get:1 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease [8,993 B]
    Hit:2 http://mirrors.aliyun.com/ubuntu cosmic InRelease   
    Err:1 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease     
      The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB Hit:3 http://mirrors.aliyun.com/ubuntu cosmic-updates InRelease Hit:4 http://mirrors.aliyun.com/ubuntu cosmic-backports InRelease Hit:5 http://mirrors.aliyun.com/ubuntu cosmic-security InRelease Reading package lists... Done W: GPG error: http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB
    E: The repository 'http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease' is not signed.
    N: Updating from such a repository can't be done securely, and is therefore disabled by default.
    N: See apt-secure(8) manpage for repository creation and user configuration details.
    root@master:/home/master#

其中：

The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB

签名认证失败，需要重新生成。记住上面的*NO\_PUBKEY* `6A030B21BA07F4FB`

1.  添加认证key
    
    运行如下命令，添加错误中对应的key(错误中NO\_PUBKEY后面的key的后8位)

gpg --keyserver keyserver.ubuntu.com --recv-keys BA07F4FB

![在这里插入图片描述][20190809214101219.png]

接着运行如下命令，确认看到**OK**，说明成功，之后进行安装:

gpg --export --armor BA07F4FB | sudo apt-key add -

![在这里插入图片描述][20190809214126704.png]

1.  再次重新`sudo apt update`更新系统下载源数据列表

root@master:/home/master# su master
    master@master:~$ sudo apt update
    [sudo] password for master: 
    Get:1 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial InRelease [8,993 B]
    Hit:2 http://mirrors.aliyun.com/ubuntu cosmic InRelease    
    Ign:3 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial/main amd64 Packages                  
    Get:3 http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial/main amd64 Packages [28.4 kB]        
    Hit:4 http://mirrors.aliyun.com/ubuntu cosmic-updates InRelease               
    Hit:5 http://mirrors.aliyun.com/ubuntu cosmic-backports InRelease                                                 
    Hit:6 http://mirrors.aliyun.com/ubuntu cosmic-security InRelease                                         
    Fetched 28.4 kB in 1s (44.9 kB/s)                  
    Reading package lists... Done
    Building dependency tree       
    Reading state information... Done
    92 packages can be upgraded. Run 'apt list --upgradable' to see them.
    master@master:~$

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 30]

以上没有报和错误异常，表示成功。

### 禁止基础设施 ###

1.  禁止防火墙

$ sudo ufw disable
       Firewall stopped and disabled on system startup

1.  关闭swap并查看

master@master:~$ top

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 31]

master@master:~$ top
    top - 13:16:35 up 32 min,  1 user,  load average: 0.00, 0.00, 0.00
    Tasks: 160 total,   1 running, 159 sleeping,   0 stopped,   0 zombie
    %Cpu(s):  0.7 us,  0.3 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    MiB Mem :   1969.9 total,   1126.7 free,    253.8 used,    589.4 buff/cache
    MiB Swap:   2048.0 total,   2048.0 free,      0.0 used.   1564.0 avail Mem

# 成功(临时关闭)
       $ sudo swapoff -a 
       # 永久关闭swap分区
       $ sudo sed -i 's/.*swap.*/#&/' /etc/fstab

或者可以

sudo vim /etc/fstab

![在这里插入图片描述][20190809214310563.png]

然后重启之后查看

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 32]

1.  禁止selinux

# 安装操控selinux的命令
    $ sudo apt install -y selinux-utils
    # 禁止selinux
    $ setenforce 0
    # 重启操作系统
    $ shutdown -r now
    # 查看selinux是否已经关闭
    $ sudo getenforce
    Disabled(表示已经关闭)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 33]

![在这里插入图片描述][20190809214419778.png]

重启之后查看

![在这里插入图片描述][20190809214429816.png]

### k8s系统网络配置 ###

(1) 配置内核参数，将桥接的IPv4流量传递到iptables的链

创建`/etc/sysctl.d/k8s.conf`文件

添加内容如下:

net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    vm.swappiness = 0

![在这里插入图片描述][201908092145057.png]

(2) 执行命令使修改生效

# 【候选】建议执行下面的命令
    $ sudo modprobe br_netfilter
    $ sudo sysctl -p /etc/sysctl.d/k8s.conf

![在这里插入图片描述][20190809214519334.png]

## 安装k8s ##

> **注意: 切换到root用户 `$ su`**

1.  安装Kubernetes 目前安装版本 `v1.13.1`

$ apt update && apt-get install -y kubelet=1.13.1-00 kubernetes-cni=0.6.0-00 kubeadm=1.13.1-00 kubectl=1.13.1-00

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 34]

1.  设置为开机重启

$ sudo systemctl enable kubelet && systemctl start kubelet
       $ sudo shutdown -r now

![在这里插入图片描述][20190809214610775.png]

## 验证k8s ##

1.  使用root用户登录`Master`主机
2.  执行如下个命令

kubectl get nodes

输出如下

$ kubectl get nodes
       The connection to the server localhost:8080 was refused - did you specify the right host or port?

1.  查看当前k8s版本

$ kubectl version

Client Version: version.Info{ Major:"1", Minor:"13", GitVersion:"v1.13.1", GitCommit:"eec55b9ba98609a46fee712359c7b5b365bdd920", GitTreeState:"clean", BuildDate:"2018-12-13T10:39:04Z", GoVersion:"go1.11.2", Compiler:"gc", Platform:"linux/amd64"}
    The connection to the server localhost:8080 was refused - did you specify the right host or port?

![在这里插入图片描述][20190809214658121.png]

# 创建Kubernetes多主机集群环境 #

## 创建两个节点(两个虚拟机) ##

1.  在VMWare中创建完整克隆，分别命名为`node1-k8s`和`node2-k8s`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 35]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 36]  
通过如此方法克隆node2  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 37]

分别对两个完整克隆的虚拟机进行如下操作，修改主机名称

1.  使用root用户登录
2.  打开配置文件`vim /etc/cloud/cloud.cfg`
3.  修改配置`preserve_hostname: true`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 38]

## master和node基础配置 ##

### 给node配置hostname ###

修改`/etc/hostname`，只有一行 `node1`或`node2`

`node1`主机

sudo vim /etc/hostname

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 39]

`node2`主机

sudo vim /etc/hostname

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 40]

### 配置IP地址 ###

*  master

`/etc/netplan/50-cloud-init.yaml`

network:
        ethernets:
            ens33:
                addresses: [192.168.174.133/24]
                dhcp4: false
                gateway4: 192.168.174.2
                nameservers:
                           addresses: [192.168.174.2]
                optional: true
        version: 2

重启ip配置

sudo netplan apply

*  node1

`/etc/netplan/50-cloud-init.yaml`

network:
        ethernets:
            ens33:
                addresses: [192.168.174.134/24]
                dhcp4: false
                gateway4: 192.168.174.2
                nameservers:
                           addresses: [192.168.174.2]
                optional: true
        version: 2

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 41]  
重启ip配置

sudo netplan apply

*  node2

`/etc/netplan/50-cloud-init.yaml`

network:
        ethernets:
            ens33:
                addresses: [192.168.174.135/24]
                dhcp4: false
                gateway4: 192.168.174.2
                nameservers:
                           addresses: [192.168.174.2]
                optional: true
        version: 2

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 42]

重启ip配置

sudo netplan apply

### 修改hosts文件 ###

注意： (Master、Node1、Node2都需要配置)

使用root用户登录

1.  打开hosts文件 `vim /etc/hosts`
2.  输入如下内容

192.168.174.133 master
       192.168.174.134 node1
       192.168.174.135 node2

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 43]

1.  重启机器`shutdown -r now`

## 配置Master节点 ##

### 创建工作目录 ###

$ sudo mkdir /home/master/working
    $ cd /home/master/working/

![在这里插入图片描述][20190809215223380.png]

### 创建kubeadm.conf配置文件 ###

1.  创建k8s的管理工具`kubeadm`对应的配置文件,之后操作在`home/master/working/`目录下

使用kubeadm配置文件，通过在配置文件中指定docker仓库地址，便于内网快速部署。

切换root用户，然后生成配置文件

kubeadm config print init-defaults ClusterConfiguration > kubeadm.conf

![在这里插入图片描述][20190809215257976.png]

1.  修改`kubeadm.conf`中的如下两项:

*  imageRepository
 *  kubernetesVersion

vi kubeadm.conf
    # 修改 imageRepository: k8s.gcr.io
    # 改为 registry.cn-beijing.aliyuncs.com/imcto
    imageRepository: registry.cn-beijing.aliyuncs.com/imcto
    # 修改kubernetes版本kubernetesVersion: v1.13.0
    # 改为kubernetesVersion: v1.13.1
    kubernetesVersion: v1.13.1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 44]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 45]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 46]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 47]  
3. 修改`kubeadm.conf`中的API服务器地址，后面会频繁使用这个地址。

*  localAPIEndpoint:

localAPIEndpoint:
      advertiseAddress: 192.168.174.133
      bindPort: 6443

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 48]

> 注意: `192.168.174.133`是master主机的ip地址

1.  配置子网网络

networking:
      dnsDomain: cluster.local
      podSubnet: 10.244.0.0/16
      serviceSubnet: 10.96.0.0/12
    scheduler: {}

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 49]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 50]

这里的`10.244.0.0/16` 和 `10.96.0.0/12`分别是k8s内部pods和services的子网网络，最好使用这个地址，后续flannel网络需要用到。

### 拉取K8s必备的模块镜像 ###

1.  查看一下都需要哪些镜像文件需要拉取

$ kubeadm config images list --config kubeadm.conf
    registry.cn-beijing.aliyuncs.com/imcto/kube-apiserver:v1.13.1
    registry.cn-beijing.aliyuncs.com/imcto/kube-controller-manager:v1.13.1
    registry.cn-beijing.aliyuncs.com/imcto/kube-scheduler:v1.13.1
    registry.cn-beijing.aliyuncs.com/imcto/kube-proxy:v1.13.1
    registry.cn-beijing.aliyuncs.com/imcto/pause:3.1
    registry.cn-beijing.aliyuncs.com/imcto/etcd:3.2.24
    registry.cn-beijing.aliyuncs.com/imcto/coredns:1.2.6

![在这里插入图片描述][20190809220138392.png]

1.  拉取镜像

#下载全部当前版本的k8s所关联的镜像
    kubeadm config images pull --config ./kubeadm.conf

![在这里插入图片描述][20190809215750293.png]

### 初始化kubernetes环境 ###

#初始化并且启动
    $ sudo kubeadm init --config ./kubeadm.conf

结果发现报了如下错误：

root@master:/home/master/working# sudo kubeadm init --config ./kubeadm.conf
    [init] Using Kubernetes version: v1.13.1
    [preflight] Running pre-flight checks
    error execution phase preflight: [preflight] Some fatal errors occurred:
            [ERROR NumCPU]: the number of available CPUs 1 is less than the required 2
    [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`

所以一开始的虚拟机CPU的处理器数量要选择2。我们重新对master和node1和node2进行设置。

更多kubeadm配置文件参数详见

kubeadm config print-defaults

然后我们设置完毕之后重新执行命令

$ sudo kubeadm init --config ./kubeadm.conf

![在这里插入图片描述][20190809215649326.png]

**k8s启动成功输出内容较多，但是记住末尾的内容**

Your Kubernetes master has initialized successfully!
    
    To start using your cluster, you need to run the following as a regular user:
    
      mkdir -p $HOME/.kube
      sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
      sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
    You should now deploy a pod network to the cluster.
    Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
      https://kubernetes.io/docs/concepts/cluster-administration/addons/
    
    You can now join any number of machines by running the following on each node
    as root:
    
      kubeadm join 192.168.174.133:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:8476ea088b475863dfa5a8a642ae3bc3db5df32b3b8b5526f777d411397b8bb7

按照官方提示，执行以下操作。

切换到普通的master用户

1.  执行如下命令

$ mkdir -p $HOME/.kube
       $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
       $ sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.  创建系统服务并启动

# 启动kubelet 设置为开机自启动
       $ sudo systemctl enable kubelet
       # 启动k8s服务程序
       $ sudo systemctl start kubelet

### 验证kubernetes启动结果 ###

1.  验证输入，注意显示master状态是`NotReady`，证明初始化服务器成功

$ kubectl get nodes
    NAME     STATUS     ROLES    AGE   VERSION
    master   NotReady   master   12m   v1.13.1

![在这里插入图片描述][20190809220332787.png]

1.  查看当前k8s集群状态

$ kubectl get cs
    NAME                 STATUS    MESSAGE              ERROR
    scheduler            Healthy   ok
    controller-manager   Healthy   ok
    etcd-0               Healthy   { "health": "true"}

![在这里插入图片描述][20190809220343672.png]

目前只有一个master，还没有node，而且是NotReady状态，那么我们需要将node加入到master管理的集群中来。在加入之前，我们需要先配置k8s集群的内部通信网络，这里采用的是flannel网络。

### 部署集群内部通信flannel网络 ###

$cd $HOME/working
    $sudo wget https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 51]

编辑这个文件，确保flannel网络是对的,找到`net-conf.json`标记的内容是否正确。

net-conf.json: |
        {
          "Network": "10.244.0.0/16",
          "Backend": {
            "Type": "vxlan"
          }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 52]

**这个"10.244.0.0/16"和 ./kubeadm.conf中的podsubnet的地址要一致。**

应用当前flannel配置文件

master@master:~/working$ sudo kubectl apply -f kube-flannel.yml

输出结果如下

master@master:~/working$ sudo kubectl apply -f kube-flannel.yml 
    clusterrole.rbac.authorization.k8s.io/flannel created
    clusterrolebinding.rbac.authorization.k8s.io/flannel created
    serviceaccount/flannel created
    configmap/kube-flannel-cfg created
    daemonset.extensions/kube-flannel-ds-amd64 created
    daemonset.extensions/kube-flannel-ds-arm64 created
    daemonset.extensions/kube-flannel-ds-arm created
    daemonset.extensions/kube-flannel-ds-ppc64le created
    daemonset.extensions/kube-flannel-ds-s390x created
    master@master:~/working$

![在这里插入图片描述][20190809220516450.png]

安装flannel网络前 执行`kubectl get nodes`输出结果如下

master@master:~/working$ kubectl get node
    NAME     STATUS     ROLES    AGE   VERSION
    master   NotReady   master   4m10s   v1.13.1

安装flannel网络后 执行`kubectl get nodes`输出结果如下

master@master:~/working$ kubectl get node
    NAME     STATUS   ROLES    AGE   VERSION
    master   Ready    master   10m   v1.13.1

此时master已经是`Ready`状态了，表示已经配置成功了，那么我们就需要配置node来加入这个集群。

如果一直还是NotReady状态，可以用如下命令查看pod运行状态

sudo kubectl get pods --all-namespaces

![在这里插入图片描述][2019080922061616.png]

可以看到集群中有许多的pod的状态不是RUNNING状态，而是Pending、ContainerCreating、ImagePullBackOff之类的没有就绪的状态，但通过这个命令我们可以查看到那些未就绪的pod的名字

然后我们通过如下命令，查看某一特定pod的具体情况

kubectl describe pod <pod name> --namespace=kube-system

kubectl describe pod kube-flannel-ds-amd64-d9rjr --namespace=kube-system

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 53]

可以看到某一特定pod的运行状态，命令的输出中就可以看到是某一特定的镜像拉取失败，从这里就可以看到镜像名了，例如镜像名为`quay.io/coreos/flannel:v0.11.0-amd64`的镜像拉取失败

我们可以通过手动拉取镜像  
将`quay.io/coreos/flannel:v0.11.0-amd64`改为`quay-mirror.qiniu.com /coreos/flannel:v0.11.0-amd64`，使用命令：

docker pull quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64

即可以拉取镜像

拉取完成之后，将`quay-mirror.qiniu.com /coreos/flannel:v0.11.0-amd64`改为`quay.io/coreos/flannel:v0.11.0-amd64`，使用命令：

docker tag docker pull quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.11.0-amd64

之后重新执行

kubectl apply –f kube-flannel.yml

如果还是下载不下来的话，只能用科学上网抢救一下了。。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 54]

## 配置Node ##

### 确认外部环境 ###

1.  确认关闭swap

sudo apt install -y selinux-utils
       sudo swapoff -a

1.  禁止selinux

sudo setenforce 0

1.  确认关闭防火墙

sudo ufw disable

### 配置k8s集群的Node主机环境 ###

1.  启动k8s后台服务

# 启动kubelet 设置为开机自启动
       $ sudo systemctl enable kubelet
       # 启动k8s服务程序
       $ sudo systemctl start kubelet

1.  将master机器的`/etc/kubernetes/admin.conf`传到到node1和node2
    
    登录`master`终端

#将admin.conf传递给node1
        sudo scp /etc/kubernetes/admin.conf master@192.168.174.134:/home/master/ 
       #将admin.conf传递给node2
       sudo scp /etc/kubernetes/admin.conf master@192.168.174.135:/home/master/

![在这里插入图片描述][20190809220825330.png]

1.  登录`node1`终端，创建基础kube配置文件环境

$ mkdir -p $HOME/.kube
    $ sudo cp -i $HOME/admin.conf $HOME/.kube/config
    $ sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.  登录`node2`终端，创建基础kube配置文件环境

$ mkdir -p $HOME/.kube
    $ sudo cp -i $HOME/admin.conf $HOME/.kube/config
    $ sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.  `node1`和`node2`分别连接`master`加入master集群。这里用的是`kubeadm join`指令

$  sudo kubeadm join 192.168.174.133:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:8476ea088b475863dfa5a8a642ae3bc3db5df32b3b8b5526f777d411397b8bb7

这里要注意，使用的hash应该是`master`主机 `kubeadm init`成功之后生成的hash码。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 55]

1.  应用两个node主机分别应用flannel网络

将`master`中的`kube-flannel.yml`分别传递给两个`node`节点.

#将kube-flannel.yml传递给node1
    sudo scp $HOME/working/kube-flannel.yml master@192.168.174.134:/home/master/ 
    #将kube-flannel.yml传递给node2
    sudo scp $HOME/working/kube-flannel.yml master@192.168.174.135:/home/master/

分别启动`flannel`网络

master@node1:~$ kubectl apply -f kube-flannel.yml

master@node2:~$ kubectl apply -f kube-flannel.yml

1.  查看node是否已经加入到k8s集群中(需要等一段时间才能ready)

master@node2:~$ kubectl get nodes
    NAME     STATUS   ROLES    AGE     VERSION
    master   Ready    master   35m     v1.13.1
    node1    Ready    <none>   2m23s   v1.13.1
    node2    Ready    <none>   40s     v1.13.1

![在这里插入图片描述][20190809220910697.png]

到这里Kubernetes集群的搭建就完成了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70]: /images/20211104/577a739dfabf4e5ea79cedcdacfadeae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 1]: /images/20211104/5b6cc58a21dc4f5d923fee4733a93436.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 2]: /images/20211104/084f32c3b00242d99c99bc0e81e6654c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 3]: /images/20211104/129c147b5cd645a2acae5f5cf2520526.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 4]: /images/20211104/0e16f38d0a4041b6b05c7bbaa9b87aa5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 5]: /images/20211104/8144e4ee73bb4312bb19dd0a98866818.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 6]: /images/20211104/b8e9964876f944f09a6b086383721985.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 7]: /images/20211104/11976157076f4a4ca2c33b9e57c3be4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 8]: /images/20211104/addbac47a87c4594ac5bf0474d9b8854.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 9]: /images/20211104/341ca5c6347b40ea87dd049740205f43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 10]: /images/20211104/2ec1eac39aeb489597315b763ccf13bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 11]: /images/20211104/2536490fc74b4effb2fe158a07cb8bc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 12]: /images/20211104/f20af9e2a51a4e68b33f617e85e0a879.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 13]: /images/20211104/e288a8673d7f47eaba68a7288efd3d8a.png
[20190809212200435.png]: /images/20211104/f1b576fd50664f259c12fd61bae55452.png
[20190809212227323.png]: /images/20211104/a422854e2d8349c385498de69f87be88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 14]: /images/20211104/831da23a963146049bd7fa113c24d80b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 15]: /images/20211104/e838ac85645f45df863819ff032993c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 16]: /images/20211104/0da4887fb026427b9a5e5fd7934e9f6d.png
[20190809212326945.png]: /images/20211104/5a3081a8cb2a4acba2f49857cb3626f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 17]: /images/20211104/067375f0fe4743d4a2be7cf30300e4d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 18]: /images/20211104/7a2f489802f94e2cb62c047e28afafeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 19]: /images/20211104/a10e141f979b4307ad4fa5f576159366.png
[20190809212508946.png]: /images/20211104/d26e071ddb454ab9ad5733d54558d774.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 20]: /images/20211104/19759df7b6a24b7fbed259fd887651f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 21]: /images/20211104/08fc69d18e2c43caa3887623be3acf96.png
[20190809212847776.png]: /images/20211104/c02dc7eac70243e2b97991dbe93cca5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 22]: /images/20211104/bda3949d917249e998271fade17d4b89.png
[20190809213220226.png]: /images/20211104/a55564f33c514e5da177a5d224e827f7.png
[20190809213225563.png]: /images/20211104/1699731cb30a439fb099e79b8a9a6dcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 23]: /images/20211104/c159bed9652f4b2b9446325a5d18ebb0.png
[20190809213401973.png]: /images/20211104/c746196d35a949df856da17b08015eff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 24]: /images/20211104/2d5162263e89417885bceb3a25ff7d61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 25]: /images/20211104/f927a64b64064f18948d6f1e7c8222dd.png
[20190809213444393.png]: /images/20211104/60c5faef88ff46b7bc0b647c2e4a6da3.png
[20190809213518143.png]: /images/20211104/698425aeeea84a7c94cf74a4dfc5c0a3.png
[20190809213657445.png]: /images/20211104/7017518384c84691bf795d028122407f.png
[20190809213534499.png]: /images/20211104/0e83855559034ef6a78fdf51a609c17b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 26]: /images/20211104/4e8a3f7beda645c89c0e19ec81d5dd46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 27]: /images/20211104/2ca91ed7f4df46918f1a1a5a6ccb531c.png
[20190809213826405.png]: /images/20211104/bc518cabada640e5bf34c518da1b8c96.png
[20190809213843862.png]: /images/20211104/6c58acace1504f57920d78adb03dfc2a.png
[20190809213921285.png]: /images/20211104/f3e52a7e64a546b98f3675fd0dd6b004.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 28]: /images/20211104/f36f43b0e5594f40afbc5ba86c307cc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 29]: /images/20211104/d67d15b2581d4105a4d38581e8c805d0.png
[20190809214101219.png]: /images/20211104/679e4fe9ac034f9d9ba4973252eb4c78.png
[20190809214126704.png]: /images/20211104/69d50428a1a74130ac370759b0b7c7d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 30]: /images/20211104/95dfdfa127c5404abe470207debc18a9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 31]: /images/20211104/e0adac5af8cb47978f61ddaa213b9323.png
[20190809214310563.png]: /images/20211104/87776a28586e455c8d65d65ffd7ee16d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 32]: /images/20211104/e67bfde7439c41efba196c5fef3f9f4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 33]: /images/20211104/da30634edaf24bfe91d50b1b040e5e00.png
[20190809214419778.png]: /images/20211104/7e44f2c243244a26826b895e119bf7d1.png
[20190809214429816.png]: /images/20211104/b290499a726f488dbb00ff462763f076.png
[201908092145057.png]: /images/20211104/e1d1e24fd80747bfb02a1b36652fa849.png
[20190809214519334.png]: /images/20211104/5e9905a6b904458ba20de1eba32254f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 34]: /images/20211104/f3f3db78c196432eaf6b115fa1c8c328.png
[20190809214610775.png]: /images/20211104/414d391b1b734918be54315df2c82d6d.png
[20190809214658121.png]: /images/20211104/6c992ea8166c4cbab3ede5146925525d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 35]: /images/20211104/e020214fbde54977a57f9532e9fcae90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 36]: /images/20211104/7b60f1249440465994c8b11241871fa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 37]: /images/20211104/8d0c85d0f0a1428ab71bfa6099f0eda2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 38]: /images/20211104/9ae34764d46d4cc7b47b8122279c66a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 39]: /images/20211104/8a7221c817194eda8c4f48a4d0ecfb82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 40]: /images/20211104/4fff2010b6ed461da9354c051a657a0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 41]: /images/20211104/b460dfd26d1a43a797c6d59b93475aab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 42]: /images/20211104/8ec07128058343a789d6b3d3ad0352d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 43]: /images/20211104/46595d9fb18841fc90f8440a3f239c3b.png
[20190809215223380.png]: /images/20211104/5d993508e65e45768999f9f9d9a10ac1.png
[20190809215257976.png]: /images/20211104/e62f1c5e184f407eac0c69c69c22288a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 44]: /images/20211104/dbaf2993adea4882b95612f614d6f97c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 45]: /images/20211104/7f279039d26347509ef8a0e783d56e94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 46]: /images/20211104/182d8387a70541ec9f9b508531e5c68c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 47]: /images/20211104/bf514aebb36d49f88c21af5a7a5d0c1c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 48]: /images/20211104/5436734aff23419da4aa069ab5710537.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 49]: /images/20211104/8d7e626170ab4650a702d8bfbde81c67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 50]: /images/20211104/b59c4a03308240a58658288f7d8b916a.png
[20190809220138392.png]: /images/20211104/8537d49059c94b22bc4f76635c4d3aaf.png
[20190809215750293.png]: /images/20211104/68b2de9920c64d93823595acf7234240.png
[20190809215649326.png]: /images/20211104/911167a4b684488b8fd513b4b0e982d0.png
[20190809220332787.png]: /images/20211104/f9d6d245aa5f446080cf2d6604fbd2a5.png
[20190809220343672.png]: /images/20211104/73479d75e10a4dc592eccc3962e01655.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 51]: /images/20211104/6c8ff2d08a31499e9d7c982bd01d338e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 52]: /images/20211104/b397d5adfd8d4f768a994d8fece153a3.png
[20190809220516450.png]: /images/20211104/d784ddc2692e4250a4534d5ce25ed384.png
[2019080922061616.png]: /images/20211104/1aec19a77b9b4be0812d8526790f7e99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 53]: /images/20211104/c30dd047ce234cacb100cc48420d7eb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 54]: /images/20211104/42591aaefba549adb21b129ef89c4031.png
[20190809220825330.png]: /images/20211104/25a01a4b20c244cb97bb55aff9f33f6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nja2V2aW5jeWg_size_16_color_FFFFFF_t_70 55]: /images/20211104/eee404ef5d5f4464999bee2e45325a2e.png
[20190809220910697.png]: /images/20211104/971c24c8fded4cadaa3f70cc5dafa2d4.png