基于vagrant搭建k8s集群

阳光穿透心脏的1/2处 2022-10-17 00:45 217阅读 0赞

> Kubernetes基础介绍：https://hucheng.blog.csdn.net/article/details/107814598

### 文章目录 ###

*  一、K8S集群安装
 *   *  1.1 kubeadm 介绍
     *  1.2 部署流程
     *  1.3 使用 vagrant 创建虚拟机
     *  1.4 设置 linux 环境
     *  1.5 所有节点安装docker、kubeadm、kubelet、kubectl
     *  1.6 部署 k8s-master
     *  1.7 安装 pod 网络插件（CNI）
     *  1.8 添加 node 节点
 *  二、K8S 集群入门操作
 *  三、K8S 格式化输出

# 一、K8S集群安装 #

## 1.1 kubeadm 介绍 ##

`kubeadm`是官方社区推出的一个用于快速部署`Kubernetes`集群的工具，这个工具能通过两条指令完成一个`Kubernetes`集群的部署。

*  创建一个`master`节点：`kuberneters init`
 *  将一个`node`节点加入到当前集群中：`kubeadm join <Master节点的IP和端口>`

## 1.2 部署流程 ##

1.  在所有的节点上安装`Docker`和`kubeadm`；
2.  部署`Kubernetes Master`；
3.  部署容器网络插件
4.  部署`Kubernetes Node`，将节点加入`Kubernetes`集群中
5.  部署`DashBoard web`页面，可视化查看`Kubernetes`资源

## 1.3 使用 vagrant 创建虚拟机 ##

**① 通过`vagrantfile`来创建三个虚拟机，分别为`k8s-node1`，`k8s-node2`和`k8s-node3`，内容如下：**

Vagrant.configure("2") do |config|
       (1..3).each do |i|
            config.vm.define "k8s-node#{i}" do |node|
                # 设置虚拟机的Box
                node.vm.box = "centos/7"
    
                # 设置虚拟机的主机名
                node.vm.hostname="k8s-node#{i}"
    
                # 设置虚拟机的IP
                node.vm.network "private_network", ip: "169.254.210.#{99+i}", netmask: "255.255.255.0"
    
                # 设置主机与虚拟机的共享目录
                # node.vm.synced_folder "~/Documents/vagrant/share", "/home/vagrant/share"
    
                # VirtaulBox相关配置
                node.vm.provider "virtualbox" do |v|
                    # 设置虚拟机的名称
                    v.name = "k8s-node#{i}"
                    # 设置虚拟机的内存大小
                    v.memory = 2048
                    # 设置虚拟机的CPU个数
                    v.cpus = 4
                end
            end
       end
    end

**② 进入到三个虚拟机，开启`root`的密码访问权限**

使用`vagrant ssh k8s-node1`进入命令行模式

# 切换到root用户，密码为vagrant
    [vagrant@k8s-node1 ~]# su root
    # 修改配置 PermitRootLogin yes PasswordAuthentication yes
    [root@k8s-node1 ~]# vi /etc/ssh/sshd_config
    # 重启sshd服务
    [root@k8s-node1 ~]# service sshd restart

重复上述命令在`k8s-node2`、`k8s-node3`节点执行。

**③ `eth0`地址问题**

问题描述：由于默认创建虚机的网络类型是网络地址转换(使用是端口转发规则，使用同一个地址，通过不同的端口来区分)，三个节点的`eth0`地址相同，`eth0`地址用于`K8S`集群通信用的，区别于`eth1`上的`ip`地址，是通远程管理使用的。

解决方案：使用`NAT`网络

**④ 创建 NAT 网络**

在`VirtualBox`中新建一个`NAT`网络  
![在这里插入图片描述][20210531194927107.png]  
分别修改每台设备的网络类型，并刷新重新生成`MAC`地址  
![在这里插入图片描述][20210531195239666.png]

> 1网络是集群交互，2网络是宿主交互

再次查看三个节点的`IP`，`eth0`地址均不同。

## 1.4 设置 linux 环境 ##

**① 关闭防火墙**

[root@k8s-node1 ~]# systemctl start firewalld && systemctl disable firewalld

**② 关闭 seLinux**

# # linux默认的安全策略
    [root@k8s-node1 ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config
    [root@k8s-node1 ~]# setenforce 0

**③ 关闭 swap 分区**

# 永久关闭
    [root@k8s-node1 ~]# sed -ri 's/.*swap.*/#&/' /etc/fstab
    # 验证swap必须为0
    [root@k8s-node1 ~]# setenforce 0

**④ 添加主机名与 IP 对应关系**

[root@k8s-node1 ~]# vi /etc/hostname

**⑤ 将桥接的 IPV4 流量传递到 iptables 的链**

[root@k8s-node1 ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
    net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    EOF
    # 应用规则
    [root@k8s-node1 ~]# sysctl --system

**⑥ 集群同步时间**

[root@k8s-node1 ~]# yum -y install ntpupdate
    # 同步最新时间
    [root@k8s-node1 ~]# ntpupdate time.window.com

## 1.5 所有节点安装docker、kubeadm、kubelet、kubectl ##

**① 安装docker**

# 卸载之前的docker
    [root@k8s-node1 ~]# sudo yum remove docker \
    docker-client \
    docker-client-latest \
    docker-common \
    docker-latest \
    docker-latest-logrotate \
    docker-logrotate \
    docker-engine
    # 安装docker必须的依赖
    [root@k8s-node1 ~]# sudo yum install -y yum-utils \
    device-mapper persistent-data \
    lvm2
    # 设置docker repo的yum位置
    [root@k8s-node1 ~]# sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
    # 安装docker、docker-cli
    [root@k8s-node1 ~]# sudo yum -y install docker-ce docker-ce-cli containerd.io 
    # 配置docker加速
    [root@k8s-node1 ~]# sudo mkdir -p /etc/docker
    [root@k8s-node1 ~]# sudo tee /etc/docker/daemon.json <<-'EOF'
    { 
      "registry-mirrors": ["https://ke9h1pt4.mirror.aliyuncs.com"]
    }
    EOF
    [root@k8s-node1 ~]# sudo systemctl daemon-reload && sudo systemctl restart docker
    # 设置docker开机启动
    [root@k8s-node1 ~]# systemctl enable docker

**② 安装kubeadm、kubelet 和 kubectl**

# 添加阿里与Yum源
    [root@k8s-node1 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF
    # 安装
    [root@k8s-node1 ~]# yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3
    # 开机启动
    [root@k8s-node1 ~]# systemctl enable kubelet && systemctl start kubelet
    # 查看kubelet的状态
    [root@k8s-node1 ~]# systemctl status kubelet

## 1.6 部署 k8s-master ##

**① 拉取必要的镜像**

脚本如下：

#!/bin/bash
    
    images=(
    	kube-apiserver:v1.17.3
        kube-proxy:v1.17.3
    	kube-controller-manager:v1.17.3
    	kube-scheduler:v1.17.3
    	coredns:1.6.5
    	etcd:3.4.3-0
        pause:3.1
    )
    
    for imageName in ${images[@]} ; do
        docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    # docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
    done

**② kubeadm 初始化**

[root@k8s-node1 ~]# kubeadm init \
    --apiserver-advertise-address=10.0.2.5 \
    --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
    --kubernetes-version   v1.17.3 \
    --service-cidr=10.96.0.0/16  \
    --pod-network-cidr=10.244.0.0/16

执行完成后提示：  
![在这里插入图片描述][20210531165715641.png]  
根据提示执行以下命令：

[root@k8s-node1 ~]# mkdir -p $HOME/.kube
    [root@k8s-node1 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    [root@k8s-node1 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

**③ 测试 kubectl**

# 获取所有节点,目前Master状态为notready（等待网络加入完成即可）
    [root@k8s-node1 ~]# kubectl get nodes
    
    # 查看kubelet日志
    [root@k8s-node1 ~]# journalctl -u kubelet

## 1.7 安装 pod 网络插件（CNI） ##

在`master`节点上执行安装`pod`网络插件（网站可能被墙，可使用已下载的`kube-flannel.yml`）

# 安装flannel节点
    [root@k8s-node1 ~]# kubectl apply -f \
    https://raw.githubusercontent.com/coreos/flanne/master/Documentation/kube-flannel.yml
    # 查看pod节点，我们可以发现flannel已经正常运行
    [root@k8s-node1 ~]# kubectl get pods -n kube-system
    kube-flannel-ds-amd64-hkgvk         1/1     Running   1          3h43m

> kubectl具体命令可参考：https://hucheng.blog.csdn.net/article/details/107814598

## 1.8 添加 node 节点 ##

在`k8s-node2`、`k8s-node3`节点执行如下节点：

[root@k8s-node2 ~]# kubeadm join 10.0.2.5:6443 --token 8urds3.me47pfx0d0f5zne6 \
        --discovery-token-ca-cert-hash sha256:ae8e91f973cad9c893db75dbdf1f0666ff554d497ec53f539b8ec29865d8d3e2 
    [root@k8s-node3 ~]# kubeadm join 10.0.2.5:6443 --token 8urds3.me47pfx0d0f5zne6 \
        --discovery-token-ca-cert-hash sha256:ae8e91f973cad9c893db75dbdf1f0666ff554d497ec53f539b8ec29865d8d3e2
    # 过段时间查看节点状态，我们可以看到master、node节点均正常运行
    [root@k8s-node1 ~]# kubectl get nodes
    NAME        STATUS   ROLES    AGE     VERSION
    k8s-node1   Ready    master   3h57m   v1.17.3
    k8s-node2   Ready    <none>   3h47m   v1.17.3
    k8s-node3   Ready    <none>   3h47m   v1.17.3

`node`节点使用的`join`命令的`token`过期了怎么办？

# 重新生成token即可
    [root@k8s-node1 ~]# kubeadm token create --print-join-command

# 二、K8S 集群入门操作 #

**① 在主节点上部署一个 tomcat**

[root@k8s-node1 ~]# kubectl create deployment tomcat6 --image=tomcat:6.0.53-jre8

**② 查看节部署点信息**

# 我们可以看到tomcat部署到了k8s-node3上
    [root@k8s-node1 ~]# kubectl get pods -o wide
    NAME                       READY   STATUS    RESTARTS   AGE     IP           NODE        NOMINATED NODE   READINESS GATES
    tomcat6-5f7ccf4cb9-tfwrb   1/1     Running   0          4m42s   10.244.2.2   k8s-node3   <none>           <none>

**③ 模拟服务宕机，停掉`k8s-node3`虚机**

# 我们可以看到节点自动由k8s-node3转移到k8s-node2
    [root@k8s-node1 ~]# kubectl get pods -o wide
    NAME                       READY   STATUS              RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
    tomcat6-5f7ccf4cb9-h9b59   0/1     ContainerCreating   0          90s   <none>       k8s-node2   <none>           <none>
    tomcat6-5f7ccf4cb9-tfwrb   1/1     Terminating         0          33m   10.244.2.2   k8s-node3   <none>           <none>

**④ 暴露 nginx 访问**

# 将容器的8080端口映射为80端口
    [root@k8s-node1 ~]# kubectl expose deployment tomcat6 --port=80 --target-port=8080 --type=NodePort
    service/tomcat6 exposed
    # 查看service
    [root@k8s-node1 ~]# kubectl get svc
    NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)        AGE
    kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP        17h
    tomcat6      NodePort    10.96.9.65   <none>        80:32352/TCP   19s

访问`http://169.254.210.100:32352/`，可以看到`tomcat`的首页。

**⑤ 动态扩容测试**

[root@k8s-node1 ~]# kubectl scale --replicas=3 deployment tomcat6
    deployment.apps/tomcat6 scaled
    [root@k8s-node1 ~]# kubectl get pods
    NAME                       READY   STATUS    RESTARTS   AGE
    tomcat6-5f7ccf4cb9-8mr2t   1/1     Running   0          3s
    tomcat6-5f7ccf4cb9-h9b59   1/1     Running   0          12m
    tomcat6-5f7ccf4cb9-vwmnh   1/1     Running   0          3s

# 三、K8S 格式化输出 #

> kubectl文档：https://kubernetes.io/zh/docs/reference/kubectl/overview/  
> 资源类型：https://kubernetes.io/zh/docs/reference/kubectl/overview/\#资源类型  
> 格式化输出：https://kubernetes.io/zh/docs/reference/kubectl/overview/

所有`kubectl`命令的默认输出格式都是人类可读的纯文本格式，要以特定格式向终端窗口输出详细信息，可以将`-o`或`--output`参数添加到受支持的`kubectl`命令中。

语法：`kubectl [command] [TYPE] [NAME] -o=<output_format>`。

<table> 
 <thead> 
  <tr> 
   <th>Output format</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-o custom-columns=</td> 
   <td>使用逗号分隔的<a href="https://kubernetes.io/zh/docs/reference/kubectl/overview/#custom-columns" rel="nofollow">自定义列</a>列表打印表</td> 
  </tr> 
  <tr> 
   <td>-o custom-columns-file=</td> 
   <td>使用 `` 文件中的<a href="https://kubernetes.io/zh/docs/reference/kubectl/overview/#custom-columns" rel="nofollow">自定义列</a>模板打印表</td> 
  </tr> 
  <tr> 
   <td>-o json</td> 
   <td>输出 JSON 格式的 API 对象</td> 
  </tr> 
  <tr> 
   <td>-o jsonpath=</td> 
   <td>打印 <a href="https://kubernetes.io/docs/reference/kubectl/jsonpath/" rel="nofollow">jsonpath</a> 表达式定义的字段</td> 
  </tr> 
  <tr> 
   <td>-o jsonpath-file=</td> 
   <td>打印 `` 文件中 <a href="https://kubernetes.io/docs/reference/kubectl/jsonpath/" rel="nofollow">jsonpath</a> 表达式定义的字段</td> 
  </tr> 
  <tr> 
   <td>-o jsonpath-file=</td> 
   <td>仅打印资源名称而不打印任何其他内容</td> 
  </tr> 
  <tr> 
   <td>-o wide</td> 
   <td>以纯文本格式输出，包含任何附加信息。对于 pod 包含节点名</td> 
  </tr> 
  <tr> 
   <td>-o yaml</td> 
   <td>输出 YAML 格式的 API 对象</td> 
  </tr> 
 </tbody> 
</table>

[20210531194927107.png]: /images/20221014/e9cdae5c188b4422aefccecd35d90e5b.png
[20210531195239666.png]: /images/20221014/411f3672ad674a4b9dc26b91fc9d01d7.png
[20210531165715641.png]: /images/20221014/854bd527e4684ce991e6bc66c5715f50.png