K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）

左手的ㄟ右手 2024-03-27 16:58 5阅读 0赞

#### 文章目录 ####

*  1 Kubernetes简介（k8s）
 *   *  2 安装实战
     *  2.1 主机安装并初始化
     *  2.2 安装docker
     *  2.3 安装Kubernetes组件
     *  2.4 准备集群镜像
     *  2.5 集群初始化
     *   *  2.6 安装flannel网络插件
 *  3 部署nginx 测试
 *   *  3.1 创建一个nginx服务
     *  3.2 暴漏端口
     *  3.3 查看服务
     *  3.4 测试服务

## 1 Kubernetes简介（k8s） ##

**传统部署**：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配计算资源，而且程序之间容易产生影响；

***容器化部署***：运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦, 带来很多便利，但是也会出现一些问题，比如说：

*  一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
 *  当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为**容器编排**问题，为了解决这些容器编排问题，就产生了一些容器编排的软件,目前k8s的时长占有率是最高的，本文参考尚硅谷教程记录了k8s一主一从简单集群环境的搭建过程，及实践过程中遇到的问题解决办法。

这里环境搭建是通过kubeadm 部署方式，kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes 集群的部署：

*  创建一个Master 节点kubeadm init
 *  将Node 节点加入到当前集群中$ kubeadm join <Master 节点的IP 和端口>

### 2 安装实战 ###

用到的主机是2台Linux系统，均内置Centos 7操作系统，准备好系统后我们在来从零开始安装docker、k8s三大组件-kubeadm/kubelet/kubectl程序。

### 2.1 主机安装并初始化 ###

大家都装过CentOS虚拟机吧，默认过程不详述了，我装的是CentOS 7,安装的时候打开了网卡，因为安装过程中需要访问外网拉取镜像，硬盘设置为30GB 或更多。  
这里有个坑，后面集群初始化的时候报错：  
`the number of available CPUs 1 is less than the required 2` 也就是说硬件配置必须要有2个或更多CPU,建议还是用实体机测试吧  
记录系统初始化步骤之前看一个小知识点，就是使用MobaXterm工具操作Linux系统的时候，工具栏有个MultiExec工具可以同时打开多个窗口同时执行某个命令或者粘贴命令行执行，这样我们就不用反复切换三台机器执行同样的代码了，部署集群环境又简单了一步，多窗口样子如下图：  
![在这里插入图片描述][8caa2fc2e11f4392aab3fd9aad4d4a96.png_pic_center]

1.  设置主机名解析
    
    为了方便后面集群节点间的直接调用，在这配置一下主机名解析，企业中通常会有内部DNS服务器做解析。两台机器同时执行以下命令：

cat <<EOF>> /etc/hosts
    192.168.177.132     master
    192.168.177.133     node1
    EOF

1.  时间同步（两台机器同时执行）
    
     *  kubernetes要求集群中的节点时间必须精确一致，这里有两个方案，一个是直接使用chronyd服务从网络同步时间

> `# 启动chronyd服务`  
> systemctl start chronyd  
> `# 设置chronyd服务开机自启`  
> systemctl enable chronyd  
> `# chronyd服务启动稍等几秒钟，就可以用date命令验证时间了`  
> date

*  另一种时间同步方式

> `#设置系统时区为 中国/上海`  
> timedatectl set-timezone Asia/Shanghai  
> \#`将当前的 UTC 时间写入硬件时钟`  
> timedatectl set-local-rtc 0  
> \#`重启依赖于系统时间的服务`  
> systemctl restart rsyslog  
> systemctl restart crond

1.  禁用iptables和firewalld服务（两台机器同时执行）  
    kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则  
    ![在这里插入图片描述][ae7535322cef4744a2c2d677650dc77a.png_pic_center]
2.  禁用selinux（两台机器同时执行）  
    selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种奇葩问题  
    ![在这里插入图片描述][28552b795f244e9f9ad6fc98b24e259a.png_pic_center]
3.  禁用swap分区（两台机器同时执行）  
    kubernetes要求每个节点都要禁用swap设备

> \#编辑分区配置文件/etc/fstab，注释掉swap分区一行  
> 注意修改完毕之后需要重启linux服务  
> vim /etc/fstab  
> 注释掉 /dev/mapper/centos-swap swap  
> \#/dev/mapper/centos-swap swap

1.  修改linux的内核参数（两台机器同时执行）

# 修改linux的内核采纳数，添加网桥过滤和地址转发功能
    # 编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置：
    net.bridge.bridge-nf-call-ip6tables = 1
    net.bridge.bridge-nf-call-iptables = 1
    net.ipv4.ip_forward = 1
    
    # 重新加载配置
    [root@master ~]# sysctl -p
    # 加载网桥过滤模块
    [root@master ~]# modprobe br_netfilter
    # 查看网桥过滤模块是否加载成功
    [root@master ~]# lsmod | grep br_netfilter

1.  配置ipvs功能（两台机器同时执行）

# 1.安装ipset和ipvsadm
    [root@master ~]# yum install ipset ipvsadmin -y
    # 2.添加需要加载的模块写入脚本文件
    [root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules
    #!/bin/bash
    modprobe -- ip_vs
    modprobe -- ip_vs_rr
    modprobe -- ip_vs_wrr
    modprobe -- ip_vs_sh
    modprobe -- nf_conntrack_ipv4
    EOF
    # 3.为脚本添加执行权限
    [root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
    # 4.执行脚本文件
    [root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
    # 5.查看对应的模块是否加载成功
    [root@master ~]# lsmod | grep -e -ip_vs -e nf_conntrack_ipv4
    nf_conntrack_ipv4      15053  10 
    nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
    nf_conntrack          133095  10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6

### 2.2 安装docker ###

（两台机器同时执行）

# 1、切换镜像源,wget命令找不到的话就 yum -y install wget
    [root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d.docker-ce.repo
    
    # 2、查看当前镜像源中支持的docker版本,我这里报错了，需要先cd到/etc/yum.repos.d/文件夹
    [root@master ~]# yum list docker-ce --showduplicates
    
    # 3、安装特定版本的docker-ce
    # 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本
    [root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y
    
    # 4、添加一个配置文件
    #Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
    [root@master ~]# mkdir /etc/docker
    [root@master ~]# cat <<EOF> /etc/docker/daemon.json
    {
    	"exec-opts": ["native.cgroupdriver=systemd"],
    	"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
    }
    EOF
    # 5、启动dokcer
    [root@master ~]# systemctl restart docker
    [root@master ~]# systemctl enable docker

上面我执行第2部分查看当前镜像源中支持的docker版本时报错如下，没匹配到软件包，需要cd到/etc/yum.repos.d/文件夹下面就ok了  
![在这里插入图片描述][9e5afffc5e644af4b969e10df5349972.png_pic_center]

### 2.3 安装Kubernetes组件 ###

（两台机器同时执行）

# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
    # 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置
    cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF
    [root@k8s-node1 ~]# yum makecache
    # 3、安装kubeadm、kubelet和kubectl
    [root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y
    
    # 4、配置kubelet的cgroup
    #编辑/etc/sysconfig/kubelet, 添加下面的配置
    cat <<EOF > /etc/sysconfig/kubelet
    KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
    KUBE_PROXY_MODE="ipvs"
    EOF
    # 5、设置kubelet开机自启
    [root@master ~]# systemctl enable --now kubelet

### 2.4 准备集群镜像 ###

（两台机器同时执行）

# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看
    [root@master ~]# kubeadm config images list
    # 下载镜像
    # 此镜像kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替换方案，直接执行
    images=(
    	kube-apiserver:v1.17.4
    	kube-controller-manager:v1.17.4
    	kube-scheduler:v1.17.4
    	kube-proxy:v1.17.4
    	pause:3.1
    	etcd:3.4.3-0
    	coredns:1.6.5
    )
    for imageName in ${images[@]};do
    	docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    	docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
    	docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName 
    done

### 2.5 集群初始化 ###

`下面的操作只需要在master节点上执行即可`

# 创建集群,注意192.168.177.132是master节点的ip
    [root@master ~]# kubeadm init 
    	--apiserver-advertise-address=192.168.177.132 
    	--image-repository registry.aliyuncs.com/google_containers 
    	--kubernetes-version=v1.17.4 
    	--service-cidr=10.96.0.0/12 
    	--pod-network-cidr=10.244.0.0/16
    # 创建必要文件
    [root@master ~]# mkdir -p $HOME/.kube
    [root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    [root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

`下面的操作只需要在node节点上执行即可`

#kubeadm join命令在master执行完上面的初始化后进行提示,注意保存，后面会使用该命令让node节点加入k8s集群
    kubeadm join 192.168.177.132:6443 --token awk15p.t6bamck54w69u4s8 \
        --discovery-token-ca-cert-hash sha256:a94fa09562466d32d29523ab6cff122186f1127599fa4dcd5fa0152694f17117

此时，通过kubectl get nodes命令查看主从节点都是NotReady状态

#### 2.6 安装flannel网络插件 ####

只在master节点操作即可,需要下载kube-flannel.yml配置文件，外网不好下载，可以直接生成/root/kube-flannel.yml文件，内容如下：

> https://github.com/flannel-io/flannel/tree/master/Documentation/kube-flannel.yml

[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
    [root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannelv014 quay.io/coreos/flannel:v0.14.0
    [root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
    [root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12 rancher/flannel-cni-plugin:v1.2
    [root@k8s-master1 ~]# kubectl apply -f kube-flannel.yml 
    Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
    podsecuritypolicy.policy/psp.flannel.unprivileged created
    clusterrole.rbac.authorization.k8s.io/flannel created
    clusterrolebinding.rbac.authorization.k8s.io/flannel created
    serviceaccount/flannel created
    configmap/kube-flannel-cfg created
    daemonset.apps/kube-flannel-ds created
    [root@k8s-master1 ~]# kubectl get nodes
    NAME       STATUS   ROLES                  AGE   VERSION
    master      Ready    control-plane,master   50m   v1.22.4
    node1       Ready    <none>                 44m   v1.22.4

此时，通过kubectl get nodes命令查看主从节点都是Ready状态

## 3 部署nginx 测试 ##

### 3.1 创建一个nginx服务 ###

[root@k8s-master1 ~]# kubectl create deployment nginx --image=nginx
    deployment.apps/nginx created

### 3.2 暴漏端口 ###

[root@k8s-master1 ~]# kubectl expose deployment nginx --port=80 --type=NodePort
    service/nginx exposed

### 3.3 查看服务 ###

[root@k8s-master1 ~]# kubectl get pod,svc
    NAME                         READY   STATUS    RESTARTS   AGE
    pod/nginx-6799fc88d8-ldpw2   1/1     Running   0          31s
    
    NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
    service/kubernetes   ClusterIP   172.16.0.1      <none>        443/TCP        56m
    service/nginx        NodePort    172.16.172.68   <none>        80:32550/TCP   14s

### 3.4 测试服务 ###

![在这里插入图片描述][35b902f8b0674141aae15288d2578aa1.png_pic_center]  
![在这里插入图片描述][4432500f82534636a2cc3cc9b12f4c24.gif_pic_center]

[8caa2fc2e11f4392aab3fd9aad4d4a96.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/705b357e9af9482daef81bfecce34378.png
[ae7535322cef4744a2c2d677650dc77a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/10b3404686784dcbaea72627a4e7a43c.png
[28552b795f244e9f9ad6fc98b24e259a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ec3815f3228b4692bd96737190e3c45a.png
[9e5afffc5e644af4b969e10df5349972.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d25c08e7169646a3a73ea693a6c30d80.png
[35b902f8b0674141aae15288d2578aa1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1522635fe38a4fd8a10e427b6c3f825d.png
[4432500f82534636a2cc3cc9b12f4c24.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fde83a49e1364704ac1e600f48e53a7a.png