《Kubernetes部署篇：Centos7.6部署kubernetes1.17.4单master集群》

亦凉 2023-01-15 03:41 343阅读 0赞

文章目录

  • 一、架构图
  • 二、部署环境
  • 三、环境初始化
    • 3.1、内核升级
    • 3.2、系统初始化配置
  • 四、Docker部署
  • 五、kubernetes部署
    • 5.1、设置kubernetes源
    • 5.2、安装kubelet、kubeadm和kubectl
    • 5.3、k8s相关镜像下载
    • 5.4、kubeadm初始化master节点
    • 5.5、配置kubectl
    • 5.6、配置flannel网络
    • 5.7、master节点kubelet服务启动
    • 5.8、worker节点部署
  • 总结：整理不易，如果对你有帮助，可否点赞关注一下？

一、架构图

在这里插入图片描述

二、部署环境


































主机名 系统版本 内核版本 IP地址 备注
k8s-master-211 centos7.6.1810 5.11.16 192.168.1.211 master节点
k8s-worker-213 centos7.6.1810 5.11.16 192.168.1.213 worker节点
k8s-worker-214 centos7.6.1810 5.11.16 192.168.1.214 worker节点

说明：建议操作系统选择centos7.5或centos7.6，centos7.2，centos7.3,centos7.4版本存在一定几率的kubelet无法启动问题。

三、环境初始化

说明：以下操作无论是master节点和worker节点均需要执行。

3.1、内核升级

说明：centos7.6系统内核默认是3.10.0，这里建议内核版本为5.11.16。

  1. 内核选择：
  2. kernel-lt（lt=long-term）长期有效
  3. kernel-ml（ml=mainline） 主流版本

升级步骤如下：

  1. # 1、下载内核
  2. CSDN下载地址：https://download.csdn.net/download/m0_37814112/17047556
  3. wget https://elrepo.org/linux/kernel/el7/x86_64/RPMS/kernel-ml-5.11.16-1.el7.elrepo.x86_64.rpm
  5. # 2、安装内核
  6. yum localinstall kernel-ml-5.11.16-1.el7.elrepo.x86_64.rpm -y
  8. # 3、查看当前内核版本
  9. grub2-editenv list
  11. # 4、查看所有内核启动grub2
  12. awk -F \' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
  14. # 5、修改为最新的内核启动
  15. grub2-set-default 'CentOS Linux (5.11.16-1.el7.elrepo.x86_64) 7 (Core)'
  17. # 6、再次查看内核版本
  18. grub2-editenv list
  20. # 7、reboot重启服务器（必须）

3.2、系统初始化配置

  1. # 1、分别三个节点修改主机名
  2. master节点： hostnamectl set-hostname k8s-master-211
  3. worker1节点：hostnamectl set-hostname k8s-worker-213
  4. worker2节点：hostnamectl set-hostname k8s-worker-214
  6. # 2、内核参数修改
  7. cat > /etc/sysctl.d/k8s.conf <<EOF vm.swappiness = 0 net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-arptables = 1 EOF
  8. sysctl --system 
  10. # 3、永久新增br_netfilter模块
  11. # k8s网络使用flannel，该网络需要设置内核参数bridge-nf-call-iptables=1，修改这个参数需要系统有br_netfilter模块。
  12. cat > /etc/rc.sysinit << EOF #!/bin/bash for file in /etc/sysconfig/modules/*.modules ; do [ -x $file ] && $file done EOF
  14. cat > /etc/sysconfig/modules/br_netfilter.modules << EOF modprobe br_netfilter EOF
  16. chmod 755 /etc/sysconfig/modules/br_netfilter.modules
  18. # 4、关闭防火墙
  19. systemctl stop firewalld && systemctl disable firewalld
  21. # 5、永久关闭selinux
  22. sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux
  23. sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
  25. # 6、关闭swap
  26. swapoff -a && sed -i 's/.*swap.*/#&/' /etc/fstab
  28. # 7、安装ipvsadm
  29. yum install ipvsadm -y
  30. cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack" for kernel_module in \${ipvs_modules}; do /sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1 if [ $? -eq 0 ]; then /sbin/modprobe \${kernel_module} fi done EOF
  31. chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep --color ip_vs >/dev/null
  32. lsmod | grep ip_vs
  34. # 8、修改文件描述符和进程数（根据实际情况修改）
  35. vim /etc/security/limits.conf
  36. root soft nofile 65535
  37. root hard nofile 65535
  38. root soft nproc 65535
  39. root hard nproc 65535
  40. root soft memlock unlimited
  41. root hard memlock unlimited
  42. * soft nofile 65535
  43. * hard nofile 65535
  44. * soft nproc 65535
  45. * hard nproc 65535
  46. * soft memlock unlimited
  47. * hard memlock unlimited
  49. # 9、reboot重启服务器（必须）

如下图所示：
在这里插入图片描述

四、Docker部署

说明：以下操作无论是master节点和worker节点均需要执行。

  1. # 1、安装依赖包
  2. yum install yum-utils device-mapper-persistent-data lvm2 -y 
  4. # 2、设置Docker源
  5. yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
  6. 或
  7. yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  9. # 3、docker安装版本查看
  10. yum list docker-ce --showduplicates | sort -r
  12. # 4、指定安装的docker版本为18.09.9
  13. yum install docker-ce-18.09.9 docker-ce-cli-18.09.9 containerd.io -y
  15. # 5、启动Docker
  16. systemctl start docker && systemctl enable docker
  18. # 6、修改Cgroup Driver
  19. # 修改docker数据目录，默认是/var/lib/docker,建议数据目录为主机上最大磁盘空间目录或子目录
  20. # 配置阿里云加速器
  22. vim /etc/docker/daemon.json
  23. { 
  24.   "registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"],
  25.   "exec-opts": ["native.cgroupdriver=systemd"],
  26.   "graph": "/data/docker"  
  27. }
  28. systemctl daemon-reload && systemctl restart docker

如下图所示：
在这里插入图片描述

五、kubernetes部署

5.1、设置kubernetes源

说明：以下操作无论是master节点和worker节点均需要执行。

  1. cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
  3. yum clean all && yum -y makecache

5.2、安装kubelet、kubeadm和kubectl

说明：以下操作无论是master节点和worker节点均需要执行。

  1. # 1、版本查看
  2. yum list kubelet --showduplicates | sort -r
  4. # 2、安装1.17.4版本
  5. yum install kubelet-1.17.4 kubeadm-1.17.4 kubectl-1.17.4 -y

5.3、k8s相关镜像下载

说明：以下操作无论是master节点和worker节点均需要执行。

  1. vim get_image.sh 
  2. #!/bin/bash
  3. url=registry.cn-hangzhou.aliyuncs.com/google_containers
  4. version=v1.17.4
  5. images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
  6. for imagename in ${images[@]} ; do
  7.   docker pull $url/$imagename
  8.   docker tag $url/$imagename k8s.gcr.io/$imagename
  9.   docker rmi -f $url/$imagename
  10. done

如下图所示：
在这里插入图片描述

5.4、kubeadm初始化master节点

说明：以下操作只需要在master节点执行。

  1. # 1、创建初始化配置文件
  2. kubeadm config print init-defaults > kubeadm-config.yaml
  4. # 根据实际部署环境修改信息：
  5. vim kubeadm-config.yaml
  7. apiVersion: kubeadm.k8s.io/v1beta1
  8. kind: ClusterConfiguration
  9. networking:
  10.   serviceSubnet: "10.96.0.0/16"  #service网段
  11.   podSubnet: "10.48.0.0/16"      #pod网段
  12. kubernetesVersion: "v1.17.4"     #kubernetes版本
  13. controlPlaneEndpoint: "192.168.1.211:6443" #apiserver ip和端口
  14. apiServer:
  15.   extraArgs:
  16.     authorization-mode: "Node,RBAC"
  17.     service-node-port-range: 30000-36000  #service端口范围
  18. imageRepository: ""
  19. ---
  20. apiVersion: kubeproxy.config.k8s.io/v1alpha1
  21. kind: KubeProxyConfiguration
  22. mode: "ipvs"
  24. # 3、初始化master
  25. kubeadm init --config=kubeadm-config.yaml --upload-certs --ignore-preflight-errors=all

如下图所示：
在这里插入图片描述

5.5、配置kubectl

说明：以下操作只需要在master节点执行。

  1. mkdir -p $HOME/.kube
  2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3. sudo chown $(id -u):$(id -g) $HOME/.kube/config

5.6、配置flannel网络

说明：以下操作只需要在master节点执行。

  1. # 1、下载官方模板文件
  2. wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
  4. # 2、部署flannel网络
  5. kubectl create -f kube-flannel.yml
  7. # 3、根据实际情况修改kube-flannel.yml
  8. vim kube-flannel.yml
  9. ---
  10. apiVersion: policy/v1beta1
  11. kind: PodSecurityPolicy
  12. metadata:
  13.   name: psp.flannel.unprivileged
  14.   annotations:
  15.     seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
  16.     seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
  17.     apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
  18.     apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
  19. spec:
  20.   privileged: false
  21.   volumes:
  22.   - configMap
  23.   - secret
  24.   - emptyDir
  25.   - hostPath
  26.   allowedHostPaths:
  27.   - pathPrefix: "/etc/cni/net.d"
  28.   - pathPrefix: "/etc/kube-flannel"
  29.   - pathPrefix: "/run/flannel"
  30.   readOnlyRootFilesystem: false
  31.   # Users and groups
  32.   runAsUser:
  33.     rule: RunAsAny
  34.   supplementalGroups:
  35.     rule: RunAsAny
  36.   fsGroup:
  37.     rule: RunAsAny
  38.   # Privilege Escalation
  39.   allowPrivilegeEscalation: false
  40.   defaultAllowPrivilegeEscalation: false
  41.   # Capabilities
  42.   allowedCapabilities: ['NET_ADMIN', 'NET_RAW']
  43.   defaultAddCapabilities: []
  44.   requiredDropCapabilities: []
  45.   # Host namespaces
  46.   hostPID: false
  47.   hostIPC: false
  48.   hostNetwork: true
  49.   hostPorts:
  50.   - min: 0
  51.     max: 65535
  52.   # SELinux
  53.   seLinux:
  54.     # SELinux is unused in CaaSP
  55.     rule: 'RunAsAny'
  56. ---
  57. kind: ClusterRole
  58. apiVersion: rbac.authorization.k8s.io/v1
  59. metadata:
  60.   name: flannel
  61. rules:
  62. - apiGroups: ['extensions']
  63.   resources: ['podsecuritypolicies']
  64.   verbs: ['use']
  65.   resourceNames: ['psp.flannel.unprivileged']
  66. - apiGroups:
  67.   - ""
  68.   resources:
  69.   - pods
  70.   verbs:
  71.   - get
  72. - apiGroups:
  73.   - ""
  74.   resources:
  75.   - nodes
  76.   verbs:
  77.   - list
  78.   - watch
  79. - apiGroups:
  80.   - ""
  81.   resources:
  82.   - nodes/status
  83.   verbs:
  84.   - patch
  85. ---
  86. kind: ClusterRoleBinding
  87. apiVersion: rbac.authorization.k8s.io/v1
  88. metadata:
  89.   name: flannel
  90. roleRef:
  91.   apiGroup: rbac.authorization.k8s.io
  92.   kind: ClusterRole
  93.   name: flannel
  94. subjects:
  95. - kind: ServiceAccount
  96.   name: flannel
  97.   namespace: kube-system
  98. ---
  99. apiVersion: v1
  100. kind: ServiceAccount
  101. metadata:
  102.   name: flannel
  103.   namespace: kube-system
  104. ---
  105. kind: ConfigMap
  106. apiVersion: v1
  107. metadata:
  108.   name: kube-flannel-cfg
  109.   namespace: kube-system
  110.   labels:
  111.     tier: node
  112.     app: flannel
  113. data:
  114.   cni-conf.json: |
  115.     { 
  116.       "name": "cbr0",
  117.       "cniVersion": "0.3.1",
  118.       "plugins": [
  119.         { 
  120.           "type": "flannel",
  121.           "delegate": { 
  122.             "hairpinMode": true,
  123.             "isDefaultGateway": true
  124.           }
  125.         },
  126.         { 
  127.           "type": "portmap",
  128.           "capabilities": { 
  129.             "portMappings": true
  130.           }
  131.         }
  132.       ]
  133.     }
  134.   net-conf.json: |
  135.     { 
  136.       "Network": "10.48.0.0/16",  #这里的网段地址需要与kubeadm-config.yaml配置文件定义的必须保持一致
  137.       "Backend": { 
  138.         "Type": "vxlan"
  139.       }
  140.     }
  141. ---
  142. apiVersion: apps/v1
  143. kind: DaemonSet
  144. metadata:
  145.   name: kube-flannel-ds
  146.   namespace: kube-system
  147.   labels:
  148.     tier: node
  149.     app: flannel
  150. spec:
  151.   selector:
  152.     matchLabels:
  153.       app: flannel
  154.   template:
  155.     metadata:
  156.       labels:
  157.         tier: node
  158.         app: flannel
  159.     spec:
  160.       affinity:
  161.         nodeAffinity:
  162.           requiredDuringSchedulingIgnoredDuringExecution:
  163.             nodeSelectorTerms:
  164.             - matchExpressions:
  165.               - key: kubernetes.io/os
  166.                 operator: In
  167.                 values:
  168.                 - linux
  169.       hostNetwork: true
  170.       priorityClassName: system-node-critical
  171.       tolerations:
  172.       - operator: Exists
  173.         effect: NoSchedule
  174.       serviceAccountName: flannel
  175.       initContainers:
  176.       - name: install-cni
  177.         image: quay.io/coreos/flannel:v0.14.0-rc1
  178.         command:
  179.         - cp
  180.         args:
  181.         - -f
  182.         - /etc/kube-flannel/cni-conf.json
  183.         - /etc/cni/net.d/10-flannel.conflist
  184.         volumeMounts:
  185.         - name: cni
  186.           mountPath: /etc/cni/net.d
  187.         - name: flannel-cfg
  188.           mountPath: /etc/kube-flannel/
  189.       containers:
  190.       - name: kube-flannel
  191.         image: quay.io/coreos/flannel:v0.14.0-rc1
  192.         command:
  193.         - /opt/bin/flanneld
  194.         args:
  195.         - --ip-masq
  196.         - --kube-subnet-mgr
  197.         resources:
  198.           requests:
  199.             cpu: "100m"
  200.             memory: "50Mi"
  201.           limits:
  202.             cpu: "100m"
  203.             memory: "50Mi"
  204.         securityContext:
  205.           privileged: false
  206.           capabilities:
  207.             add: ["NET_ADMIN", "NET_RAW"]
  208.         env:
  209.         - name: POD_NAME
  210.           valueFrom:
  211.             fieldRef:
  212.               fieldPath: metadata.name
  213.         - name: POD_NAMESPACE
  214.           valueFrom:
  215.             fieldRef:
  216.               fieldPath: metadata.namespace
  217.         volumeMounts:
  218.         - name: run
  219.           mountPath: /run/flannel
  220.         - name: flannel-cfg
  221.           mountPath: /etc/kube-flannel/
  222.       volumes:
  223.       - name: run
  224.         hostPath:
  225.           path: /run/flannel
  226.       - name: cni
  227.         hostPath:
  228.           path: /etc/cni/net.d
  229.       - name: flannel-cfg
  230.         configMap:
  231.           name: kube-flannel-cfg

说明：官方模板文件只需要修改”Network”: “10.48.0.0/16”这一字段，且这里的网段地址需要与kubeadm-config.yaml配置文件定义的必须保持一致。
如下图所示：
在这里插入图片描述

5.7、master节点kubelet服务启动

说明：以下操作只需要在master节点执行。

  1. systemctl restart kubelet && systemctl enable kubelet
  2. [root@node6 install-kubernetes]# kubectl get nodes
  3. NAME             STATUS   ROLES    AGE   VERSION
  4. k8s-master-211   Ready    master   17m   v1.17.4
  6. # 如果需要k8s的master节点允许调度，则执行如下操作，如果不需要可以忽略下操作
  7. kubectl taint nodes --all node-role.kubernetes.io/master-

5.8、worker节点部署

说明：以下操作只需要在worker节点执行。
在这里插入图片描述
如上图所示，操作如下：

  1. kubeadm join 192.168.1.211:6443 --token cvczz1.dyuc9k0mm15ez3g0 --discovery-token-ca-cert-hash sha256:a91c73bc4d83ffcca97fca7f83e0f60d41eeb8114d73e2c43e11938be0726ba0

如果你忘了token和公钥，可以通过如下命令执行：

  1. 执行命令生成token
  2. kubeadm token list
  4. 获取CA（证书）公钥哈希值
  5. openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^ .* //'
  7. kubeadm join 192.168.1.211:6443 --token 新生成的Token填写此处 --discovery-token-ca-cert-hash sha256:获取的公钥哈希值填写此处

如下所示,kubernetes一主多从，就部署完成了。

  1. [root@k8s-master-211 ~]# kubectl get nodes
  2. NAME             STATUS   ROLES    AGE    VERSION
  3. k8s-master-211   Ready    master   126m   v1.17.4
  4. k8s-worker-213   Ready    <none>   105m   v1.17.4
  5. k8s-worker-214   Ready    <none>   105m   v1.17.4

如下所示,kubernetes一主多从，就部署完成了。

下一章：《Kubernets部署篇：Centos7.6部署kubernetes1.17.4高可用集群(方案一)》

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：企业级K8s集群运维实战
在这里插入图片描述

发表评论

表情：
评论列表 （有 0 条评论，343人围观）

还没有评论，来说两句吧...

相关阅读