kubeadm部署k8s集群

柔情只为你懂 2022-09-05 04:07 399阅读 0赞

kubernetes 官方提供的三种部署方式

  • minikube

    Minikube是一个工具，可以在本地快速运行一个单点的Kubernetes，仅用于尝试Kubernetes或日常开发的用户使用。部署地址：https://kubernetes.io/docs/setup/minikube/

  • kubeadm

    Kubeadm也是一个工具，提供kubeadm init和kubeadm
    join，用于快速部署Kubernetes集群。部署地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

  • 二进制包

    从官方下载发行版的二进制包，手动部署每个组件，组成Kubernetes集群。下载地址：https://github.com/kubernetes/kubernetes/releases

今天我们使用kubeadm部署k8s集群

1. 设置linux环境（每个节点都执行）

  1. -- 禁用防火墙
  2. systemctl stop firewalld
  3. -- 停止并禁用开机启动
  4. systemctl disable firewalld
  6. -- 关闭selinux（关闭linux默认的安全策略，不关闭会修改/etc/selinux/config的内容）
  7. sed -i 's/enforcing/disabled/' /etc/selinux/config 
  8. -- 把当前会话的默认安全策略也禁掉（或者重启虚拟机应该也可，我是这样理解的）
  9. setenforce 0
  11. -- 关闭swap（关闭内存交换）（开启内存交换的话，性能会出现很大的问题）
  12. swapoff -a        （临时的，只针对当前会话起作用，若会话关闭，重开还是会开启内存交换，所以使用下面一行命令即可）
  13. sed -ri 's/.*swap.*/#&/' /etc/fstab        （永久关闭）
  14. # free -g 验证，swap必须为0;
  16. -- 添加主机名与IP对应关系(注意：主机名一定不能是localhost，如果是，使用下面命令修改主机名)
  17. vi /etc/hosts
  18. 192.168.12.132 k8s-master
  19. 192.168.12.133 k8s-node1
  20. 192.168.12.134 k8s-node2
  22. -- 查看主机名命令
  23. hostname
  24. -- 修改主机名命令
  25. sudo hostnamectl set-hostname <newhostname>
  27. -- 将桥接的IPv4流量传递到iptables的链
  28. --（如果不执行可能会有些流量统计指标的消失，为了让更精确的统计流量，所以执行此命令）
  29. cat > /etc/sysctl.d/k8s.conf << EOF
  30. net.bridge.bridge-nf-call-ip6tables = 1
  31. net.bridge.bridge-nf-call-iptables = 1
  32. EOF
  33. -- 让系统应用此规则
  34. sysctl --system

疑难问题：
– 遇见提示是只读的文件系统,运行如下命令
mount -o remount rw /

date 查看时间(可选)
yum install -y ntpdate
ntpdate time.windows.com 同步最新时间

2. 安装docker、kubeadm、kubelet、kubectl（每个节点都执行）

docker安装查看我之前的文章即可，这里不过多赘述：https://blog.csdn.net/RookiexiaoMu_a/article/details/119081868

  • kubeadm：用来初始化集群的指令。
  • kubelet：在集群中的每个节点上用来启动 Pod 和容器等。

  • kubectl：用来与集群通信的命令行工具。

    — 添加阿里云yum源（告诉linux，kubeadm在哪里安装）
    cat > /etc/yum.repos.d/kubernetes.repo << EOF
    [kubernetes]
    name=kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

    — 检查yum源是不是有跟kube相关的安装源

    yum list | grep kube

    — 指定版本安装
    yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3
    — 设置开机自启
    systemctl enable kubelet
    — 启动kubelet
    systemctl start kubelet

3. 下载master需要的镜像（master节点执行即可）

将文件：master_images.sh传输到linux
master_images.sh文件内容如下：

  1. #!/bin/bash
  3. images=(
  4.     kube-apiserver:v1.17.3
  5.     kube-proxy:v1.17.3
  6.     kube-controller-manager:v1.17.3
  7.     kube-scheduler:v1.17.3
  8.     coredns:1.6.5
  9.     etcd:3.4.3-0
  10.     pause:3.1
  11. )
  12. for imageName in ${ images[@]} ; do
  13.     docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
  14. # docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
  15. done

给master_images.sh文件执行的权限：

  1. -- 给文件执行的权限
  2. chmod 700 master_images.sh

执行：

  1. ./master_images.sh

若在】运行该脚本出现如下错误。
./master_images.sh
-bash: ./master_images.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录
原因
在Windows系统上编写的Shell脚本，然后上传到Linux服务器执行。
Windows系统中的换行符是**\n\r**，Linux系统中的换行符是**\n**，因此需要将**\r**替换为空白。
解决方案
Linux sed命令可自动编辑一个或多个文件，执行以下命令即可。
sed -i ‘s/\r$//’ master_images.sh
注意：是英文的单引号，而不是中文的单引号

4.构建master节点（master节点执行即可）

在master节点执行一下命令

  1. kubeadm init \
  2. --apiserver-advertise-address=192.168.12.132 \
  3. --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
  4. --kubernetes-version v1.17.3 \
  5. --service-cidr=192.96.0.0/16 \
  6. --pod-network-cidr=192.244.0.0/16

– 命令解析：第二行：指定apiserver的地址，即master节点的地址
– 第三行：由于master初始化需要下载很多镜像，默认是从k8s.gcr.io拉取镜像，k8s.gcr.io镜像地址国内无法访问，这里指定阿里云镜像仓库地址。
– 第四行：kubernetes版本
– 第五行：service网络
– 第六行：pod网络
– cidr
科普:无类别域间路由(Classless Inter-Domain Routing、CIDR）是一个用于给用户分配IP地址以及在互联网上有效地路由IP数据包的对IP地址进行归类的方法。
第五行建议使用：–service-cidr=10.96.0.0/16
第六行建议使用：–pod-network-cidr=10.244.0.0/16
因为后续安装flannel默认的网段是10.244.0.0
为了导致不必要的麻烦所以建议使用

注意：一定要关闭内存交换，否则会初始化失败

成功之后可以看到以下相似内容：

  1. mkdir -p $HOME/.kube
  2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3. sudo chown $(id -u):$(id -g) $HOME/.kube/config
  5. https://kubernetes.io/docs/concepts/cluster-administration/addons/
  7. kubeadm join 192.168.12.132:6443 --token 52vuzh.z54kubq02bumxxoc \
  8.     --discovery-token-ca-cert-hash sha256:abf12d2c8debd8535d1fe086c44c184569a6655ac39cfd66fa156ee890373e1e

将第一段复制下来执行：

  1. mkdir -p $HOME/.kube
  2. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  3. sudo chown $(id -u):$(id -g) $HOME/.kube/config

将第三段复制下来，在另外两台虚拟机执行：
【让另外两台节点加入这个集群，注：token的有效时长为2小时】

  1. kubeadm join 192.168.12.132:6443 --token 52vuzh.z54kubq02bumxxoc \
  2.     --discovery-token-ca-cert-hash sha256:abf12d2c8debd8535d1fe086c44c184569a6655ac39cfd66fa156ee890373e1e

– token过期怎么办？执行红色字体命令，将控制台的内容复制到另外两台节点执行即可（此生成的token是永久有效的token）
#kubeadm token create —print-join-command
kubeadm token create —ttl 0 —print-join-command
kubeadm join —token y1eyw5.ylg568kvohfdsfco —discovery-token-ca-cert-hash
sha256:6c35e4f73f72afd89bf1c8c303ee55677d2cdb1342d67bb23c852aba2efc7c73

4.1安装pod网络插件：flannel网络规划服务（master节点执行即可）

flannel的作用以及介绍在下文会有介绍

执行命令：

  1. $ kubectl apply -f \
  2. https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

若是报错：未找到命令，或者文档下载不下来，可使用小编的这个文件：kube-flannel.yml，上传到linux上。

kube-flannel.yml内容如下：

  1. ---
  2. apiVersion: policy/v1beta1
  3. kind: PodSecurityPolicy
  4. metadata:
  5.   name: psp.flannel.unprivileged
  6.   annotations:
  7.     seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default
  8.     seccomp.security.alpha.kubernetes.io/defaultProfileName: docker/default
  9.     apparmor.security.beta.kubernetes.io/allowedProfileNames: runtime/default
  10.     apparmor.security.beta.kubernetes.io/defaultProfileName: runtime/default
  11. spec:
  12.   privileged: false
  13.   volumes:
  14.   - configMap
  15.   - secret
  16.   - emptyDir
  17.   - hostPath
  18.   allowedHostPaths:
  19.   - pathPrefix: "/etc/cni/net.d"
  20.   - pathPrefix: "/etc/kube-flannel"
  21.   - pathPrefix: "/run/flannel"
  22.   readOnlyRootFilesystem: false
  23.   # Users and groups
  24.   runAsUser:
  25.     rule: RunAsAny
  26.   supplementalGroups:
  27.     rule: RunAsAny
  28.   fsGroup:
  29.     rule: RunAsAny
  30.   # Privilege Escalation
  31.   allowPrivilegeEscalation: false
  32.   defaultAllowPrivilegeEscalation: false
  33.   # Capabilities
  34.   allowedCapabilities: ['NET_ADMIN', 'NET_RAW']
  35.   defaultAddCapabilities: []
  36.   requiredDropCapabilities: []
  37.   # Host namespaces
  38.   hostPID: false
  39.   hostIPC: false
  40.   hostNetwork: true
  41.   hostPorts:
  42.   - min: 0
  43.     max: 65535
  44.   # SELinux
  45.   seLinux:
  46.     # SELinux is unused in CaaSP
  47.     rule: 'RunAsAny'
  48. ---
  49. kind: ClusterRole
  50. apiVersion: rbac.authorization.k8s.io/v1
  51. metadata:
  52.   name: flannel
  53. rules:
  54. - apiGroups: ['extensions']
  55.   resources: ['podsecuritypolicies']
  56.   verbs: ['use']
  57.   resourceNames: ['psp.flannel.unprivileged']
  58. - apiGroups:
  59.   - ""
  60.   resources:
  61.   - pods
  62.   verbs:
  63.   - get
  64. - apiGroups:
  65.   - ""
  66.   resources:
  67.   - nodes
  68.   verbs:
  69.   - list
  70.   - watch
  71. - apiGroups:
  72.   - ""
  73.   resources:
  74.   - nodes/status
  75.   verbs:
  76.   - patch
  77. ---
  78. kind: ClusterRoleBinding
  79. apiVersion: rbac.authorization.k8s.io/v1
  80. metadata:
  81.   name: flannel
  82. roleRef:
  83.   apiGroup: rbac.authorization.k8s.io
  84.   kind: ClusterRole
  85.   name: flannel
  86. subjects:
  87. - kind: ServiceAccount
  88.   name: flannel
  89.   namespace: kube-system
  90. ---
  91. apiVersion: v1
  92. kind: ServiceAccount
  93. metadata:
  94.   name: flannel
  95.   namespace: kube-system
  96. ---
  97. kind: ConfigMap
  98. apiVersion: v1
  99. metadata:
  100.   name: kube-flannel-cfg
  101.   namespace: kube-system
  102.   labels:
  103.     tier: node
  104.     app: flannel
  105. data:
  106.   cni-conf.json: | { "name": "cbr0", "cniVersion": "0.3.1", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] }
  107.   net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "vxlan" } }
  108. ---
  109. apiVersion: apps/v1
  110. kind: DaemonSet
  111. metadata:
  112.   name: kube-flannel-ds
  113.   namespace: kube-system
  114.   labels:
  115.     tier: node
  116.     app: flannel
  117. spec:
  118.   selector:
  119.     matchLabels:
  120.       app: flannel
  121.   template:
  122.     metadata:
  123.       labels:
  124.         tier: node
  125.         app: flannel
  126.     spec:
  127.       affinity:
  128.         nodeAffinity:
  129.           requiredDuringSchedulingIgnoredDuringExecution:
  130.             nodeSelectorTerms:
  131.             - matchExpressions:
  132.               - key: kubernetes.io/os
  133.                 operator: In
  134.                 values:
  135.                 - linux
  136.       hostNetwork: true
  137.       priorityClassName: system-node-critical
  138.       tolerations:
  139.       - operator: Exists
  140.         effect: NoSchedule
  141.       serviceAccountName: flannel
  142.       initContainers:
  143.       - name: install-cni
  144.         image: quay.io/coreos/flannel:v0.14.0
  145.         command:
  146.         - cp
  147.         args:
  148.         - -f
  149.         - /etc/kube-flannel/cni-conf.json
  150.         - /etc/cni/net.d/10-flannel.conflist
  151.         volumeMounts:
  152.         - name: cni
  153.           mountPath: /etc/cni/net.d
  154.         - name: flannel-cfg
  155.           mountPath: /etc/kube-flannel/
  156.       containers:
  157.       - name: kube-flannel
  158.         image: quay.io/coreos/flannel:v0.14.0
  159.         command:
  160.         - /opt/bin/flanneld
  161.         args:
  162.         - --ip-masq
  163.         - --kube-subnet-mgr
  164.         resources:
  165.           requests:
  166.             cpu: "100m"
  167.             memory: "50Mi"
  168.           limits:
  169.             cpu: "100m"
  170.             memory: "50Mi"
  171.         securityContext:
  172.           privileged: false
  173.           capabilities:
  174.             add: ["NET_ADMIN", "NET_RAW"]
  175.         env:
  176.         - name: POD_NAME
  177.           valueFrom:
  178.             fieldRef:
  179.               fieldPath: metadata.name
  180.         - name: POD_NAMESPACE
  181.           valueFrom:
  182.             fieldRef:
  183.               fieldPath: metadata.namespace
  184.         volumeMounts:
  185.         - name: run
  186.           mountPath: /run/flannel
  187.         - name: flannel-cfg
  188.           mountPath: /etc/kube-flannel/
  189.       volumes:
  190.       - name: run
  191.         hostPath:
  192.           path: /run/flannel
  193.       - name: cni
  194.         hostPath:
  195.           path: /etc/cni/net.d
  196.       - name: flannel-cfg
  197.         configMap:
  198.           name: kube-flannel-cfg

Flannel简介：
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。
Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。
Flannel实质上是一种“覆盖网络(overlaynetwork)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持udp、vxlan、host-gw、aws-vpc、gce和alloc路由等数据转发方式，默认的节点间数据通信方式是UDP转发。

Flannel特点：
1.使集群中的不同Node主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
2.建立一个覆盖网络（overlay network），通过这个覆盖网络，将数据包原封不动的传递到目标容器。覆盖网络是建立在另一个网络之上并由其基础设施支持的虚拟网络。覆盖网络通过将一个分组封装在另一个分组内来将网络服务与底层基础设施分离。在将封装的数据包转发到端点后，将其解封装。
3.创建一个新的虚拟网卡flannel0接收docker网桥的数据，通过维护路由表，对接收到的数据进行封包和转发（vxlan）。
4.etcd保证了所有node上flanned所看到的配置是一致的。同时每个node上的flanned监听etcd上的数据变化，实时感知集群中node的变化。

执行命令：（应用此配置文件）

  1. kubectl apply -f kube-flannel.yml

若想将kube-flannel.yml指定的资源全部删除，使用命令：
kubectl delete -f kube-flannel.yml

查看k8s集群的节点，在master执行：

  1. kubectl get nodes

在这里插入图片描述
可以看到这里是有三个节点，但是有一个状态是：NotReady

使用以下命令监控pod的进度

  1. -- 监控pod进度
  2. watch kubectl get pod -n kube-system -o wide

可以看到pod的状态，小编的flannel有一个没有启动，需要都启动才行：
在这里插入图片描述

如果flannel没启动的，重启虚拟机，然后启动docker、启动kubectl
若是设置了docker、kubectl开机自启，那就不用手动启动docker、kubectl了
– 设置开机自启
systemctl enable kubelet
– 启动kubelet
systemctl start kubelet
– 设置开机自启
systemctl enable docker
– 启动docker
systemctl start docker

发表评论

表情：
评论列表 （有 0 条评论，399人围观）

还没有评论，来说两句吧...

相关阅读

    相关 k8s kubeadm 集群部署

    k8s 集群 容器镜像准备 > 使用kubeadm部署k8s集群，所以k8s集群的所有核心组件均以pod运行、 > > 需要准备镜像，不然初始化的时候会自动下载，时间会

    梦里梦外;梦里梦外;/ 0 赞/ 35 阅读