kubeadm部署k8s v1.11.0

素颜马尾好姑娘i 2023-06-15 13:26 44阅读 0赞

Author:zhutong Time:2019-11-12  
**一、系统配置：**  
关闭防火墙、禁用selinux  
systemctl stop firewalld  
systemctl disable firewalld  
setenforce 0

**编辑文件/etc/selinux/config，将SELINUX修改为disabled，如下：**  
sed -i ‘s/SELINUX=permissive/SELINUX=disabled/g’ /etc/sysconfig/selinux  
SELINUX=disabled

**关闭系统Swap：1.15之后的新规定（我安装1.11.0也需要关闭，不然初始化会报错）**  
Kubernetes 1.8开始要求关闭系统的Swap，如果不关闭，默认配置下kubelet将无法启动。方法一,通过kubelet的启动参数–fail-swap-on=false更改这个限制。方法二,关闭系统的Swap。

swapoff -a  
修改/etc/fstab文件，注释掉SWAP的自动挂载，使用free -m确认swap已经关闭。

**二、安装低版本docker**  
v1.11.0版本推荐使用docker v17.03,  
v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用（亲测19以上的docker无法使用）

yum install -y yum-utils device-mapper-persistent-data lvm2  
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo  
yum makecache fast  
查看Docker版本：  
yum list docker-ce --showduplicates

**安装较旧版本（比如Docker 17.03.2) ：**  
需要指定完整的rpm包的包名，并且加上–setopt=obsoletes=0 参数

yum install -y --setopt=obsoletes=0  
docker-ce-17.03.2.ce-1.el7.centos.x86\_64  
docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch  
systemctl enable docker  
systemctl start docker.service  
docker -v

**三、使用kubeadm部署k8s**

**在所有节点安装kubeadm和kubelet（master需要安装kubectl）：  
配置源**  
cat < /etc/yum.repos.d/kubernetes.repo  
\[kubernetes\]  
name=Kubernetes  
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86\_64  
enabled=1  
gpgcheck=1  
repo\_gpgcheck=1  
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg  
EOF

安装  
yum makecache fast  
yum install -y kubelet-1.11.0  
yum install -y kubeadm-1.11.0 kubectl-1.11.0 \[分两步装 不然报错\]

**配置：  
配置转发相关参数，否则可能会出错**  
查看是否开启：sysctl net.ipv4.ip\_forward  
cat < /etc/sysctl.d/k8s.conf  
net.bridge.bridge-nf-call-ip6tables = 1  
net.bridge.bridge-nf-call-iptables = 1  
vm.swappiness=0  
EOF  
\{如果net.bridge.bridge-nf-call-iptables＝1，也就意味着二层的网桥在转发包时也会被iptables的FORWARD规则所过滤，这样就会出现L3层的iptables rules去过滤L2的帧的问题\}  
使配置生效  
sysctl --system

如果net.bridge.bridge-nf-call-iptables报错，加载br\_netfilter模块  
modprobe br\_netfilter  
sysctl -p /etc/sysctl.d/k8s.conf

**加载ipvs相关内核模块**(低版本不需要)  
如果重新开机，需要重新加载（可以写在 /etc/rc.local 中开机自动加载）  
modprobe ip\_vs  
modprobe ip\_vs\_rr  
modprobe ip\_vs\_wrr  
modprobe ip\_vs\_sh  
modprobe nf\_conntrack\_ipv4  
查看是否加载成功  
lsmod | grep ip\_vs

**配置启动kubelet（所有节点）  
配置kubelet使用国内pause镜像  
获取docker的cgroups**  
DOCKER\_CGROUPS=$(docker info | grep ‘Cgroup’ | cut -d’ ’ -f3)\[只针对此安装docker版本，其他版本的docker 驱动获取可能有点差异 \]  
echo $DOCKER\_CGROUPS

**配置kubelet的cgroups**  
cat >/etc/sysconfig/kubelet<<EOF  
KUBELET\_EXTRA\_ARGS="–cgroup-driver=$DOCKER\_CGROUPS --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google\_containers/pause-amd64:3.1"  
EOF

启动  
systemctl daemon-reload  
systemctl enable kubelet && systemctl restart kubelet(这时候所有节点的kubelet都无法启动，结合二进制安装可知道，只有master生成相关证书，认证各个节点的kubelet才能够启动成功。即master初始化集群，node节点加入集群)

**配置master节点  
下载镜像，重新打tag**

kubeadm config images list 查看初始化集群所需镜像  
\[root@master ~\]\# more images.sh  
\#!/bin/bash  
docker pull mirrorgooglecontainers/kube-apiserver:v1.11.0  
docker tag mirrorgooglecontainers/kube-apiserver:v1.11.0 k8s.gcr.io/kube-apiserver:v1.11.0  
docker pull mirrorgooglecontainers/kube-controller-manager:v1.11.0  
docker tag mirrorgooglecontainers/kube-controller-manager:v1.11.0 k8s.gcr.io/kube-controller-manager:v1.11.0  
docker pull mirrorgooglecontainers/kube-scheduler:v1.11.0  
docker tag mirrorgooglecontainers/kube-scheduler:v1.11.0 k8s.gcr.io/kube-scheduler:v1.11.0  
docker pull mirrorgooglecontainers/kube-proxy:v1.11.0  
docker tag mirrorgooglecontainers/kube-proxy:v1.11.0 k8s.gcr.io/kube-proxy:v1.11.0  
docker pull mirrorgooglecontainers/pause:3.1  
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1  
docker pull mirrorgooglecontainers/etcd:3.2.24  
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.24  
docker pull coredns/coredns:1.2.6  
docker tag coredns/coredns:1.2.6 k8s.gcr.io/coredns:1.2.6

cat >kubeadm-master.config<<EOF  
apiVersion: kubeadm.k8s.io/v1alpha2  
kind: MasterConfiguration  
kubernetesVersion: v1.11.0  
imageRepository: registry.cn-hangzhou.aliyuncs.com/google\_containers  
api:  
advertiseAddress: 6.6.6.134

controllerManagerExtraArgs:  
node-monitor-grace-period: 10s  
当node失联后一段时间后，kubernetes判定node为notready状态，这段时长的配置项为 node-monitor-grace-period ，默认40s  
pod-eviction-timeout: 10s  
即当节点宕机该事件间隔后，开始eviction机制，驱赶宕机节点上的Pod，默认为5min  
networking:  
podSubnet: 10.244.0.0/16\[预定义k8s集群的网段\]

**以下不需要配置，k8s以下的版本中，默认只是iptables.**  
kubeProxy:  
config:  
\# mode: ipvs  
mode: iptables  
EOF

**拉取镜像，若不成功，可执行多次**  
kubeadm reset(重置)  
kubeadm config images pull --config kubeadm-master.config  
初始化  
kubeadm init --config kubeadm-master.config

**配置使用kubectl**  
如下操作在master节点操作\[给kubectl授权 让其有权限调用apiserver\]  
rm -rf $HOME/.kube  
mkdir -p $HOME/.kube  
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  
chown  ( i d − u ) : (id -u): (id−u):(id -g) $HOME/.kube/config

查看node节点  
kubectl get nodes  
NAME STATUS ROLES AGE VERSION  
master NotReady master 6m19s v1.11.0

只有网络插件也安装配置完成之后，才能显示为ready状态

配置node节点加入集群：
    在所有node节点操作，此命令为初始化master成功后返回的结果,互相认证，互传证书
    kubeadm join 6.6.6.134:6443 --token 6twecq.lwprt3k2tfet7hhs --discovery-token-ca-cert-hash sha256:698ea50c43e91f2fb383a847f5aa8c3d133cffa76936171c0716fda55b3cb128
    
    这条命令如果有使用的应当清楚是让新的机器加入到k8s当中并充当worker nodes,只需要在后面跟上--experimental-control-plane 就能让该节点部署master上的所有组件包括etcd,如果在第一次配置中指定etcd配置（外部部署etcd）,那么会直接跳过

**配置使用网络插件  
在master节点操作**

下载配置  
cd ~ && mkdir flannel && cd flannel  
wget https://raw.githubusercontent.com/coreos/flannel/v0.10.0/Documentation/kube-flannel.yml

修改配置文件kube-flannel.yml:  
此处的ip配置要与上面kubeadm的pod-network一致，本来就一致，不用改  
net-conf.json: |  
\{  
“Network”: “10.244.0.0/16”,  
“Backend”: \{  
“Type”: “vxlan”  
\}  
\}  
**\#默认的镜像是quay.io/coreos/flannel:v0.10.0-amd64，如果你能pull下来就不用修改镜像地址，否则，修改yml中镜像地址为阿里镜像源**  
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64

\#目前需要在kube-flannel.yml中使用–iface参数指定集群主机内网网卡的名称，  
\#否则可能会出现dns无法解析。容器无法通信的情况，需要将kube-flannel.yml下载到本地，

\#flanneld启动参数加上–iface=  
containers:

*  name: kube-flannel  
    image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64  
    command:
 *  /opt/bin/flanneld  
    args:
 *  –ip-masq
 *  –kube-subnet-mgr
 *  –iface=ens33
 *  –iface=eth0

⚠️⚠️⚠️–iface=ens33 的值，是你当前的网卡,或者可以指定多网卡

启动：  
kubectl apply -f kube-flannel.yml

查看：  
kubectl get pods --namespace kube-system  
kubectl get service  
kubectl get svc --namespace kube-system  
只有网络插件也安装配置完成之后，才能会显示为ready状态

验证集群  
\[root@master flannel\]\# kubectl get pods -n kube-system  
NAME READY STATUS RESTARTS AGE  
coredns-777d78ff6f-d5fmr 1/1 Running 0 1h  
coredns-777d78ff6f-nwsrd 1/1 Running 0 1h  
etcd-master 1/1 Running 1 21m  
kube-apiserver-master 1/1 Running 3 20m  
kube-controller-manager-master 1/1 Running 4 21m  
kube-flannel-ds-56ljv 1/1 Running 0 1m  
kube-flannel-ds-grw75 1/1 Running 0 1m  
kube-flannel-ds-snn7s 1/1 Running 1 1m  
kube-proxy-g7682 1/1 Running 1 1h  
kube-proxy-j5j6k 1/1 Running 0 21m  
kube-proxy-kbk75 1/1 Running 0 17m  
kube-scheduler-master 1/1 Running 5 21m

查看node(未配置网络之前，node节点都是notready状态)  
\[root@master flannel\]\# kubectl get nodes  
NAME STATUS ROLES AGE VERSION  
master Ready master 1h v1.11.0  
node1 Ready 30m v1.11.0  
node2 Ready 29m v1.11.0

若node已经加入集群，但是状态显示NotReady,首先尝试重启kubelet

默认token的有效期为24小时，当过期之后，该token就不可用了。
    1.重新生成node节点加入集群的token
    kubeadm token create --print-join-command
    
    
    其他node节点需要加入集群，直接复制即可