kubernetes 安装 - (centos - 7)

我就是我 2022-11-10 10:48 128阅读 0赞

## 一、系统初始化 ##

#### 1、准备工作 ####

一台master：  
192.168.1.22  
两台node：  
192.168.1.33  
192.168.1.44

#三台机器联网
    [root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
    [root@localhost ~]# systemctl restart network
    [root@localhost ~]# ping www.baidu.com

#### 2、设置系统主机名以及 Host 文件的相互解析 ####

#master：192.168.1.22
    [root@localhost ~]# hostnamectl set-hostname k8s-master01
    #服务器多的话使用DNS解析，此处就用hosts文件解析
    [root@localhost ~]# vim /etc/hosts
    192.168.1.22 k8s-master01 m1
    192.168.1.33 k8s-node01 n1
    192.168.1.44 k8s-node02 n2
    [root@localhost ~]# scp /etc/hosts root@n1:/etc/hosts
    [root@localhost ~]# scp /etc/hosts root@n2:/etc/hosts
    #node： 192.168.1.33
    [root@localhost ~]# hostnamectl set-hostname k8s-node01
    #node： 192.168.1.44
    [root@localhost ~]# hostnamectl set-hostname k8s-node02

#### 3、安装依赖包 ####

#三台机器一样操作
    https://mirrors.163.com/
    [root@localhost yum.repos.d]# wget https://mirrors.163.com/.help/CentOS7-Base-163.repo
    [root@localhost yum.repos.d]# yum install -y conntrack ntpdate ntp ipvsadm ipset  iptables curl sysstat libseccomp wget  vim net-tools git lrzsz

#### 4、设置防火墙为 Iptables 并设置空规则 ####

#三台机器一样操作
    [root@localhost ~]# systemctl  stop firewalld  &&  systemctl  disable firewalld
    [root@localhost ~]# yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables  &&  iptables -F  &&  service iptables save

#### 5、关闭 SELINUX ####

#三台机器一样操作
    [root@localhost ~]# swapoff -a && sed -i '/ swap / s/^$.*$$/#\1/g' /etc/fstab
    [root@localhost ~]# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

#### 6、调整内核参数，对于 K8S ####

#三台机器一样操作
    [root@localhost ~]# cat > kubernetes.conf <<EOF
    net.bridge.bridge-nf-call-iptables=1
    net.bridge.bridge-nf-call-ip6tables=1
    net.ipv4.ip_forward=1
    net.ipv4.tcp_tw_recycle=0
    vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
    vm.overcommit_memory=1 # 不检查物理内存是否够用
    vm.panic_on_oom=0 # 开启 OOM	
    fs.inotify.max_user_instances=8192
    fs.inotify.max_user_watches=1048576
    fs.file-max=52706963
    fs.nr_open=52706963
    net.ipv6.conf.all.disable_ipv6=1
    net.netfilter.nf_conntrack_max=2310720
    EOF
    [root@localhost ~]# cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf
    [root@localhost ~]# sysctl -p /etc/sysctl.d/kubernetes.conf

#### 7、调整系统时区 ####

#三台机器一样操作
    # 设置系统时区为 中国/上海
    [root@localhost ~]# timedatectl set-timezone Asia/Shanghai
    # 将当前的 UTC 时间写入硬件时钟，Boise，虚拟机可以不做
    [root@localhost ~]# timedatectl set-local-rtc 0
    # 重启依赖于系统时间的服务
    [root@localhost ~]# systemctl restart rsyslog 
    [root@localhost ~]# systemctl restart crond
    [root@localhost ~]# /sbin/ntpdate -u ntp.aliyun.com
    #此操作保证虚拟机可以时间一直是同步的
    [root@localhost ~]# crontab -e
    */5 * * * * /sbin/ntpdate -u ntp.aliyun.com &> /dev/null

#### 8、关闭系统不需要服务 ####

#三台机器一样操作
    [root@localhost ~]# systemctl stop postfix && systemctl disable postfix

#### 9、设置 rsyslogd 和 systemd journald ####

#三台机器一样操作
    [root@localhost ~]# mkdir /var/log/journal # 持久化保存日志的目录
    [root@localhost ~]# mkdir /etc/systemd/journald.conf.d
    [root@localhost ~]# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
    [Journal]
    # 持久化保存到磁盘
    Storage=persistent
    
    # 压缩历史日志
    Compress=yes
    
    SyncIntervalSec=5m
    RateLimitInterval=30s
    RateLimitBurst=1000
    
    # 最大占用空间 10G
    SystemMaxUse=10G
    
    # 单日志文件最大 200M
    SystemMaxFileSize=200M
    
    # 日志保存时间 2 周
    MaxRetentionSec=2week
    
    # 不将日志转发到 syslog
    ForwardToSyslog=no
    EOF
    [root@localhost ~]# systemctl restart systemd-journald

#### 10、升级系统内核为 4.44 ####

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

#三台机器一样操作
    [root@localhost ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
    # 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！
    [root@localhost ~]# yum --enablerepo=elrepo-kernel install -y kernel-lt
    # 设置开机从新内核启动
    [root@localhost ~]# cat /boot/grub2/grub.cfg | grep 4.4
    [root@localhost ~]# grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
    [root@localhost ~]# reboot

## 二、Kubeadm 部署安装 ##

#### 1、kube-proxy开启ipvs的前置条件 ####

$ modprobe br_netfilter
    $ cat > /etc/sysconfig/modules/ipvs.modules <<EOF
    #!/bin/bash
    modprobe -- ip_vs
    modprobe -- ip_vs_rr
    modprobe -- ip_vs_wrr
    modprobe -- ip_vs_sh
    modprobe -- nf_conntrack_ipv4
    EOF
    $ chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

#### 2、安装 Docker 软件 ####

#安装依赖
    $ yum install -y yum-utils device-mapper-persistent-data lvm2
    $ yum-config-manager \
      --add-repo \
      http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    $ yum install -y docker-ce
    ## 创建 /etc/docker 目录
    $ mkdir /etc/docker
    #添加私有仓库解析
    $ vim /etc/hosts
    192.168.1.11 hub.txb.com
    # 配置 daemon.
    $ cat > /etc/docker/daemon.json <<EOF
    {
      "exec-opts": ["native.cgroupdriver=systemd"],
      "log-driver": "json-file",
      "log-opts": {
        "max-size": "100m"
      },
      "insecure-registries": ["hub.txb.com"]
    }
    EOF
    $ mkdir -p /etc/systemd/system/docker.service.d
    # 重启docker服务
    $ systemctl daemon-reload && systemctl restart docker && systemctl enable docker
    $ reboot
    #建议拍摄快照

#### 3、安装 Kubeadm （主从配置） ####

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF
    
    $ yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
    $ systemctl enable kubelet.service

#### 4、初始化主节点 ####

主节点：192.168.1.22
    
    $ kubeadm config print init-defaults > kubeadm-config.yaml
    $ vim kubeadm-config.yaml
    	#修改以下内容
    	localAPIEndpoint:
            advertiseAddress: 192.168.1.22
        kubernetesVersion: v1.15.1
    	networking:
          podSubnet: "10.244.0.0/16"
          serviceSubnet: 10.96.0.0/12
        #添加以下内容
        ---		#这里表示多个yaml文件合并在一起
        apiVersion: kubeproxy.config.k8s.io/v1alpha1
        kind: KubeProxyConfiguration
        featureGates:
          SupportIPVSProxyMode: true
        mode: ipvs
    
    $ kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
    
    $ mkdir -p $HOME/.kube
    $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    $ sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
    #以下操作用于 kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log 进行失败时执行，原因可能是下载时是国外网站，下载失败
    
    # 拖入kubeadm-basic.images.tar.gz
    # tar -xf kubeadm-basic.images.tar.gz 
    # 将本地压缩包解压后内容导入的脚本
    # vim loadimages.sh
    #!/bin/bash
    ls /root/kubeadm-basic.images/ > /tmp/images.cache
    for i in $(cat /tmp/images.cache)
    do
    	docker load -i /root/kubeadm-basic.images/$i
    done
    rm -rf /tmp/images.cache
    # chmod a+x loadimages.sh
    # ./loadimages.sh
    # scp -r kubeadm-basic.images loadimages.sh root@n1:/root/
    # scp -r kubeadm-basic.images loadimages.sh root@n2:/root/

#### 5、加入主节点以及其余工作节点 ####

从节点192.168.1.33  192.168.1.44
    #建议将k8s安装的每一个插件或者初始化日志都保留下来，方便日后的维护
    # mkdir /usr/local/kubernetes
    # mkdir /usr/local/kubernetes/install
    # mv kubeadm-config.yaml kubeadm-init.log /usr/local/kubernetes/install/
    
    $ ./loadimages.sh 
    
    #执行安装日志中的加入命令即可
    #在主节点 192.168.1.22 中执行下面命令后复制最后一行，然后在从节点执行即可
    # cat /usr/local/kubernetes/install/kubeadm-init.log 
    #复制
    #kubeadm join 192.168.1.22:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:fec12a6fb88cb5885666fa1e8354783ad8bd8018c94abe6b4906317cb5c5b336 
    
    #从节点
    $ kubeadm join 192.168.1.22:6443 --token abcdef.0123456789abcdef \
        --discovery-token-ca-cert-hash sha256:fec12a6fb88cb5885666fa1e8354783ad8bd8018c94abe6b4906317cb5c5b336 
    
    #主节点查看从节点是否加入
    $ kubectl get node
    NAME           STATUS     ROLES    AGE    VERSION
    k8s-master01   NotReady   master   63m    v1.15.1
    k8s-node01     NotReady   <none>   31m    v1.15.1
    k8s-node02     NotReady   <none>   107s   v1.15.1

#### 6、部署网络 ####

主节点
    #创建插件存放目录，拖入rpm包flannel.tar.gz
    $ mkdir /usr/local/kubernetes/cni
    $ mv flannel.tar.gz /usr/local/kubernetes/cni/
    $ cd /usr/local/kubernetes/cni/
    $ tar -xf flannel.tar.gz
    $ rm -rf flannel.tar.gz
    $ cd flannel/
    $ docker load -i flannel.tar
    $ scp flannel.tar root@n1:/root/
    $ scp flannel.tar root@n2:/root/
    
    从节点
    $ docker load -i flannel.tar
    
    主节点
    $ kubectl create -f kube-flannel.yml
    $ kubectl get pod -n kube-system
    $ kubectl get node
    NAME           STATUS   ROLES    AGE    VERSION
    k8s-master01   Ready    master   3h2m   v1.15.1
    k8s-node01     Ready    <none>   149m   v1.15.1
    k8s-node02     Ready    <none>   120m   v1.15.1