rancher

深藏阁楼爱情的钟 2022-11-17 13:49 165阅读 0赞

**1 docker**  
参考[docker-ce][]

# 移除已有版本
    sudo yum remove docker \
                      docker-client \
                      docker-client-latest \
                      docker-common \
                      docker-latest \
                      docker-latest-logrotate \
                      docker-logrotate \
                      docker-engine
    # 配置仓库
    sudo yum install -y yum-utils \
      device-mapper-persistent-data \
      lvm2
    
    sudo yum-config-manager \
        --add-repo \
        https://download.docker.com/linux/centos/docker-ce.repo
    
    # 安装docker-ce
    sudo yum install docker-ce docker-ce-cli containerd.io -y
    
    
    # 修改docker镜像存储位置
    mkdir -p /appdata/lib/docker
    # 修改，找到对应的内容，修改配置
    vi /lib/systemd/system/docker.service
    ExecStart=/usr/bin/dockerd --data-root /appdata/lib/docker -H fd:// --containerd=/run/containerd/containerd.sock
    
    # 将之前安装的docker目录复制过来
    
    # 重启
    systemctl daemon-reload
    systemctl start docker
    
    # docker卸载
    sudo yum remove docker-ce docker-ce-cli containerd.io

执行`docker info`，可以看到根目录发生变化了

**2 rancher**  
参考[rancher手动快速部署][rancher]

docker run -d --privileged --restart=unless-stopped \
      -p 80:80 -p 443:443 \
      rancher/rancher:latest

输入ip地址，出现下面的内容，就ok了。参考[rancher2.0安装k8s集群][rancher2.0_k8s]  
![1][]  
**2.1 网络驱动**  
Pod网络的管理并非k8s系统内置，而由第三方以CNI插件方式完成，在k8s中网络是全联通。

1.  一个Pod一个IP，故Pod的IP是全局唯一。
2.  所有的Pod可以与任何其他Pod直接通信，无需使用NAT映射
3.  所有节点可以与所有Pod直接通信，无需NAT映射
4.  Pod内部获取到的IP地址与其他Pod或节点与其通信的IP地址时同一个。

可以看到rancher中有四个选项，每个选项对应的配置有所区别，默认是Canel

*  Flannel  
    通过划分子网来实现Pod的IP唯一，每个节点都是一个单独的子网，子网信息通过flannel存放在etcd中，flannel通过daemon的方式运行。  
    ![1][1 1]  
    每个节点都看到flannel的进程  
    ![1][1 2]  
    从下面两台机器可以看到k8s集群自身是一个大子网，每个节点都是一个小子网。子网不要与物理网络冲突。

[root@master1 flannel]# cat /var/run/flannel/subnet.env 
    FLANNEL_NETWORK=10.244.0.0/16
    FLANNEL_SUBNET=10.244.0.1/24
    FLANNEL_MTU=1450
    FLANNEL_IPMASQ=true
    
    [root@master3 ~]# cat /var/run/flannel/subnet.env 
    FLANNEL_NETWORK=10.244.0.0/16
    FLANNEL_SUBNET=10.244.2.1/24
    FLANNEL_MTU=1450
    FLANNEL_IPMASQ=true

flannel默认的工作数据转发方式时vxlan，最早支持upd但因性能问题已弃用。vxlan是一种overlap网络方案。源数据包封装在另一个网络包里面进行路由转发，vxlan是linux支持的隧道的技术，端到端设备的通信技术。  
veth（对数据的封装和解封装）封装在flannel.1这个虚拟网卡中，  
![1][1 3]  
执行`yum install bridge-utils -y`,网桥一头接着cni0，一头接着宿主机的veth6034a749，下面看到了cni的网桥

[root@master1 ~]# brctl show cni0
    bridge name     bridge id               STP enabled     interfaces
    cni0            8000.aa56802b9fd3       no              veth6034a749
    
    [root@master1 ~]# ifconfig
    cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
            inet 10.244.0.1  netmask 255.255.255.0  broadcast 10.244.0.255
            inet6 fe80::a856:80ff:fe2b:9fd3  prefixlen 64  scopeid 0x20<link>
            ether aa:56:80:2b:9f:d3  txqueuelen 1000  (Ethernet)
            RX packets 47453570  bytes 8231099330 (7.6 GiB)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 47794281  bytes 6540389640 (6.0 GiB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
            inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
            ether 02:42:ed:5c:87:8c  txqueuelen 0  (Ethernet)
            RX packets 0  bytes 0 (0.0 B)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 0  bytes 0 (0.0 B)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
            inet 10.128.4.164  netmask 255.255.255.0  broadcast 10.128.4.255
            inet6 fe80::f816:3eff:fe2b:3b5f  prefixlen 64  scopeid 0x20<link>
            ether fa:16:3e:2b:3b:5f  txqueuelen 1000  (Ethernet)
            RX packets 377170847  bytes 94262979128 (87.7 GiB)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 359637576  bytes 91164463064 (84.9 GiB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
            inet 10.244.0.0  netmask 255.255.255.255  broadcast 10.244.0.0
            inet6 fe80::4c4d:6eff:fe7e:ea22  prefixlen 64  scopeid 0x20<link>
            ether 4e:4d:6e:7e:ea:22  txqueuelen 0  (Ethernet)
            RX packets 43377005  bytes 4252841887 (3.9 GiB)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 43377013  bytes 7939553004 (7.3 GiB)
            TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0
    
    lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
            inet 127.0.0.1  netmask 255.0.0.0
            inet6 ::1  prefixlen 128  scopeid 0x10<host>
            loop  txqueuelen 1000  (Local Loopback)
            RX packets 164293744  bytes 44604421253 (41.5 GiB)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 164293744  bytes 44604421253 (41.5 GiB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
    
    veth6034a749: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
            inet6 fe80::a8a9:59ff:fe7d:c6ff  prefixlen 64  scopeid 0x20<link>
            ether aa:a9:59:7d:c6:ff  txqueuelen 0  (Ethernet)
            RX packets 47453570  bytes 8895449310 (8.2 GiB)
            RX errors 0  dropped 0  overruns 0  frame 0
            TX packets 47794287  bytes 6540390080 (6.0 GiB)
            TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

flannel还有一个Host GW主机网关模式，为路由方案。Pod中的eth0是在容器内部，并不是上面宿主机的，下面的veth就是上面宿主机中的veth6034a749。如果是节点内部，通过CNI作为二级交换机，就可以实现通信了。跨子网就需要经过默认网关flannel.1，从路由表中到目的ip

![1][1 4]  
flannel有自己的网桥，而不是使用docker0的

[root@master3 ~]# ip route
    default via 10.128.4.1 dev eth0 proto dhcp metric 100 
    10.128.4.0/24 dev eth0 proto kernel scope link src 10.128.4.211 metric 100 
    10.244.0.0/24 via 10.244.0.0 dev flannel.1 onlink 
    10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink 
    10.244.3.0/24 via 10.244.3.0 dev flannel.1 onlink 
    10.244.4.0/24 via 10.244.4.0 dev flannel.1 onlink 
    10.244.5.0/24 via 10.244.5.0 dev flannel.1 onlink 
    169.254.169.254 via 10.128.4.254 dev eth0 proto dhcp metric 100 
    172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1

二层VTEP设备之间需要知道目的MAC地址。这些mac地址的获取，当flannel进程启动后，会自动添加节点的ARP（地址解析协议，Address Resolution Protocol）记录。知道目的mac地址，封装二层数据帧，但这个数据帧是没法到达目的地，需要进一步封装UDP包。因为有多层封包，使用vxlan会导致性能存在一定瓶颈。

[root@master3 ~]# ip neigh show dev flannel.1
    10.244.4.0 lladdr fa:f4:e7:71:0e:85 PERMANENT
    10.244.1.0 lladdr 36:eb:26:2c:0b:4e PERMANENT
    10.244.0.0 lladdr 4e:4d:6e:7e:ea:22 PERMANENT
    10.244.5.0 lladdr ca:02:b2:d2:81:e8 PERMANENT
    10.244.3.0 lladdr 0a:b9:af:cf:03:ca PERMANENT

执行`kubectl get pods -o yaml`  
Host GW工作在二层，性能比xvlan好，但是不能做三层转发。

*  Calico
 *  Calico是一个纯三层的数据中心网络方案，calico是基于路由表实现容器数据包转发，但不同于flannel使用flanneld进程来维护路由信息的做法，calico采用BGP协议来自动维护整个集群的路由信息。  
    BGP是动态路由协议，大型规模的网络架构采用。两个自治系统，不在一个网络，想通信，通过路由器将两个自治系统AS连起来，BGP就是两个自治系统连接在一起的方式。  
    路由表写入到每个节点上，路由规则可以在路由表中手工添加，如果vlan节点很多，BGP可以动态学习到路由表信息。  
    [calico网络原理分析][calico]  
    ![1][1 5]  
    Calico主要由三部分组成，可以通过calloctl命令行界面实现高级策略和网络。
 *  Felix：以DeamonSet方式部署，运行在每一个节点上，主要负责维护宿主机上路由规则以及ACL规则
 *  BGP client（BIRD）：主要负责把felix写入kernel的路由信息分发到集群calico网络
 *  Etcd：分布式键值存储，保存calico的策略和网络配置状态，从上图看到了重要性，故而etcd推荐独立部署。  
    生产环境切换网络，pod需要重建。[calico的两种网络模式BGP和IP-IP性能分析][calico_BGP_IP-IP]  
    数据包不是通过网桥，而是通过ARP代理传到目的节点  
    calico要看看自己有没有那么厉害的运维实力，管理大型网络，另外有些公有云也不一定支持BGP协议（阿里云VPC可以支持BGP）。如果小型性能可以考虑flanno hostgw方式。上百台需要网络采用calico。

![2][]

*  Canel  
    ![2][2 1]
 *  weave  
    ![4][]  
    **2.2 集群选项**

[docker-ce]: https://blog.csdn.net/nickDaDa/article/details/92816938
[rancher]: https://docs.rancher.cn/docs/rancher2/quick-start-guide/deployment/quickstart-manual-setup/_index#%E8%BF%90%E8%A1%8C-linux-%E4%B8%BB%E6%9C%BA
[rancher2.0_k8s]: https://www.cnblogs.com/wanghao1874/p/10609206.html
[1]: /images/20221022/9807d457b3af48c9b49af72b6e4ecf08.png
[1 1]: /images/20221022/e278f83ef253431f9455f64d7fe6b8a3.png
[1 2]: /images/20221022/ce47bf94ae7d4e7a812258f133432292.png
[1 3]: /images/20221022/29e3fa1296a44d54b98532300963fcec.png
[1 4]: /images/20221022/8f5137ff18ac49dca35571b0e150400f.png
[calico]: https://blog.csdn.net/jiang_shikui/article/details/85870560
[1 5]: /images/20221022/1017e63d2c3841eaaa5666618b9a0ecc.png
[calico_BGP_IP-IP]: https://blog.csdn.net/tony_vip/article/details/108387890
[2]: /images/20221022/053ccef37a854eafb3031ef0b11895cd.png
[2 1]: /images/20221022/ecb985d0429a4dfc8e7ecf0abf5e6d56.png
[4]: /images/20221022/0c0ae04ee25343988352d4073f105658.png