Flannel配置详解

小灰灰 2021-11-04 13:42 479阅读 0赞

*  [1、简介][1]
 *  [2、Flannel实现原理][2_Flannel]
    
     *  [2.1、原理说明][2.1]
     *  [2.2、数据转发流程][2.2]
 *  [3、Flannel安装配置][3_Flannel]
    
     *  [3.1、环境准备][3.1]
     *  [3.2、安装etcd][3.2_etcd]
     *  [3.3、安装Flannel][3.3_Flannel]
     *  [3.4、启动Flannel][3.4_Flannel]
     *  [3.5、验证Flannel网络][3.5_Flannel]
     *  [3.6、配置Docker][3.6_Docker]
     *  [3.7、验证容器互通][3.7]
     *  [3.8、配置backend为host-gw][3.8_backend_host-gw]

# 1、简介 #

Flannel是一种基于overlay网络的跨主机容器网络解决方案，也就是将TCP数据包封装在另一种网络包里面进行路由转发和通信，

Flannel是CoreOS开发,专门用于docker多机互联的一个工具,让集群中的不同节点主机创建的容器都具有全集群唯一的虚拟ip地址

Flannel使用go语言编写

# 2、Flannel实现原理 #

## 2.1、原理说明 ##

Flannel为每个host分配一个subnet，容器从这个subnet中分配IP，这些IP可以在host间路由，容器间无需使用nat和端口映射即可实现跨主机通信

每个subnet都是从一个更大的IP池中划分的，flannel会在每个主机上运行一个叫flanneld的agent，其职责就是从池子中分配subnet

Flannel使用etcd存放网络配置、已分配 的subnet、host的IP等信息

Flannel数据包在主机间转发是由backend实现的，目前已经支持UDP、VxLAN、host-gw、AWS VPC和GCE路由等多种backend

## 2.2、数据转发流程 ##

![flannel][]

1.  容器直接使用目标容器的ip访问，默认通过容器内部的eth0发送出去。
2.  报文通过veth pair被发送到vethXXX。
3.  vethXXX是直接连接到虚拟交换机docker0的，报文通过虚拟bridge docker0发送出去。
4.  查找路由表，外部容器ip的报文都会转发到flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的flanneld。
5.  flanneld通过etcd维护了各个节点之间的路由表，把原来的报文UDP封装一层，通过配置的iface发送出去。
6.  报文通过主机之间的网络找到目标主机。
7.  报文继续往上，到传输层，交给监听在8285端口的flanneld程序处理。
8.  数据被解包，然后发送给flannel0虚拟网卡。
9.  查找路由表，发现对应容器的报文要交给docker0。
10. docker0找到连到自己的容器，把报文发送过去。

# 3、Flannel安装配置 #

## 3.1、环境准备 ##

## 3.2、安装etcd ##

etcd下载地址：https://github.com/coreos/etcd/releases

启动命令：

etcd -name etcd1 -data-dir /var/lib/etcd --advertise-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 --listen-client-urls http://192.168.198.133:2379,http://127.0.0.1:2379 &

## 3.3、安装Flannel ##

flannel下载地址：https://github.com/coreos/flannel/releases

添加flannel网络配置信息到etcd：

etcdctl --endpoints http://127.0.0.1:2379 set /coreos.com/network/config '{ "Network": "10.0.0.0/16", "SubnetLen": 24, "SubnetMin": "10.0.1.0","SubnetMax": "10.0.20.0", "Backend": { "Type": "vxlan"}}'

*  Network：用于指定Flannel地址池
 *  SubnetLen：用于指定分配给单个宿主机的docker0的ip段的子网掩码的长度
 *  SubnetMin：用于指定最小能够分配的ip段
 *  SudbnetMax：用于指定最大能够分配的ip段，在上面的示例中，表示每个宿主机可以分配一个24位掩码长度的子网，可以分配的子网从10.0.1.0/24到10.0.20.0/24，也就意味着在这个网段中，最多只能有20台宿主机
 *  Backend：用于指定数据包以什么方式转发，默认为udp模式，host-gw模式性能最好，但不能跨宿主机网络

## 3.4、启动Flannel ##

# cat /etc/systemd/system/flanneld.service [Unit] Description=Flanneld Documentation=https://github.com/coreos/flannel After=network.target Before=docker.service [Service] User=root ExecStartPost=/usr/local/bin/mk-docker-opts.sh ExecStart=/usr/local/bin/flanneld \ --etcd-endpoints="http://192.168.198.133:2379" \ --iface=192.168.198.133 \ --ip-masq=true \ --etcd-prefix=/coreos.com/network Restart=on-failure Type=notify LimitNOFILE=65536 [Install] WantedBy=multi-user.target # systemctl daemon-reload # systemctl start flanneld

Flannel启动过程解析：

*  从etcd中获取network的配置信息
 *  划分subnet，并在etcd中进行注册
 *  将子网信息记录到/run/flannel/subnet.env中

> Flannel必须先于Docker启动

## 3.5、验证Flannel网络 ##

查看etcd中的数据：

# etcdctl ls /coreos.com/network/subnets /coreos.com/network/subnets/10.0.18.0-24

查看docker1的flannel网卡信息：

38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff inet 10.0.18.0/32 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::188e:8bff:fe09:d6d4/64 scope link valid_lft forever preferred_lft forever

可以看到flannel0网卡的地址和etcd存储的地址一样，这样flannel网络配置完成

## 3.6、配置Docker ##

Docker安装完成以后，需要修改其启动参数以使其能够使用flannel进行IP分配，以及网络通讯

在Flannel运行之后，会生成一个环境变量文件，包含了当前主机要使用flannel通讯的相关参数，如下：

# cat /run/flannel/subnet.env FLANNEL_NETWORK=10.0.0.0/16 FLANNEL_SUBNET=10.0.18.1/24 FLANNEL_MTU=1450 FLANNEL_IPMASQ=true

可以使用flannel提供的脚本将subnet.env转写成Docker启动参数，创建好的启动参数默认生成在/run/docker\_opts.env文件中：

# /opt/flannel/mk-docker-opts.sh -c # cat /run/docker_opts.env DOCKER_OPTS=" --bip=10.0.18.1/24 --ip-masq=false --mtu=1450"

修改docker的服务启动文件如下：

# vim /lib/systemd/system/docker.service EnvironmentFile=/run/docker_opts.env ExecStart=/usr/bin/dockerd $DOCKER_OPTS -H fd://

重启docker：

systemctl daemon-reload systemctl restart docker

这时可以看到docker0的ip已经位于flannel网卡的网段之中：

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:de:a3:d8:7d brd ff:ff:ff:ff:ff:ff inet 10.0.18.1/24 brd 10.0.18.255 scope global docker0 valid_lft forever preferred_lft forever inet6 fe80::42:deff:fea3:d87d/64 scope link valid_lft forever preferred_lft forever 38: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default link/ether 1a:8e:8b:09:d6:d4 brd ff:ff:ff:ff:ff:ff inet 10.0.18.0/32 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::188e:8bff:fe09:d6d4/64 scope link valid_lft forever preferred_lft forever

## 3.7、验证容器互通 ##

root@ubuntu:~# docker run -it busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 39: eth0@if40: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:00:12:02 brd ff:ff:ff:ff:ff:ff inet 10.0.18.2/24 brd 10.0.18.255 scope global eth0 valid_lft forever preferred_lft forever / # ping 10.0.12.2 PING 10.0.12.2 (10.0.12.2): 56 data bytes 64 bytes from 10.0.12.2: seq=0 ttl=62 time=0.803 ms

root@ubuntuserver:~/flannel# docker exec -it b4d /bin/bash root@b4d65fdc02a3:/usr/local/apache2# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default link/ether 02:42:0a:00:0c:02 brd ff:ff:ff:ff:ff:ff inet 10.0.12.2/24 brd 10.0.12.255 scope global eth0 valid_lft forever preferred_lft forever root@b4d65fdc02a3:/usr/local/apache2# root@b4d65fdc02a3:/usr/local/apache2# root@b4d65fdc02a3:/usr/local/apache2# ping 10.0.18.2 PING 10.0.18.2 (10.0.18.2) 56(84) bytes of data. 64 bytes from 10.0.18.2: icmp_seq=1 ttl=62 time=0.794 ms 64 bytes from 10.0.18.2: icmp_seq=2 ttl=62 time=0.957 ms

此时的网络数据包流向如图：

![flannel2][]

## 3.8、配置backend为host-gw ##

host-gw bakcend是flannel的另一个backend。与vxlan不同，host-gw不会封装数据包，而是在主机的路由表中创建到其他主机的subnet的路由条目，从而实现容器网络跨主机通信。需要说明的是，host-gw不能跨宿主机网络通信，或者说跨宿主机网络通信需要物理路由支持。

修改etcd如下：

重启flanneld与docker：

systemctl restart flanneld docker

可以在宿主机上查看到路由条目：

root@ubuntu:~# ip route
    default via 192.168.198.2 dev ens33 proto dhcp metric 100 10.0.12.0/24 via 192.168.198.130 dev ens33 10.0.18.0/24 dev docker0 proto kernel scope link src 10.0.18.1 linkdown 169.254.0.0/16 dev ens33 scope link metric 1000 192.168.198.0/24 dev ens33 proto kernel scope link src 192.168.198.133 metric 100

转载于:https://www.cnblogs.com/zhengchunyuan/p/11275357.html

[1]: https://www.cnblogs.com/breezey/p/9419612.html#%E7%AE%80%E4%BB%8B
[2_Flannel]: https://www.cnblogs.com/breezey/p/9419612.html#flannel%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86
[2.1]: https://www.cnblogs.com/breezey/p/9419612.html#%E5%8E%9F%E7%90%86%E8%AF%B4%E6%98%8E
[2.2]: https://www.cnblogs.com/breezey/p/9419612.html#%E6%95%B0%E6%8D%AE%E8%BD%AC%E5%8F%91%E6%B5%81%E7%A8%8B
[3_Flannel]: https://www.cnblogs.com/breezey/p/9419612.html#flannel%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE
[3.1]: https://www.cnblogs.com/breezey/p/9419612.html#%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87
[3.2_etcd]: https://www.cnblogs.com/breezey/p/9419612.html#%E5%AE%89%E8%A3%85etcd
[3.3_Flannel]: https://www.cnblogs.com/breezey/p/9419612.html#%E5%AE%89%E8%A3%85flannel
[3.4_Flannel]: https://www.cnblogs.com/breezey/p/9419612.html#%E5%90%AF%E5%8A%A8flannel
[3.5_Flannel]: https://www.cnblogs.com/breezey/p/9419612.html#%E9%AA%8C%E8%AF%81flannel%E7%BD%91%E7%BB%9C
[3.6_Docker]: https://www.cnblogs.com/breezey/p/9419612.html#%E9%85%8D%E7%BD%AEdocker
[3.7]: https://www.cnblogs.com/breezey/p/9419612.html#%E9%AA%8C%E8%AF%81%E5%AE%B9%E5%99%A8%E4%BA%92%E9%80%9A
[3.8_backend_host-gw]: https://www.cnblogs.com/breezey/p/9419612.html#%E9%85%8D%E7%BD%AEbackend%E4%B8%BAhost-gw
[flannel]: https://raw.githubusercontent.com/yanruogu/MarkdownPhotos/master/docker/flannel.png
[flannel2]: /images/20211104/6a87c2af19e84ec598118641d7d85f9d.png