kubernetes容器网络接口(CNI) midonet网络插件的设计与实现

た入场券 2022-06-08 13:49 172阅读 0赞

# 相关原理概述 #

## 先来讲讲什么是CNI? ##

CNI（容器网络接口）是一种操作容器网络规范，包含方法规范，参数规范等。  
CNI只关心容器的网络连接，在容器创建时分配网络资源，并在删除容器时删除分配的资源。因为这个焦点，CNI有广泛的支持，规格易于实现。CNI接口只需要实现两个方法，一个创建容器时调用，一个删除容器时调用。

![image][]

## Kubernetes如何支持和运行遵循CNI规范的插件 ##

kubernetes首先以插件的形式完成(pod)容器的网络资源设置。内置的插件包括:cni,kubenet,hostport等。这里简单说说kubenet。这是一个简单的网络插件，每台机器上创建一个br0网桥，根据PodCIDR为每个pod设置ip连接到br0网桥上。次方式可结合一些网络路由工具完成一个小规模的集群网络pod互联。我们主要讲CNI插件。kubernetes以cni插件来支持cni规范，调用其他厂商和个人开发的遵循cni规范的各种网络插件，例如`Calico`,`Flannel`等。k8s默认情况下cni模式不支持端口映射等。k8s将容器网络设置none,完全交给插件去管理容器网络资源。  
![image][image 1]

## 上文多次提到的网络资源是什么？ ##

容器网络资源包括：虚拟网卡,IP地址，DNS,网络路由等等。容器使用独立的网络命名空间，可以具有自己的网络资源信息。这些信息数据由不同的CNI插件根据不同的SDN网络的实现给容器配置。

# MidoNet SDN网络 #

MidoNet是由日本的SDN公司Midkura研发的一款网络虚拟化软件，其基于底层物理设施来实现网络虚拟化，具有分布式、分散、多层次的特点，主要作为OpenStack中的默认网络组件，可以让虚拟网络解决方案，特别是专为网络基础设施设计的方案，为云平台如OpenStack服务，并且将其网络存贮栈虚拟化。MidoNet为每个租户分配一个逻辑router,租户与租户之间是相互隔离的，租户内部之间是能够相互通讯的，Midonet支持L2交换、L3路由、L4负载均衡

有状态和无状态NAT，逻辑和分布式防火墙，BGP与ECMP支持。其架构主要包含以下组件：

### Midolman（Midonet Agent）：Midonet ###

Agent安装在各个计算节点，负责建立网络流量控制和提供分布式Midonet网络服务，路由，NAT等他把相关的虚拟网络信息存放到NSDB。

### Network State ###

Database(NSDB):存储网络配置和状态，网络拓扑，路由，Midonet不集中处理网络功能，由Midonet Agent处理，Midonet Agent会跟NSDBs做实时同步当有变化时候会及时同步并且更新NSDB  
MidoNet支持大规模SDN集群，其架构理论上支持上万节点。我们可以使用MidoNet完成k8s集群内租户内Pod网络互联。

## MidoNet多租户下网络结构模型 ##

SDN(软件定义网络)，Midonet软件定义你所熟知的网络组件。以下简单介绍几个核心的软件定义概念：

*  Router(路由器)  
    一个租户对应一个Router,连接到同一个Router的Bridge网络互通。Midonet会创建一个PrivierRouter，所有租户Router连接到PrivierRouter与外网互通。等价于一个路由器内网互通，连接上级路由器接入公网。
 *  Bridge(网桥)  
    一个租户下可以有多个Bridge，每个Bridge使用不同的网段。例如一个Bridge网段为`192.168.0.0/24`，最多可以有253个虚拟设备连接到本Bridge。
 *  Port(设备通信端口)  
    Router与Router之间，Router与Bridge之间的通信接口。
 *  Route(路由)  
    路由规则，给Router定义流量包转发端口的规则。
 *  Rule(过滤规则)  
    定义包过滤条件。类似于iptables。

![image][image 2]

# 基于MidoNet的kubernetes CNI插件实现 #

Midonet数据交换工作在三层，但是其本身不提供IP地址管理(IPAM),因此基于Midonet的cni插件需要完成以下工作：IPAM,租户Router、Bridge创建，容器网卡创建，以及所有端到端连接和路由过滤规则创建。

## IPAM ##

需要完成两个层面的IP管理，Router级别的地址管理，每一个Router具有一个IP地址，且全局唯一不冲突。每一个Bridge具有一个唯一网段，连接的虚拟网卡具有全局唯一IP 。  
IPAM有很多实现方式，CNI插件是无状态应用，或许你需要一个守护进程来完成IPAM工作。基于简化架构的思路，我们使用ETCD来存储IP数据，直接由插件来操作ETCD。完成IP的使用和释放。

## 租户网络初始化 ##

当新租户第一次创建容器时进行租户虚拟设备的初始化创建，上文我们已经介绍了一个租户需要创建的虚拟设备有哪些，这里我讲讲细节。  
Midonet提供了Rest-API来操作虚拟设备。这里注意，根据使用的不同版本的Midonet使用不同版本的API。  
[https://github.com/barnettZQG/golang-midonetclient][https_github.com_barnettZQG_golang-midonetclient]  
封装了golang版的Midonet api操作方法，支持1.和5.API版本。  
创建步骤如下：

1.  创建租户，调用Keystone API。
2.  创建Router，并包含创建进出Chain。
3.  创建PrivierRouter Port并赋IP,创建Router Port并赋IP。创建PortLink连接两个Port。
4.  为前面创建的Chain创建对应的路由规则
5.  为前面创建的Port创建包过滤规则
6.  创建一个默认的Bridge。并创建Port连上Router。
7.  存储以上创建的相关数据进ETCD.

## 容器网卡创建和网络绑定 ##

### Virtual Ethernet Pair ###

简称veth pair,是一个成对的端口,所有从这对端口一 端进入的数据包都将从另一端出来,反之也是一样.其两端可存在于不同的网络空间（Network Namespace）。容器创建成功后具有一个网络空间，k8s此时调用CNI插件ADD方法进行网络设置。插件首先创建一对Veth pair。将其一端置于宿主机网络空间，调用Midonet 绑定API将其与Bridge一个Port绑定。另一端在容器内并赋予IP地址，根据当前使用的Bridge网段。  
与Docker0网卡部分原理一致。

### 设置容器内路由规则 ###

将默认路由设置到上文创建的网卡上。例如上文创建的网卡命名为eth0。

### 设置DNS ###

根据需要设置一些DNS信息。

### 怎么实现操作？ ###

1.使用shell命令。

ip link *
     ip netns *
     ip address *
     ip route *

以上命令详细使用方法网上很多了，这里不再描述。

1.  golang netlink library

[https://github.com/vishvananda/netlink][https_github.com_vishvananda_netlink]  
定义了关于网卡相关与linux内核通信的用户空间的相关接口。

## CNI插件实现的注意事项 ##

1.  CNI插件的添加和删除操作应该具有幂等性，即同样的参数传入不管调用多少次都应该有相同的效果。
    
    1.  CNI插件应该支持并发性，主要是租户相关组件的创建和IP地址分配的强一致性。
    2.  CNI插件有一定的规范，请参考：[https://github.com/containernetworking/cni][https_github.com_containernetworking_cni]

# 好雨云Midonet cni插件开源 #

好雨云开源基于ETCD版的的midonet cni插件具有上文提到的所有功能和特性。  
github:[https://github.com/goodrain/midonet-cni][https_github.com_goodrain_midonet-cni]

[kubernetes容器网络接口(CNI) midonet网络插件的设计与实现][kubernetes_CNI_ midonet]

[image]: /images/20220608/2687a10d1d37463685f1558609fa5467.png
[image 1]: /images/20220608/fb53b3e0d3fe4df097250ab9640bad24.png
[image 2]: /images/20220608/dbd65561d0ec4afe97a85284497ff128.png
[https_github.com_barnettZQG_golang-midonetclient]: https://github.com/barnettZQG/golang-midonetclient
[https_github.com_vishvananda_netlink]: https://github.com/vishvananda/netlink
[https_github.com_containernetworking_cni]: https://github.com/containernetworking/cni/
[https_github.com_goodrain_midonet-cni]: https://github.com/goodrain/midonet-cni
[kubernetes_CNI_ midonet]: https://www.kubernetes.org.cn/2615.html