【kubernetes/k8s概念】kube-ovn-controller 源码分析之三

末蓝、 2022-09-04 03:00 137阅读 0赞

本文分析 subnet 和 vlan 控制器的源码实现，subnet 对应到 ovn 北向数据库中的逻辑交换机 L**ogical Switch**。

# 1. Subnet 处理 #

> spec:  
>   cidrBlock: 30.0.1.0/24  
>   default: true  
>   disableInterConnection: false  
>   excludeIps:  
>   - 30.0.1.1  
>   gateway: 30.0.1.1  
>   gatewayNode: ""  
>   gatewayType: distributed  
>   namespaces:  
>   - ns1  
>   natOutgoing: false  
>   private: false  
>   protocol: IPv4  
>   provider: ovn  
>   underlayGateway: false  
>   **vpc: test-vpc-1**

包括 runAddSubnetWorker，runUpdateSubnetStatusWorker，runDeleteRouteWorker，runDeleteSubnetWorker，subnet 对应到 ovn 北向数据库中的逻辑交换机

switch 8bc8466b-94af-4de0-8afb-250dbb37f446 (net1)
        port net1-test-vpc-1
            type: router
            addresses: ["00:00:00:ED:CD:0B"]
            router-port: test-vpc-1-net1
    router a7cb924e-300e-4183-a1c9-4676cbfc3765 (test-vpc-1)
        port test-vpc-1-net1
            mac: "00:00:00:ED:CD:0B"
            networks: ["10.0.1.1/24"]

###    1.1 runAddSubnetWorker  ###

主要处理函数为 handleAddOrUpdateSubnet，添加或者更新 subnet，对应逻辑网络 L**ogical Switch**。

3.1.1 根据 subnet 里 vpc 查找 vpc 信息，根据 vpc 是不是默认进行分别处理，如果 vpc（vpc.status.default）不是默认的，该 vpc 允许的 namespace 必须多于 subnet 允许的 namespace。如果是默认的 vpc，则 subnet 与其他不是默认的 vpc 允许的 namespace 是否有重叠

3.1.2 calcSubnetStatusIP 函数计算子网 IP 可用以及使用个数，可用个数包括减去已经分配的IP 和 网关占用的以及设置的非分配的 IP，进行更新子网 subnet 的 status

> status:  
>   activateGateway: ""  
>   conditions:  
>   - lastTransitionTime: "2021-08-09T08:29:54Z"  
>     lastUpdateTime: "2021-08-09T08:29:54Z"  
>     reason: ResetLogicalSwitchAclSuccess  
>     status: "True"  
>     type: Validated  
>   - lastTransitionTime: "2021-08-09T08:29:54Z"  
>     lastUpdateTime: "2021-08-09T08:29:54Z"  
>     reason: ResetLogicalSwitchAclSuccess  
>     status: "True"  
>     type: Ready  
>   - lastTransitionTime: "2021-08-09T08:29:54Z"  
>     lastUpdateTime: "2021-08-09T08:29:54Z"  
>     message: Not Observed  
>     reason: Init  
>     status: Unknown  
>     type: Error  
>   v4availableIPs: 251  
>   v4usingIPs: 2  
>   v6availableIPs: 0  
>   v6usingIPs: 0

3.1.3 ipam.AddOrUpdateSubnet，IPAM 结构体定义了 Subnets 的 map 字段，如果 subnet 名字不在 ipam.Subnets 的 map 中，则调用 NewSubnet 实例化，加入到 ipam.Subnets 的 map 中。函数更新 ipam 缓存的 map 信息，包括子网，保留 IP，freeIP 列表， pod 到 mac 的 map。实现在 pkg/ipam/ipam.go 中，

3.1.4 同一个 VPC 下的子网不能冲突，策略路由表 ID 也不能相同

3.1.5 ovnClient.LogicalSwitchExists 调用命令 “ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical\_switch external\_ids:vendor=kube-ovn” 查询该子网 Logical Switch 是否存在，如果不存在则创建，存在更新。ovnClient.AddLbToLogicalSwitch 添加到 load\_balancer 中。

> \_uuid               : b16e89f6-aa51-4f88-9c79-69e26951e42e  
> acls                : \[\]  
> dns\_records         : \[\]  
> external\_ids        : \{vendor=kube-ovn\}  
> forwarding\_groups   : \[\]  
> load\_balancer       : \[18fb75e2-d609-402c-8966-e0b9b7035ba5, 30acacc0-462b-48f4-9125-8b0a71ed11ce, 4eef6413-5e49-4f55-b13f-59e5a0c40a17, 58dbe888-6d40-4250-a06d-86be6bf7d6dc\]  
> name                : net1  
> other\_config        : \{exclude\_ips="10.0.1.1", gateway="10.0.1.1", subnet="10.0.1.0/24"\}  
> ports               : \[32789ebf-2ff9-433e-bea9-101deabde81f, 81488b05-fc43-4908-80e2-3927f6be3113, b0f5fdf5-0f51-48ce-a27a-65cafb9a976b\]  
> qos\_rules           : \[\]

3.1.6 reconcileSubnet 函数

reconcileNamespaces 主要是在 namespace 配置中添加注解，扔到 namespace 队列进行处理。

reconcileGateway 函数调整网关，如果 subnet.spec.underlaygateway 设置为 true，指示使用直接使用 underlay 网络网关，而不是 ovs 虚拟网关。则 deleteStaticRoute 删除静态路由，DeleteLogicalSwitchPort 和 DeleteLogicalRouterPort 删除逻辑的网关。 如果 subnet.spec.underlaygateway 设置为 false，网关类型为 distributed，待分析TODO

reconcileVlan，如果子网的 vlan 不为空，则调用 addLocalnet 执行命令 ovn-nbctl --may-exist lsp-add $\{logical\_switch\} $\{localnet.subnet1\} -- lsp-set-address $\{localnet.subnet1\} unknown -- lsp-set-type $\{localnet.subnet1\} localnet -- lsp-set-options $\{localnet.subnet1\} network\_name=$\{net1\} -- set logical\_switch\_port $\{localnet.subnet1\} external\_ids:vendor=kube-ovn -- set logical\_siwtch\_port $\{localnet.subnet1\} tag=$\{vlanID\}，涉及 ovn 北向数据库表 logical\_switch\_port

> \_uuid               : f91da389-801a-45bf-8329-19ac826ab6c0  
> addresses           : \[unknown\]  
> dhcpv4\_options      : \[\]  
> dhcpv6\_options      : \[\]  
> dynamic\_addresses   : \[\]  
> enabled             : \[\]  
> external\_ids        : \{vendor=kube-ovn\}  
> ha\_chassis\_group    : \[\]  
> name                : localnet.subnet1  
> options             : \{network\_name=net1\}  
> parent\_name         : \[\]  
> port\_security       : \[\]  
> tag                 : 1000  
> tag\_request         : \[\]  
> type                : localnet  
> up                  : false

3.1.7 对 subnet.spec.private 处理 true/false，   如果为私有则 SetPrivateLogicalSwitch 函数

将丢弃所有入口流量，除了允许的子网。如果公有，则删除 acl 规则。

3.1.8 更新子网所属的 VPC 状态，扔进 updateVpcStatusQueue 队列处理

3.1.9 如果子网设置 vlan，vlan 的 status 没有包含 subnet 则更新 vlan

> spec:  
>   id: 1000  
>   provider: net1  
> status:  
>   subnets:  
>   - subnet1

总结：

涉及的 ovn 北向数据库包括，Logical\_Switch，Logical\_switch\_port，acl

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70][]

#  #

# 2. vlan 处理 #

apiVersion: kubeovn.io/v1
    kind: Vlan
    metadata:
      name: vlan1
    spec:
      id: 1000
      provider: net1

包括 runAddVlanWorker，runUpdateVlanWorker，runDelVlanWorker

###    2.1 runAddVlanWorker 函数 ###

如果 vlan.spec.provider 未设置，则设置更新为默认的 ovn，如果 vlan 的 status 未包含拥有同样 vlan 的子网，则更新 vlan 的 status

> spec:  
>   id: 1000  
>   provider: net1  
> status:  
>   subnets:  
>   - subnet1

更新 provider-network 资源的 staus

> spec:  
>   customInterfaces:  
>   - interface: enp1s0  
>     nodes:  
>     - node1  
>   defaultInterface: eth0  
>   excludeNodes:  
>   - node2  
> status:  
>   conditions:  
>   - lastTransitionTime: "2021-08-10T09:35:01Z"  
>     lastUpdateTime: "2021-08-10T09:35:01Z"  
>     node: node1  
>     reason: InitOVSBridgeSucceeded  
>     status: "True"  
>     type: Ready  
>   readyNodes:  
>   - node1  
>   vlans:  
>   - vlan1

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70]: /images/20220829/a5d28c81f18646e898cf8753bd4fc4f9.png