Linux各种虚拟网卡master/slave的叠加使用

╰半橙微兮° 2023-02-18 06:29 9阅读 0赞

很多年前的一个夏日炎热的夜晚，我在一家银行16摄氏度的机房蹲了2小时编写一个功能：

*  ***eth0被bridge到br0，br0跑转发流量，eth0跑管理流量。***

这个问题并没有想象的那么简单，不信你去试一下。

一般而言，当eth0被bridge或者被bonding了之后，它就成了slave，对外就不可见了。但是这真的很合理吗？根本就不合理。

***网卡就是一个转发设备，哪来的业务逻辑？***

Linux虽然实现了bridge，bonding，veth，vlan，macvlan，ipvlan，tun/tap等虚拟网卡，但不要过于神话Linux，有些事它就是做不到，或者非常麻烦。

下面是一个场景：

*  enp0s9是一个物理网卡。
 *  enp0s9添加到了bond0；
 *  bond0上被配置到了vlan123。

我的需求如下：

*  enp0s9裸物理网卡跑1.0.0.0/8的流量。
 *  bond0裸bonding网卡跑2.0.0.0/8的流量。
 *  bond0.123这个VLAN网卡跑3.0.0.0/8的流量。

是不是一个很直接的需求？能做到吗？

ifconfig enp0s9 down
     modprobe bonding
     echo +enp0s9 >/sys/class/net/bond0/bonding/slaves
     ifconfig bond0 2.2.2.1/8 up
     ifconfig enp0s9 1.1.1.1/8 up
     ip link add link bond0 name bond0.123 type vlan id 123
     ifconfig bond0.123 3.3.3.1/8 up

另外的一台“对端”也一样这么配置。

你会发现，2.2.2.1/2.2.2.2之间的互通是OK的，3.3.3.1/3.3.3.2之间的互通也是OK，然而1.1.1.1/1.1.1.2之间的互通是很有问题的。

这也很容易理解，虽然VLAN 123和bond0在底层都是bond0，但是由于protocol字段可以很容易区分IPv4和802.1Q，所以两个网段不会有任何冲突，然而bond0和enp0s9却会冲突。

所有的问题都出在arp上。

虽然arp\_ignore等参数可以按照请求的IP地址区分是否回复ARP，但是 ***ARP请求的入口是不会变的。统一都是bond0！***

OK，如果我们承认这一点，姑且就让bond0来处理ARP(但实际上配置enp0s9来响应ARP)，那么数据通信则会被rp\_filter阻断！ 毕竟数据包是enp0s9的master bond0收上去的啊！

于是就是各种没完没了，过了就忘的trick。

我相信很多人都遇到了这类需求，于是才有了macvlan，ipvlan这种主动拆分隔离的虚拟网卡方案：

*  ***把一块物理的或虚拟的网卡分裂成多块使用。***

说白了，本文中enp0s9和bond0的同时并行使用，就是一个纵方向上的macvlan！哈哈。

> 我相信如果我把本文所遇到问题的解法写出来，又是一篇长篇大论，这是我5，6年前的做法，那个时候经常写这种，全在我这个blog里，能找到很多trick式解决方案。  
>   
> 我不会再写这些了，因为这些方案不可持久，不可维护，除了炫耀 ***“百无一用的高超技巧”*** 之外，没有任何意义，我也早已过了那个阶段…

--------------------

浙江温州皮鞋湿，下雨进水不会胖。