TC limit bandwidth

骑猪看日落 2021-12-15 10:11 134阅读 0赞

方法1：

1 tc qdisc add dev enp0s8 ingress
     2 tc qdisc add dev enp0s8 root htb
     3 tc qdisc show dev enp0s8
     4   
     5   
     6 tc filter add dev enp0s8 parent 8001: protocol ip prio 1 u32 match ip src 172.16.50.120 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
     7 tc filter add dev enp0s8 parent ffff: protocol ip prio 1 u32 match ip dst 172.16.50.120 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
     8   
     9 tc filter add dev enp0s8 parent 8001: protocol ip prio 1 u32 match ip src 172.16.50.121 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
    10 tc filter add dev enp0s8 parent ffff: protocol ip prio 1 u32 match ip dst 172.16.50.121 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
    11   
    12 tc filter add dev enp0s8 parent 8001: protocol ip prio 1 u32 match ip src 172.16.50.11 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
    13 tc filter add dev enp0s8 parent ffff: protocol ip prio 1 u32 match ip dst 172.16.50.11 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1
    14   
    15   
    16 tc -s -d -p filter show dev enp0s8 parent 8001:
    17 tc -s -d -p filter show dev enp0s8 parent ffff:

问题：无法保证IP的达到规则带宽 ?

原因： tc 规则 ，1.创建 qdisc -> tc qdisc add dev enp0s8 root htb 2.创建Filter ->tc filter add dev enp0s8 parent 8001: protocol ip prio 1 u32 match ip src 172.16.50.120 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1

从TC规则可知，1.仅有一个queue, 2. filter有police action（police action 限速目的IP进行queue速度，在超出限制执行drop），所有packet进入单个queue，依次发送。

方法2：

1 tc qdisc add dev enp0s9 root  handle 1:  htb default 30
     2  
     3 tc class add dev enp0s9 parent  1:  classid 1:1 htb rate 9mbit
     4 tc class add dev enp0s9 parent  1:1 classid 1:10 htb rate 5mbit
     5 tc class add dev enp0s9 parent  1:1 classid 1:20 htb rate 3mbit ceil 3mbit
     6 tc class add dev enp0s9 parent  1:1 classid 1:30 htb rate 1kbit ceil 1mbit
     7  
     8 tc qdisc add dev enp0s9 parent  1:10 handle 10: sfq perturb 10
     9 tc qdisc add dev enp0s9 parent  1:20 handle 20: sfq perturb 10
    10 tc qdisc add dev enp0s9 parent  1:30 handle 30: sfq perturb 10
    11  
    12 tc filter add dev enp0s9 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.10.100/32  flowid 1:10
    13 tc filter add dev enp0s9 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.10.105/32  flowid 1:20

方法3：

1 modemif=eth4
     2   
     3 iptables -t mangle -A POSTROUTING -o $modemif -p tcp -m tos --tos Minimize-Delay -j CLASSIFY --set-class 1:10
     4 iptables -t mangle -A POSTROUTING -o $modemif -p tcp --dport 53 -j CLASSIFY --set-class 1:10
     5 iptables -t mangle -A POSTROUTING -o $modemif -p tcp --dport 80 -j CLASSIFY --set-class 1:10
     6 iptables -t mangle -A POSTROUTING -o $modemif -p tcp --dport 443 -j CLASSIFY --set-class 1:10
     7   
     8 tc qdisc add dev $modemif root handle 1: htb default 12
     9 tc class add dev $modemif parent 1: classid 1:1 htb rate 1500kbit ceil 1500kbit burst 10k
    10 tc class add dev $modemif parent 1:1 classid 1:10 htb rate 700kbit ceil 1500kbit prio 1 burst 10k
    11 tc class add dev $modemif parent 1:1 classid 1:12 htb rate 800kbit ceil 800kbit prio 2
    12 tc filter add dev $modemif protocol ip parent 1:0 prio 1 u32 match ip protocol 0x11 0xff flowid 1:10
    13 tc qdisc add dev $modemif parent 1:10 handle 20: sfq perturb 10
    14 tc qdisc add dev $modemif parent 1:12 handle 30: sfq perturb 10

测试脚本：

![ContractedBlock.gif][] ![ExpandedBlockStart.gif][]

1 #test network: （192.168.10.6）
     2 ovs-vsctl add-br br-ext
     3 ovs-vsctl add-port br-ext enp0s9
     4  
     5 ip link add veth-i-100 type veth peer name veth-o-100
     6 ip link set veth-i-100 up
     7 ovs-vsctl add-port br-ext veth-i-100
     8 ip netns add ns-100
     9 ip link set veth-o-100 netns ns-100
    10 ip netns exec ns-100 ip link set veth-o-100
    11 ip netns exec ns-100 ip addr add 192.168.10.100/24 dev veth-o-100
    12  
    13 ip link add veth-i-105 type veth peer name veth-o-105
    14 ip link set veth-i-105 up
    15 ovs-vsctl add-port br-ext veth-i-100
    16 ip netns add ns-105
    17 ip link set veth-o-105 netns ns-105
    18 ip netns exec ns-105 ip link set veth-o-105
    19 ip netns exec ns-105 ip addr add 192.168.10.105/24 dev veth-o-105
    20   
    21 #1)TCP测试
    22 #服务器执行：#iperf -s -i 1 -w 1M
    23 iperf -s -i 10 -p 1100  -D
    24  
    25 #客户端执行：#iperf -c host -i 1 -w 1M
    26 ip netns exec ns-100 iperf -c 192.168.10.8 -i 10 -t 120 -p 1100
    27 #其中-w表示TCP window size，host需替换成服 务器地址。
    28  
    29 #2）UDP测试
    30 #服务器执行：# iperf -u -s -p 2100
    31 iperf -u -s -D
    32 #客户端执行：#iperf -u -c 10.32.0.254 -b 900M  -i 1  -w 1M  -t 60
    33 ip netns exec ns-100 iperf -c 192.168.10.8 -b 100M -i 10 -t 120 -p 2100
    34 #其中-b表示 使用带宽数量，千兆链路使用90%容量进行测试就可以了。

问题：

1.怎么删除TC filter ?

tc filter del dev bond1 parent ffff: prio 1 handle 800::801 u32

2.怎么对overlay限速 ？

tc filter add dev ens34 protocol ip parent 8004: pref 10 u32 match u16 0xac10 0xffff at 70 match u16 0xff0b 0xffff at 72 police rate 1000Kbit burst 1Mb mtu 64kb drop flowid :1

匹配geneve封装中的inner src IP，IP地址172.16.255.11，其16进制为ac10ff0b。u32类型的match需要从4的整数倍字节开始，而geneve封装中的inner src IP起始字节为70，故分成两个u16的封装。

参见： https://serverfault.com/questions/162558/inconsistencies-with-linux-tc-filter-u32-matching-on-packet-data-payload-can-s/162608

参考文档：

[http://lartc.org/lartc.html\#LARTC.QDISC.EXPLAIN][http_lartc.org_lartc.html_LARTC.QDISC.EXPLAIN]

[http://www.funtoo.org/Traffic\_Control][http_www.funtoo.org_Traffic_Control]

[ http://www.mamicode.com/info-detail-286576.html][http_www.mamicode.com_info-detail-286576.html]

转载于:https://www.cnblogs.com/gaozhengwei/p/7101279.html

[ContractedBlock.gif]: https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif
[ExpandedBlockStart.gif]: /images/20211214/a75ee2eb71a44299a4af0e1b93fa6a75.png
[http_lartc.org_lartc.html_LARTC.QDISC.EXPLAIN]: http://lartc.org/lartc.html#LARTC.QDISC.EXPLAIN
[http_www.funtoo.org_Traffic_Control]: http://www.funtoo.org/Traffic_Control
[http_www.mamicode.com_info-detail-286576.html]: http://www.mamicode.com/info-detail-286576.html