linux iptables nf_conntrack 简介

迷南。 2021-09-07 05:58 592阅读 0赞

**目录**

nf\_conntrack模块常用命令

nf\_conntrack会话表的内容解释

nf\_conntrack相关内核参数和解释

如何判断会话表是否满

会话表满的解决办法

计算公式

--------------------

nf\_conntrack(在老版本的 Linux 内核中叫 ip\_conntrack)是一个内核模块,用于跟踪一个连接的状态的。连接状态跟踪可以供其他模块使用,最常见的两个使用场景是 iptables 的 nat 的 state 模块。 iptables 的 nat 通过规则来修改目的/源地址,但光修改地址不行,我们还需要能让回来的包能路由到最初的来源主机。这就需要借助 nf\_conntrack 来找到原来那个连接的记录才行。而 state 模块则是直接使用 nf\_conntrack 里记录的连接的状态来匹配用户定义的相关规则。例如下面这条 INPUT 规则用于放行 80 端口上的状态为 NEW 的连接上的包。

iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT。

iptables中的状态检测功能是由state选项来实现iptable的。对这个选项，在iptables的手册页中有以下描述：

`state`

这个模块能够跟踪分组的连接状态(即状态检测)。

格式：`--state XXXXX`

这里，state是一个用逗号分割的列表，表示要匹配的连接状态。

在iptables中有四种状态：`NEW，ESTABLISHED，RELATED，INVALID。`

**NEW**，表示这个分组需要发起一个连接，或者说，分组对应的连接在两个方向上都没有进行过分组传输。NEW说明 这个包是我们看到的第一个包。意思就是，这是conntrack模块看到的某个连接第一个包，它即将被匹配了。比如，我们看到一个SYN包，是我们所留意 的连接的第一个包，就要匹配它。第一个包也可能不是SYN包，但它仍会被认为是NEW状态。比如一个特意发出的探测包，可能只有RST位，但仍然是 NEW。

**ESTABLISHED**，表示分组对应的连接已经进行了双向的分组传输，也就是说连接已经建立，而且会继续匹配 这个连接的包。处于ESTABLISHED状态的连接是非常容易理解的。只要发送并接到应答，连接就是ESTABLISHED的了。一个连接要从NEW变 为ESTABLISHED，只需要接到应答包即可，不管这个包是发往防火墙的，还是要由防火墙转发的。ICMP的错误和重定向等信息包也被看作是 ESTABLISHED，只要它们是我们所发出的信息的应答。

**RELATED**，表示分组要发起一个新的连接，但是这个连接和一个现有的连接有关，例如：FTP的数据传输连接 和控制连接之间就是RELATED关系。RELATED是个比较麻烦的状态。当一个连接和某个已处于ESTABLISHED状态的连接有关系时，就被认为 是RELATED的了。换句话说，一个连接要想是RELATED的，首先要有一个ESTABLISHED的连接。这个ESTABLISHED连接再产生一 个主连接之外的连接，这个新的连接就是RELATED的了，当然前提是conntrack模块要能理解RELATED。ftp是个很好的例子，FTP- data连接就是和FTP-control有RELATED的。还有其他的例子，

**INVAILD**，表示分组对应的连接是未知的，说明数据包不能被识别属于哪个连接或没有任何状态。有几个原因可以产生这种情况，比如，内存溢出，收到不知属于哪个连接的ICMP错误信息。一般地，我们DROP这个状态的任何东西。

### nf\_conntrack模块常用命令 ###

查看nf_conntrack表当前连接数    
    cat /proc/sys/net/netfilter/nf_conntrack_count       
    
    查看nf_conntrack表最大连接数    
    cat /proc/sys/net/netfilter/nf_conntrack_max    
    
    通过dmesg可以查看nf_conntrack的状况：
    dmesg |grep nf_conntrack
    
    查看存储conntrack条目的哈希表大小,此为只读文件
    cat /proc/sys/net/netfilter/nf_conntrack_buckets
    
    查看nf_conntrack的TCP连接记录时间
    cat /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_established
    
    通过内核参数查看命令，查看所有参数配置
    sysctl -a | grep nf_conntrack
    
    通过conntrack命令行工具查看conntrack的内容
    yum install -y conntrack  
    conntrack -L  
    
    加载对应跟踪模块
    [root@plop ~]# modprobe /proc/net/nf_conntrack_ipv4    
    [root@plop ~]# lsmod | grep nf_conntrack    
    nf_conntrack_ipv4       9506  0    
    nf_defrag_ipv4          1483  1 nf_conntrack_ipv4    
    nf_conntrack_ipv6       8748  2    
    nf_defrag_ipv6         11182  1 nf_conntrack_ipv6    
    nf_conntrack           79758  3 nf_conntrack_ipv4,nf_conntrack_ipv6,xt_state    
    ipv6                  317340  28 sctp,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6  
    
    移除 nf_conntrack 模块
    $ sudo modprobe -r xt_NOTRACK nf_conntrack_netbios_ns nf_conntrack_ipv4 xt_state
    $ sudo modprobe -r nf_conntrack
    
    查看当前的连接数:
    grep nf_conntrack /proc/slabinfo
    
    查出目前 nf_conntrack 的排名:
    cat /proc/net/nf_conntrack | cut -d ' ' -f 10 | cut -d '=' -f 2 | sort | uniq -c | sort -nr | head -n 10

### nf\_conntrack会话表的内容解释 ###

**会话表样例**

通过`conntrack -L`与`/proc/net/nf_conntrack`是完全一样的，除了少了前面的两列。   
下面以`cat /proc/net/nf_conntrack`为例进行说明：

ipv4  2  tcp  6  25   SYN_SENT     src=182.168.77.7  dst=42.236.9.57     sport=57430  dport=443  [UNREPLIED]       src=42.236.9.57     dst=182.168.77.7  sport=443    dport=57430  mark=0  secctx=system_u:object_r:unlabeled_t:s0  zone=0  use=2
    ipv4  2  tcp  6  299  ESTABLISHED  src=172.18.15.56  dst=172.18.15.96    sport=40248  dport=22   src=172.18.15.96  dst=172.18.15.56    sport=22          dport=40248  [ASSURED]    mark=0  secctx=system_u:object_r:unlabeled_t:s0  zone=0  use=2
    ipv4  2  tcp  6  5    SYN_SENT     src=182.168.77.7  dst=221.181.72.250  sport=57428  dport=443  [UNREPLIED]       src=221.181.72.250  dst=182.168.77.7  sport=443    dport=57428  mark=0  secctx=system_u:object_r:unlabeled_t:s0  zone=0  use=2
    ipv4  2  tcp  6  1    SYN_SENT     src=182.168.77.7  dst=221.181.72.250  sport=57427  dport=80   [UNREPLIED]       src=221.181.72.250  dst=182.168.77.7  sport=80     dport=57427  mark=0  secctx=system_u:object_r:unlabeled_t:s0  zone=0  use=2

**每一列表达的意思**

*  第一列：网络层协议名字。
 *  第二列：网络层协议号。
 *  第三列：传输层协议名字。
 *  第四列：传输层协议号。
 *  第五列：无后续包进入时无效的秒数，即老化时间。
 *  第六列：不是所有协议都有，连接状态。
 *  其它的列都是通过名字的方式（key与value对)表述，或和呈现标识（\[UNREPLIED\], \[ASSURED\], …）。一行的不同列可能包含相同的名字（例如src和dst），第一个表示请求方，第二个表示应答方。

**呈现标识含义**

*  `[ASSURED]`: 在两个方面（即请求和响应）方向都看到了流量。
 *  `[UNREPLIED]`: 尚未在响应方向上看到流量。如果连接跟踪缓存溢出，则首先删除这些连接。

请注意，某些列名仅出现在特定协议中（例如，TCP和UDP的sport和dport，ICMP的type和code）。 仅当内核使用特定选项构建时，才会显示其他列名称（例如mark）。

**举例说明**

*  `ipv4 2 tcp 6 300 ESTABLISHED src=1.1.1.2 dst=2.2.2.2 sport=2000 dport=80 src=2.2.2.2 dst=1.1.1.1 sport=80 dport=12000 [ASSURED] mark=0 use=2`   
    属于从主机1.1.1.2，端口2000到主机2.2.2.2，端口80的已建立的TCP连接，从中将响应发送到主机1.1.1.2，端口2000，在五分钟内超时。对于此连接，已在两个方向上看到数据包。
 *  `ipv4 2 icmp 1 3 src=1.1.1.2 dst=1.1.1.1 type=8 code=0 id=32354 src=1.1.1.1 dst=1.1.1.2 type=0 code=0 id=32354 mark=0 use=2`   
    属于从主机1.1.1.2到主机1.1.1.1的ICMP回应请求数据包，具有从主机1.1.1.1到主机1.1.1.2的预期回应应答数据包，在三秒内超时。响应目标主机不一定与请求源主机相同，因为请求源地址可能已被响应目标主机伪装。

**主要标识**

请注意，以下信息可能不是最新信息！

Fields available for all entries:

>  *  bytes (if accounting is enabled, request and response)
>  *  delta-time (if CONFIG\_NF\_CONNTRACK\_TIMESTAMP is enabled)
>  *  dst (request and response)
>  *  mark (if CONFIG\_NF\_CONNTRACK\_MARK is enabled)
>  *  packets (if accounting is enabled, request and response)
>  *  secctx (if CONFIG\_NF\_CONNTRACK\_SECMARK is enabled)
>  *  src (request and response)
>  *  use
>  *  zone (if CONFIG\_NF\_CONNTRACK\_ZONES is enabled)

Fields available for dccp, sctp, tcp, udp and udplite transmission layer protocols:

>  *  dport (request and response)
>  *  sport (request and response)

Fields available for icmp transmission layer protocol:

>  *  code (request and response)
>  *  id (request and response)
>  *  type (request and response)

Fields available for gre transmission layer protocol:

>  *  dstkey (request and response)
>  *  srckey (request and response)
>  *  stream\_timeout
>  *  timeout

Allowed values for the sixth field:

*  dccp transmission layer protocol
    
    > CLOSEREQ   
    > CLOSING   
    > IGNORE   
    > INVALID   
    > NONE   
    > OPEN   
    > PARTOPEN   
    > REQUEST   
    > RESPOND   
    > TIME\_WAIT
 *  sctp transmission layer protocol
    
    > CLOSED   
    > COOKIE\_ECHOED   
    > COOKIE\_WAIT   
    > ESTABLISHED   
    > NONE   
    > SHUTDOWN\_ACK\_SENT   
    > SHUTDOWN\_RECD   
    > SHUTDOWN\_SENT
 *  tcp transmission layer protocol
    
    > CLOSE   
    > CLOSE\_WAIT   
    > ESTABLISHED   
    > FIN\_WAIT   
    > LAST\_ACK   
    > NONE   
    > SYN\_RECV   
    > SYN\_SENT   
    > SYN\_SENT2   
    > TIME\_WAIT

### nf\_conntrack相关内核参数和解释 ###

参考内核帮助文档`/usr/share/doc/kernel-doc-3.10.0/Documentation/networking/nf_conntrack-sysctl.txt`   
/proc/sys/net/netfilter/nf\_conntrack\_\*:

*  nf\_conntrack\_acct   
    值类型：BOOLEAN   
    0 - disabled (default)  
    not 0 - enabled   
    启用连接跟踪流记帐。64位字节和数据包每个流量的计数器被添加。
 *  nf\_conntrack\_buckets   
    值类型：INTEGER (**read-only**)   
    哈希表的大小。 如果在模块加载期间未指定为参数，则通过将总内存除以16384来计算默认大小以确定存储区的数量，但是哈希表将永远不会少于32并且限制为16384个存储区。 对于内存超过4GB的系统，它将是65536个桶。
 *  nf\_conntrack\_checksum   
    值类型：BOOLEAN   
    0 - disabled   
    not 0 - enabled (default)   
    验证传入数据包的校验和。 具有错误校验和的数据包处于INVALID状态。 如果启用此选项，则不会考虑此类数据包进行连接跟踪。
 *  nf\_conntrack\_count   
    值类型：INTEGER (**read-only**)   
    当前分配的流条目数。
 *  nf\_conntrack\_events   
    值类型：BOOLEAN   
    0 - disabled   
    not 0 - enabled (default)   
    如果启用此选项，则连接跟踪代码将通过ctnetlink为用户空间提供连接跟踪事件。
 *  nf\_conntrack\_events\_retry\_timeout   
    值类型：INTEGER (seconds)   
    default 15   
    此选项仅在使用“可靠连接跟踪事件”时才相关。 通常，ctnetlink是“有损”的，也就是说，当用户空间监听器无法跟上时，事件通常会被丢弃。   
    用户空间可以请求“可靠的事件模式”。 当此模式处于活动状态时，conntrack将仅在事件发布后销毁。 如果事件传递失败，则内核会定期重新尝试将事件发送到用户空间。   
    这是内核在重新尝试传递destroy事件时应使用的最大间隔。   
    数字越大意味着交付重试次数越少，处理待办事项的时间就越长。
 *  nf\_conntrack\_expect\_max   
    值类型：INTEGER   
    期望表的最大大小。 默认值为nf\_conntrack\_buckets / 256.最小值为1。
 *  nf\_conntrack\_frag6\_high\_thresh   
    值类型：INTEGER   
    用于重组IPv6片段的最大内存。 当为达到重组目标时分配nf\_conntrack\_frag6\_high\_thresh字节的内存时，若超出此值片段处理程序将抛出数据包。
 *  nf\_conntrack\_frag6\_timeout   
    值类型：INTEGER (seconds)   
    default 60   
    ipv6分片在内存中保存的老化时间。
 *  nf\_conntrack\_generic\_timeout   
    值类型：INTEGER (seconds)   
    default 600   
    通用超时的默认值。 这指的是第4层未知/不支持的协议。
 *  nf\_conntrack\_helper   
    值类型：BOOLEAN   
    0 - disabled   
    not 0 - enabled (default)   
    启用自动conntrack帮助程序分配。
 *  nf\_conntrack\_icmp\_timeout   
    值类型：INTEGER (seconds)   
    default 30   
    ICMP连接状态超时的默认值。
 *  nf\_conntrack\_icmpv6\_timeout   
    值类型：INTEGER (seconds)   
    default 30   
    ICMP6连接状态超时的默认值。
 *  nf\_conntrack\_log\_invalid   
    值类型：INTEGER   
    0 - disable (default)   
    1 - log ICMP packets   
    6 - log TCP packets   
    17 - log UDP packets   
    33 - log DCCP packets   
    41 - log ICMPv6 packets   
    136 - log UDPLITE packets   
    255 - log packets of any protocol   
    根据值类型记录指定类型无效数据包。
 *  nf\_conntrack\_max   
    值类型：INTEGER   
    连接跟踪表的大小。 默认值为nf\_conntrack\_buckets值\* 4。
 *  nf\_conntrack\_tcp\_be\_liberal   
    值类型：BOOLEAN   
    0 - disabled (default)   
    not 0 - enabled   
    Be conservative in what you do, be liberal in what you accept from others.If it’s non-zero, we mark only out of window RST segments as INVALID.
 *  nf\_conntrack\_tcp\_loose   
    值类型：BOOLEAN   
    0 - disabled   
    not 0 - enabled (default)   
    如果它设置为零，我们将禁用拾取已建立的连接。   
    它的意思是，是否仅仅允许为经过TCP三次握手的流创建nf\_conntrack表项还是说为任意收到的TCP数据包(有可能是一个构造出来的攻击包)查询未果后均创建新的nf\_conntrack表项。
 *  nf\_conntrack\_tcp\_max\_retrans   
    值类型：INTEGER   
    default 3   
    在未收到来自目标的（可接受）ACK的情况下可以重新传输的最大数据包数。 如果达到此数字，将启动更短的计时器。
 *  nf\_conntrack\_tcp\_timeout\_close   
    值类型：INTEGER (seconds)   
    default 10
 *  nf\_conntrack\_tcp\_timeout\_close\_wait   
    值类型：INTEGER (seconds)   
    default 60
 *  nf\_conntrack\_tcp\_timeout\_established   
    值类型：INTEGER (seconds)   
    default 432000 (5 days)   
    默认是432000=3600*24*5即5天的超时时间，超时后清空对应的那条记录。
 *  nf\_conntrack\_tcp\_timeout\_fin\_wait   
    值类型：INTEGER (seconds)   
    default 120
 *  nf\_conntrack\_tcp\_timeout\_last\_ack   
    值类型：INTEGER (seconds)   
    default 30
 *  nf\_conntrack\_tcp\_timeout\_max\_retrans   
    值类型：INTEGER (seconds)   
    default 300
 *  nf\_conntrack\_tcp\_timeout\_syn\_recv   
    值类型：INTEGER (seconds)   
    default 60
 *  nf\_conntrack\_tcp\_timeout\_syn\_sent   
    值类型：INTEGER (seconds)   
    default 120
 *  nf\_conntrack\_tcp\_timeout\_time\_wait   
    值类型：INTEGER (seconds)   
    default 120
 *  nf\_conntrack\_tcp\_timeout\_unacknowledged   
    值类型：INTEGER (seconds)   
    default 300
 *  nf\_conntrack\_timestamp   
    值类型：BOOLEAN   
    0 - disabled (default)   
    not 0 - enabled   
    启用连接跟踪流时间戳。
 *  nf\_conntrack\_udp\_timeout   
    值类型：INTEGER (seconds)   
    default 30
 *  nf\_conntrack\_udp\_timeout\_stream2   
    值类型：INTEGER (seconds)   
    default 180   
    如果检测到UDP流，将使用此扩展超时。

还有多少秒这条会话信息会从跟踪表清除，取决于超时参数的配置，以及是否有包传输，有包传输时，这个时间会重置为超时时间。

### 如何判断会话表是否满 ###

当会话表中的记录大于内核设置nf\_conntrack\_max的值时，会导致会话表满。

nf_conntrack_max - INTEGER  
            Size of connection tracking table.  Default value is  
            nf_conntrack_buckets value * 4.

错误例子： **less /var/log/messages**

Nov  3 23:30:27 digoal_host kernel: : [63500383.870591] nf_conntrack: table full, dropping packet.  
    Nov  3 23:30:27 digoal_host kernel: : [63500383.962423] nf_conntrack: table full, dropping packet.  
    Nov  3 23:30:27 digoal_host kernel: : [63500384.060399] nf_conntrack: table full, dropping packet.

### 会话表满的解决办法 ###

nf\_conntrack table full的问题，会导致丢包，影响网络质量，严重时甚至导致网络不可用。

**解决方法举例**：

1、排查是否DDoS攻击，如果是，从预防攻击层面解决问题。

2、清空会话表。

重启iptables，会自动清空nf\_conntrack table。注意，重启前先保存当前iptables配置(iptables-save > /etc/sysconfig/iptables ; service iptables restart)。

3、应用程序正常关闭会话

设计应用时，正常关闭会话很重要。

4、加大表的上限（需要考虑内存的消耗）

**例举故障原因**

1.  内核参数 net.nf\_conntrack\_max 系统默认值为”65536”，当nf\_conntrack模块被装置且服务器上连接超过这个设定的值时，系统会主动丢掉新连接包，直到连接小于此设置值才会恢复。同时内核参数“net.netfilter.nf\_conntrack\_tcp\_timeout\_established”系统默认值为”432000”，代表nf\_conntrack的TCP连接记录时间默认是5天，致使nf\_conntrack的值减不下来，丢包持续时间长。
2.  nf\_conntrack模块在首次装载或重新装载时，内核参数net.nf\_conntrack\_max会重新设置为默认值“65536”，并且不会调用sysctl设置为我们的预设值。
3.  触发nf\_conntrack模块首次装载比较隐蔽，任何调用IPtable NAT功能的操作都会触发。当系统没有挂载nf\_conntrack模块时，iptables 相关命令（iptables -L -t nat）就成触发nf\_conntrack模块装置，致使net.nf\_conntrack\_max 重设为65536。
4.  触发nf\_conntrack模块重新装载的操作很多，CentOS6 中“service iptables restart”，CentOS7中“systemctl restart iptables.service”都会触发设置重置，致使net.nf\_conntrack\_max 重设为65536。

**重要的几个配置文件**

`nf_conntrack_max`决定连接跟踪表的大小,当nf\_conntrack模块被装置且服务器上连接超过这个设定的值时，系统会主动丢掉新连接包，直到连接小于此设置值才会恢复。   
`nf_conntrack_buckets`决定存储conntrack条目的哈希表大小，若是单方面修改`nf_conntrack_max`，而不修改`nf_conntrack_buckets`，只是影响查找速度，挂在不了桶上的新跟踪项目，会挂在到桶中的链表上（原理为hash表结构）。   
`nf_conntrack_tcp_timeout_established`系统默认值为”432000”，代表nf\_conntrack的TCP连接记录时间默认是5天，致使nf\_conntrack的值减不下来，丢包持续时间长。   
通过修改这两个值即可，但是**nf\_conntrack\_buckets时个只读文件**，无法进行修改。

**修改参数**

*  或通过sysctl命令进行修改：
    
        $ sysctl -w net.netfilter.nf_conntrack_max=1048576
        $ sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600
        $ sysctl -p #使生效
 *  或是直接永久性修改永久生效
    
        vi /etc/sysctl.conf  
        net.netfilter.nf_conntrack_max=1048576
        net.netfilter.nf_conntrack_tcp_timeout_established=3600
 *  对于上述解决方案**无法修改nf\_conntrack\_buckets的参数**，因为此为只读文件，通过上述`nf_conntrack-sysctl.txt`文件可知知，可以通过模块加载的时候设置参数。此时可以采用下面方案进行修改：
    
    > 1.  通过系统初始化脚本创建配置文件”/etc/modprobe.d/nf\_conntrack.conf”, 内容为“options nf\_conntrack hashsize=262144”，通过nf\_conntrack模块挂接参数”hashsize”自动设置“net.nf\_conntrack\_max=2097152”（nf\_conntrack\_max=hashsize\*8），保证后续新初始化服务器配置正确。
    > 2.  通过自动化部署工具全网推送配置文件”/etc/modprobe.d/nf\_conntrack.conf”, 内容为“options nf\_conntrack hashsize=262144”，保证nf\_conntrack模块在首次装载或重新装载时“net.nf\_conntrack\_max”内核参数设置为我们预期的“2097152”。
    > 3.  更新系统初始化脚本，设置“net.netfilter.nf\_conntrack\_tcp\_timeout\_established=1800”，减少nf\_conntrack的TCP连接记录时间。
    > 4.  如果并不需要nf\_conntrack及其相关模块可以在/etc/modprobe.d目录新建文件blacklist.conf ,文件中加入：install nf\_conntrack /bin/false 这样做的副作用是无法再使用Iptables NAT相关功能。

### 计算公式 ###

可以增大 conntrack 的条目(sessions, connection tracking entries) CONNTRACK\_MAX 或者增加存储 conntrack 条目哈希表的大小 HASHSIZE   
默认情况下，CONNTRACK\_MAX 和 HASHSIZE 会根据系统内存大小计算出一个比较合理的值：   
对于 CONNTRACK\_MAX，其计算公式：   
CONNTRACK\_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)   
比如一个 64 位 48G 的机器可以同时处理 48\*1024^3/16384/2 = 1572864 条 netfilter 连接。对于大于 1G 内存的系统，默认的 CONNTRACK\_MAX 是 65535。

对于 HASHSIZE，默认的有这样的转换关系：   
CONNTRACK\_MAX = HASHSIZE \* 8   
这表示每个链接列表里面平均有 8 个 conntrack 条目。其真正的计算公式如下：   
HASHSIZE = CONNTRACK\_MAX / 8 = RAMSIZE (in bytes) / 131072 / (ARCH / 32)   
比如一个 64 位 48G 的机器可以存储 48\*1024^3/131072/2 = 196608 的buckets(连接列表)。对于大于 1G 内存的系统，默认的 HASHSIZE 是 8192。