linux 内核 netfilter 网络过滤模块 (3)-NAT

我会带着你远行 2021-07-29 00:48 648阅读 0赞

本文对netfilter中NAT部分的源码进行分析，读者需要先对NAT的基本概念有一个大致了解。

### 1. NAT模块的初始化 ###

NAT模块的初始化过程主要是初始化一些全局变量以及注册NAT相关的hook函数。在下面nf\_nat\_init()函数和nf\_nat\_standalone\_init()函数的流程图中用红色标记了要初始化的全局数据结构。

nf\_nat\_init()函数：

![Center][]

nf\_nat\_standalone\_init()函数：

![Center 1][]

NAT表是一个xt\_table，定义如下：

static struct xt_table nat_table = {
    	.name		= "nat",
    	.valid_hooks	= NAT_VALID_HOOKS,
    	.me		= THIS_MODULE,
    	.af		= AF_INET,
    };

iptables的表如filter, nat,mangle表都是通过ipt\_register\_table()注册的，在netfilter中被使用。我们需要知道iptables的表中的每条规则都包括三部分：

entry：规则的入口，同时做一些匹配数据包的工作。

match：匹配数据包的条件大多放在这里。

target：对于符合条件的数据包要执行的动作放在这里。

NAT表中的每条规则就包括上面三个部分。

注册NAT表时传入的第三个参数nat\_initial\_table定义如下：

static struct
    {
    	struct ipt_replace repl;
    	struct ipt_standard entries[3];
    	struct ipt_error term;
    } nat_initial_table __net_initdata = {
    	.repl = {
    		.name = "nat",
    		.valid_hooks = NAT_VALID_HOOKS,
    		.num_entries = 4,
    		.size = sizeof(struct ipt_standard) * 3 + sizeof(struct ipt_error),
    		.hook_entry = {
    			[NF_INET_PRE_ROUTING] = 0,
    			[NF_INET_POST_ROUTING] = sizeof(struct ipt_standard),
    			[NF_INET_LOCAL_OUT] = sizeof(struct ipt_standard) * 2
    		},
    		.underflow = {
    			[NF_INET_PRE_ROUTING] = 0,
    			[NF_INET_POST_ROUTING] = sizeof(struct ipt_standard),
    			[NF_INET_LOCAL_OUT] = sizeof(struct ipt_standard) * 2
    		},
    	},
    	.entries = {
    		IPT_STANDARD_INIT(NF_ACCEPT),	/* PRE_ROUTING */
    		IPT_STANDARD_INIT(NF_ACCEPT),	/* POST_ROUTING */
    		IPT_STANDARD_INIT(NF_ACCEPT),	/* LOCAL_OUT */
    	},
    	.term = IPT_ERROR_INIT,			/* ERROR */
    };

xt\_register\_target()函数为iptables 规则注册target，这里注册了snat和dnat两个target，他们的定义如下：

static struct xt_target ipt_snat_reg __read_mostly = {
 	.name		= "SNAT",
 	.target		= ipt_snat_target,
 	.targetsize	= sizeof(struct nf_nat_multi_range_compat),
 	.table		= "nat",
 	.hooks		= 1 << NF_INET_POST_ROUTING,
 	.checkentry	= ipt_snat_checkentry,
 	.family		= AF_INET,
 };
 
 static struct xt_target ipt_dnat_reg __read_mostly = {
 	.name		= "DNAT",
 	.target		= ipt_dnat_target,
 	.targetsize	= sizeof(struct nf_nat_multi_range_compat),
 	.table		= "nat",
 	.hooks		= (1 << NF_INET_PRE_ROUTING) | (1 << NF_INET_LOCAL_OUT),
 	.checkentry	= ipt_dnat_checkentry,
 	.family		= AF_INET,
 };

介绍完NAT模块的初始化，接下来看看NAT处理数据包的过程。

### 2. NAT处理流程 ###

NAT模块通过挂在netfilter上的hook函数起作用，其任务就是将设置好的NAT表中的iptables规则作用于conntrack连接，使其做NAT转换，并生成新的conntrack连接。而后续相同的数据包直接根据新的conntrack连接进行NAT转换而不需要再匹配NAT表。NAT表与netfilter其他表的区别就是一个连接上的数据包只需要查找一次NAT表。

NAT有四个hook点，这四个hook点的函数都是调用nf\_nat\_fn()，其中PRE\_ROUTING和LOCAL\_OUT做DNAT，POST\_ROUTING和LOCAL\_IN做SNAT，所以我们的SNAT规则是加在POST\_ROUTING链上的。但LOCAL IN和LOCAL OUT上的hook点一般不做工作，因此我们只关注PRE ROUTING和POST ROUTING的hook点。

下文中有的地方将conntrack简写为ct。

nf\_nat\_fn()函数：

static unsigned int
    nf_nat_fn(unsigned int hooknum,
    	  struct sk_buff *skb,
    	  const struct net_device *in,
    	  const struct net_device *out,
    	  int (*okfn)(struct sk_buff *))
    {
    	struct nf_conn *ct;
    	enum ip_conntrack_info ctinfo;
    	struct nf_conn_nat *nat;
    	/* maniptype == SRC for postrouting. */
    		
    	/* 判断应该做SNAT还是DNAT */
    enum nf_nat_manip_type maniptype = HOOK2MANIP(hooknum); 
     
    	/* 分片包就报warning，因为在这之前已经过了defrag的hook了。 */
    	NF_CT_ASSERT(!(ip_hdr(skb)->frag_off & htons(IP_MF | IP_OFFSET)));
     
    	/*获得skb的nf_conn结构，因为conntrack的hook在NAT之前，所以skb中应该有nf_conn了，并从skb->nfctinfo中获得当前连接跟踪的状态。 */
    	ct = nf_ct_get(skb, &ctinfo); 
    	if (!ct) /* 找不到tuple可能因为数据包不合法，就如序列号过大 */
    		return NF_ACCEPT;
     
    	/* Don't try to NAT if this packet is not conntracked */
    	if (ct == &nf_conntrack_untracked)
    		return NF_ACCEPT;
     
    	/* 在ct->ext中查找存不存在关于NAT的extension，没找到则新建。在本函数中用不到，NAT的extension在后面介绍。 */
    	nat = nfct_nat(ct);
    	if (!nat) {
    		/* NAT module was loaded late. */
    		if (nf_ct_is_confirmed(ct)) {
    			printk("CT not confirmed ct=%p\n\n",ct);
    			return NF_ACCEPT;
    		}
    		/* GFP即get free page，这些宏指定了内存分配时的优先级。
    		这里只是分配空间 */
    		nat = nf_ct_ext_add(ct, NF_CT_EXT_NAT, GFP_ATOMIC);
    		if (nat == NULL) {
    			pr_debug("failed to add NAT extension\n");
    			return NF_ACCEPT;
    		}
    	}
     
    	/* 判断连接状态 */
    	switch (ctinfo) {
    	case IP_CT_RELATED:
    	case IP_CT_RELATED+IP_CT_IS_REPLY:
    		if (ip_hdr(skb)->protocol == IPPROTO_ICMP) {
    			if (!nf_nat_icmp_reply_translation(ct, ctinfo,
    							   hooknum, skb))
    				return NF_DROP;
    			else
    				return NF_ACCEPT;
    		}
    	case IP_CT_NEW: /* 新来的，还没创建conntrack条目，需要查找NAT表 */
    		/* Seen it before?  This can happen for loopback, retrans,
    		   or local packets.. */
    		/* 另外，如果只有单方向数据，这个if也会使其不需要查找nat表。 */
    		if (!nf_nat_initialized(ct, maniptype)) {
    			unsigned int ret;
     
    			if (hooknum == NF_INET_LOCAL_IN)
    				/* LOCAL_IN hook doesn't have a chain!  */
    				ret = alloc_null_binding(ct, hooknum);
    			else
    	/* 在nat(iptable)表中匹配该hook中的iptables规则并执行target。结果是给skb指向的ct做了NAT，且更新ct->status为IPS_DST_NAT_DONE_BIT或IPS_SRC_NAT_DONE_BIT。 */
    				ret = nf_nat_rule_find(skb, hooknum, in, out,
    						       ct);
     
    			if (ret != NF_ACCEPT) {
    				return ret;
    			}
    		} else
    			pr_debug("Already setup manip %s for ct %p\n",
    				 maniptype == IP_NAT_MANIP_SRC ? "SRC" : "DST",
    				 ct);
    		break;
     
    	default:
    		/* ESTABLISHED或REPLY的连接，就直接根据ct修改skb了。 */
    		NF_CT_ASSERT(ctinfo == IP_CT_ESTABLISHED ||
    			     ctinfo == (IP_CT_ESTABLISHED+IP_CT_IS_REPLY));
    	}
     
    	/* 前面已经修改了连接跟踪，这里正式修改了数据包里的地址 */
    	return nf_nat_packet(ct, ctinfo, hooknum, skb);
    }

其中nf\_nat\_rule\_find()函数通过调用ipt\_do\_table(skb, hooknum, in, out,net->ipv4.nat\_table)来修改ct做NAT，ipt\_do\_table()函数的工作就是匹配iptables规则matches并执行target。以下面的数据包为例：

src ip：192.168.1.102，dst ip：192.168.2.100，wan ip：192.168.2.1

数据包从路由器LAN->WAN方向传输，即从局域网到公网，所以需要做SNAT，即在POST\_ROUTING处为数据包做NAT。

在nf\_nat\_rule\_find()函数前后ct的变化如下（TCP和UDP相同）：

PRE\_ROUTING：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> &nbsp; </td> 
 <td style="vertical-align:top;"> 源ip/port </td> 
 <td style="vertical-align:top;"> 目的ip/port </td> 
 <td style="vertical-align:top;"> skb-&gt;nfctinfo </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之前 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之后 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 </tbody> 
</table>

POST\_ROUTING：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> &nbsp; </td> 
 <td style="vertical-align:top;"> 源ip/port </td> 
 <td style="vertical-align:top;"> 目的ip/port </td> 
 <td style="vertical-align:top;"> skb-&gt;nfctinfo </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之前 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之后 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:3386 </td> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100:10115 </td> 
 <td style="vertical-align:top;"> 192.168.2.1:3386 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 </tbody> 
</table>

skb的状态skb->nfctinfo在nf\_conntrack\_in()根据ct的状态ct->status被更新，即下一个包进来的时候才会更新。第一个数据包根据iptables设置的NAT规则做NAT后，conntrack条目被更新。

之后的数据包再进入netfilter的时候，由于conntrack优先级在NAT之前，所以skb->nfctinfo会在进入nf\_nat\_fn()之前更新，因此就会使用新的conntrack做NAT而无需再查找NAT表中的规则。之后的数据包的状态可能为IP\_CT\_IS\_REPLY或IP\_CT\_ESTABLISHED，如果有expect连接，则可能为IP\_CT\_RELATED或IP\_CT\_RELATED + IP\_CT\_IS\_REPLY。

如果只有单方向的数据包，那skb的状态在nf\_conntrack\_in()就不会被修改，所以会一直是IP\_CT\_NEW，因此后续数据包会一直查找NAT表。不过一般不会一直都是单方向的，即使跑UDP不分片包的数据，一般也会看到有REPLY方向的数据包，有了REPLY方向的数据包，在conntrack钩子就会更新conntrack和skb的状态。

ICMP做NAT要做一下特殊介绍，在POST\_ROUTING处的连接如下：

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> &nbsp; </td> 
 <td style="vertical-align:top;"> 源ip/port </td> 
 <td style="vertical-align:top;"> 目的ip/port </td> 
 <td style="vertical-align:top;"> skb-&gt;nfctinfo </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之前 </td> 
 <td style="vertical-align:top;"> 192.168.1.102: 768 </td> 
 <td style="vertical-align:top;"> 192.168.2.100:2048 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100: 768 </td> 
 <td style="vertical-align:top;"> 192.168.1.102:0 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> ipt_do_table()之后 </td> 
 <td style="vertical-align:top;"> 192.168.1.102: 768 </td> 
 <td style="vertical-align:top;"> 192.168.2.100: 2048 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 192.168.2.100: 768 </td> 
 <td style="vertical-align:top;"> 192.168.2.1:0 </td> 
 <td style="vertical-align:top;"> IP_CT_NEW </td> 
 </tr> 
 </tbody> 
</table>

由于ICMP没有端口号，所以会以ICMP报头中的Identifier作为源port，以ICMP报头中的Type + Code字段作为目的port。如果内网有多台主机，Identifier会发生变化，即连接上的源port会发生变化，以此区分不同的连接。而由于目的port是根据Type + Code确定的，这个值对于特定类型的ICMP报文的值是一样的。

UDP分片包做NAT：

由于defrag的hook在conntrack之前，所以不用担心分片包的问题。

[Center]: /images/20210728/6a4e7fa631d74b659ea3c9b40b653edd.png
[Center 1]: /images/20210728/0bc75af548764721b46ff96796d5534c.png