intel万兆网卡驱动简要分析

亦凉 2022-08-06 09:24 1043阅读 0赞

**原创文章，转载请注明：** 转载自[pagefault][]

**本文链接地址:** [intel万兆网卡驱动简要分析][intel]

这里分析的驱动代码是给予linux kernel 3.4.4

对应的文件在drivers/net/ethernet/intel 目录下，这个分析不涉及到很细节的地方，主要目的是理解下数据在协议栈和驱动之间是如何交互的。

首先我们知道网卡都是pci设备，因此这里每个网卡驱动其实就是一个pci驱动。并且intel这里是把好几个万兆网卡(82599/82598/x540)的驱动做在一起的。

首先我们来看对应的pci\_driver的结构体，这里每个pci驱动都是一个pci\_driver的结构体，而这里是多个万兆网卡共用这个结构体ixgbe\_driver.

然后是模块初始化方法,这里其实很简单，就是调用pci的驱动注册方法，把ixgbe挂载到pci设备链中。 这里不对pci设备的初始化做太多介绍，我以前的blog有这方面的介绍，想了解的可以去看看。这里我们只需要知道最终内核会调用probe回调来初始化ixgbe。

这里不去追究具体如何调用probe的细节，我们直接来看probe函数，这个函数中通过硬件的信息来确定需要初始化那个驱动(82598/82599/x540),然后核心的驱动结构就放在下面的这个数组中。

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> 
    <div style="">
      2 
    </div> 
    <div style="">
      3 
    </div> 
    <div style="">
      4 
    </div> 
    <div style="">
      5 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">static</code> 
      <code style="">const</code> 
      <code style=""> struct</code> 
      <code style="">ixgbe_info *ixgbe_info_tbl[] = { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">[board_82598] = &amp;ixgbe_82598_info,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">[board_82599] = &amp;ixgbe_82599_info,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">[board_X540] = &amp;ixgbe_X540_info,</code> 
     </div> 
     <div style=""> 
      <code style="">};</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

ixgbe\_probe函数很长，我们这里就不详细分析了，因为这部分就是对网卡进行初始化。不过我们关注下面几个代码片段。

首先是根据硬件的参数来取得对应的驱动值:

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">const</code> 
      <code style="">struct</code> 
      <code style=""> ixgbe_info *ii = ixgbe_info_tbl[ent-&gt;driver_data];</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

然后就是如何将不同的网卡驱动挂载到对应的回调中，这里做的很简单，就是通过对应的netdev的结构取得adapter，然后所有的核心操作都是保存在adapter中的，最后将ii的所有回调拷贝给adapter就可以了。我们来看代码：

最后需要关注的就是设置网卡属性，这些属性一般来说都是通过ethtool 可以设置的属性(比如tso/checksum等),这里我们就截取一部分:

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> 
    <div style="">
      2 
    </div> 
    <div style="">
      3 
    </div> 
    <div style="">
      4 
    </div> 
    <div style="">
      5 
    </div> 
    <div style="">
      6 
    </div> 
    <div style="">
      7 
    </div> 
    <div style="">
      8 
    </div> 
    <div style="">
      9 
    </div> 
    <div style="">
      10 
    </div> 
    <div style="">
      11 
    </div> 
    <div style="">
      12 
    </div> 
    <div style="">
      13 
    </div> 
    <div style="">
      14 
    </div> 
    <div style="">
      15 
    </div> 
    <div style="">
      16 
    </div> 
    <div style="">
      17 
    </div> 
    <div style="">
      18 
    </div> 
    <div style="">
      19 
    </div> 
    <div style="">
      20 
    </div> 
    <div style="">
      21 
    </div> 
    <div style="">
      22 
    </div> 
    <div style="">
      23 
    </div> 
    <div style="">
      24 
    </div> 
    <div style="">
      25 
    </div> 
    <div style="">
      26 
    </div> 
    <div style="">
      27 
    </div> 
    <div style="">
      28 
    </div> 
    <div style="">
      29 
    </div> 
    <div style="">
      30 
    </div> 
    <div style="">
      31 
    </div> 
    <div style="">
      32 
    </div> 
    <div style="">
      33 
    </div> 
    <div style="">
      34 
    </div> 
    <div style="">
      35 
    </div> 
    <div style="">
      36 
    </div> 
    <div style="">
      37 
    </div> 
    <div style="">
      38 
    </div> 
    <div style="">
      39 
    </div> 
    <div style="">
      40 
    </div> 
    <div style="">
      41 
    </div> 
    <div style="">
      42 
    </div> 
    <div style="">
      43 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;features = NETIF_F_SG |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_IP_CSUM |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_IPV6_CSUM |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_HW_VLAN_TX |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_HW_VLAN_RX |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_HW_VLAN_FILTER |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_TSO |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_TSO6 |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_RXHASH |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_RXCSUM;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;hw_features = netdev-&gt;features;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">switch</code> 
      <code style="">(adapter-&gt;hw.mac.type) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">case</code> 
      <code style="">ixgbe_mac_82599EB:</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">case</code> 
      <code style="">ixgbe_mac_X540:</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;features |= NETIF_F_SCTP_CSUM;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;hw_features |= NETIF_F_SCTP_CSUM |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">NETIF_F_NTUPLE;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">break</code> 
      <code style="">;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">default</code> 
      <code style="">:</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">break</code> 
      <code style="">;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;hw_features |= NETIF_F_RXALL;</code> 
     </div> 
     <div style=""> 
      <code style="">..................................................</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;priv_flags |= IFF_UNICAST_FLT;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;priv_flags |= IFF_SUPP_NOFCS;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;flags &amp; IXGBE_FLAG_SRIOV_ENABLED)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">adapter-&gt;flags &amp;= ~(IXGBE_FLAG_RSS_ENABLED |</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">IXGBE_FLAG_DCB_ENABLED);</code> 
     </div> 
     <div style=""> 
      <code style="">...................................................................</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(pci_using_dac) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;features |= NETIF_F_HIGHDMA;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;vlan_features |= NETIF_F_HIGHDMA;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;flags2 &amp; IXGBE_FLAG2_RSC_CAPABLE)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;hw_features |= NETIF_F_LRO;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;flags2 &amp; IXGBE_FLAG2_RSC_ENABLED)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">netdev-&gt;features |= NETIF_F_LRO;</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

然后我们来看下中断的注册，因为万兆网卡大部分都是多对列网卡(配合msix)，因此对于上层软件来说，就好像有多个网卡一样，它们之间的数据是相互独立的，这里读的话主要是napi驱动的poll方法，后面我们会分析这个.

到了这里或许要问那么网卡是如何挂载回调给上层，从而上层来发送数据呢，这里是这样子的，每个网络设备都有一个回调函数表(比如ndo\_start\_xmit)来供上层调用，而在ixgbe中的话，就是ixgbe\_netdev\_ops，下面就是这个结构，不过只是截取了我们很感兴趣的几个地方.

不过这里注意，读回调并不在里面，这是因为写是软件主动的，而读则是硬件主动的。现在ixgbe是NAPI的，因此它的poll回调是ixgbe\_poll，是中断注册时候通过netif\_napi\_add添加进去的。

这里我们最关注的其实就是ndo\_start\_xmit回调，这个回调就是驱动提供给协议栈的发送回调接口。我们来看这个函数.

它的实现很简单，就是选取对应的队列，然后调用ixgbe\_xmit\_frame\_ring来发送数据。

而在ixgbe\_xmit\_frame\_ring中，我们就关注两个地方，一个是tso(什么是TSO，请自行google)，一个是如何发送.

调用ixgbe\_tso处理完tso之后，就会调用ixgbe\_tx\_map来发送数据。而ixgbe\_tx\_map所做的最主要是两步，第一步请求DMA，第二步写寄存器，通知网卡发送数据.

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> 
    <div style="">
      2 
    </div> 
    <div style="">
      3 
    </div> 
    <div style="">
      4 
    </div> 
    <div style="">
      5 
    </div> 
    <div style="">
      6 
    </div> 
    <div style="">
      7 
    </div> 
    <div style="">
      8 
    </div> 
    <div style="">
      9 
    </div> 
    <div style="">
      10 
    </div> 
    <div style="">
      11 
    </div> 
    <div style="">
      12 
    </div> 
    <div style="">
      13 
    </div> 
    <div style="">
      14 
    </div> 
    <div style="">
      15 
    </div> 
    <div style="">
      16 
    </div> 
    <div style="">
      17 
    </div> 
    <div style="">
      18 
    </div> 
    <div style="">
      19 
    </div> 
    <div style="">
      20 
    </div> 
    <div style="">
      21 
    </div> 
    <div style="">
      22 
    </div> 
    <div style="">
      23 
    </div> 
    <div style="">
      24 
    </div> 
    <div style="">
      25 
    </div> 
    <div style="">
      26 
    </div> 
    <div style="">
      27 
    </div> 
    <div style="">
      28 
    </div> 
    <div style="">
      29 
    </div> 
    <div style="">
      30 
    </div> 
    <div style="">
      31 
    </div> 
    <div style="">
      32 
    </div> 
    <div style="">
      33 
    </div> 
    <div style="">
      34 
    </div> 
    <div style="">
      35 
    </div> 
    <div style="">
      36 
    </div> 
    <div style="">
      37 
    </div> 
    <div style="">
      38 
    </div> 
    <div style="">
      39 
    </div> 
    <div style="">
      40 
    </div> 
    <div style="">
      41 
    </div> 
    <div style="">
      42 
    </div> 
    <div style="">
      43 
    </div> 
    <div style="">
      44 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">dma = dma_map_single(tx_ring-&gt;dev, skb-&gt;data, size, DMA_TO_DEVICE);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(dma_mapping_error(tx_ring-&gt;dev, dma))</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">goto</code> 
      <code style="">dma_error;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* record length, and DMA address */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">dma_unmap_len_set(first, len, size);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">dma_unmap_addr_set(first, dma, dma);</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc-&gt;read.buffer_addr = cpu_to_le64(dma);</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">for</code> 
      <code style="">(;;) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">while</code> 
      <code style="">(unlikely(size &gt; IXGBE_MAX_DATA_PER_TXD)) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc-&gt;read.cmd_type_len =</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">cmd_type | cpu_to_le32(IXGBE_MAX_DATA_PER_TXD);</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">i++;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc++;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(i == tx_ring-&gt;count) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc = IXGBE_TX_DESC(tx_ring, 0);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">i = 0;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">dma += IXGBE_MAX_DATA_PER_TXD;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">size -= IXGBE_MAX_DATA_PER_TXD;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc-&gt;read.buffer_addr = cpu_to_le64(dma);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_desc-&gt;read.olinfo_status = 0;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">...................................................</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">data_len -= size;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">dma = skb_frag_dma_map(tx_ring-&gt;dev, frag, 0, size,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">DMA_TO_DEVICE);</code> 
     </div> 
     <div style=""> 
      <code style="">..........................................................</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">frag++;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style=""> 
      <code style="">.................................</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">tx_ring-&gt;next_to_use = i;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* notify HW of packet */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">writel(i, tx_ring-&gt;tail);</code> 
     </div> 
     <div style=""> 
      <code style="">.................</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

上面的操作是异步的，也就是说此时内核还不能释放SKB，而是网卡硬件发送完数据之后，会再次产生中断通知内核，然后内核才能释放内存.接下来我们来看这部分代码。

首先来看的是中断注册的代码，这里我们假设启用了MSIX,那么网卡的中断注册回调就是ixgbe\_request\_msix\_irqs函数，这里我们可以看到调用request\_irq函数来注册回调，并且每个队列都有自己的中断号。

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> 
    <div style="">
      2 
    </div> 
    <div style="">
      3 
    </div> 
    <div style="">
      4 
    </div> 
    <div style="">
      5 
    </div> 
    <div style="">
      6 
    </div> 
    <div style="">
      7 
    </div> 
    <div style="">
      8 
    </div> 
    <div style="">
      9 
    </div> 
    <div style="">
      10 
    </div> 
    <div style="">
      11 
    </div> 
    <div style="">
      12 
    </div> 
    <div style="">
      13 
    </div> 
    <div style="">
      14 
    </div> 
    <div style="">
      15 
    </div> 
    <div style="">
      16 
    </div> 
    <div style="">
      17 
    </div> 
    <div style="">
      18 
    </div> 
    <div style="">
      19 
    </div> 
    <div style="">
      20 
    </div> 
    <div style="">
      21 
    </div> 
    <div style="">
      22 
    </div> 
    <div style="">
      23 
    </div> 
    <div style="">
      24 
    </div> 
    <div style="">
      25 
    </div> 
    <div style="">
      26 
    </div> 
    <div style="">
      27 
    </div> 
    <div style="">
      28 
    </div> 
    <div style="">
      29 
    </div> 
    <div style="">
      30 
    </div> 
    <div style="">
      31 
    </div> 
    <div style="">
      32 
    </div> 
    <div style="">
      33 
    </div> 
    <div style="">
      34 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">static</code> 
      <code style="">int</code> 
      <code style=""> ixgbe_request_msix_irqs(</code> 
      <code style="">struct</code> 
      <code style="">ixgbe_adapter *adapter)</code> 
     </div> 
     <div style=""> 
      <code style="">{ </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">net_device *netdev = adapter-&gt;netdev;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">int</code> 
      <code style="">q_vectors = adapter-&gt;num_msix_vectors - NON_Q_VECTORS;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">int</code> 
      <code style="">vector, err;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">int</code> 
      <code style="">ri = 0, ti = 0;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">for</code> 
      <code style="">(vector = 0; vector &lt; q_vectors; vector++) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">ixgbe_q_vector *q_vector = adapter-&gt;q_vector[vector];</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">msix_entry *entry = &amp;adapter-&gt;msix_entries[vector];</code> 
     </div> 
     <div style=""> 
      <code style="">.......................................................................</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">err = request_irq(entry-&gt;vector, &amp;ixgbe_msix_clean_rings, 0,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">q_vector-&gt;name, q_vector);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(err) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">e_err(probe, </code> 
      <code style="">"request_irq failed for MSIX interrupt "</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">"Error: %d\n"</code> 
      <code style="">, err);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">goto</code> 
      <code style="">free_queue_irqs;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* If Flow Director is enabled, set interrupt affinity */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;flags &amp; IXGBE_FLAG_FDIR_HASH_CAPABLE) { </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* assign the mask for this irq */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">irq_set_affinity_hint(entry-&gt;vector,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">&amp;q_vector-&gt;affinity_mask);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">}</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">..............................................</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">return</code> 
      <code style="">0;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">free_queue_irqs:</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">...............................</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">return</code> 
      <code style="">err;</code> 
     </div> 
     <div style=""> 
      <code style="">}</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

而对应的中断回调是ixgbe\_msix\_clean\_rings,而这个函数呢，做的事情很简单(需要熟悉NAPI的原理，我以前的blog有介绍),就是调用napi\_schedule来重新加入软中断处理.

而NAPI驱动我们知道，最终是会调用网卡驱动挂载的poll回调，在ixgbe中，对应的回调就是ixgbe\_poll，那么也就是说这个函数要做两个工作，一个是处理读，一个是处理写完之后的清理.

<table style=""> 
 <tbody style=""> 
  <tr style=""> 
   <td style=""> 
    <div style="">
      1 
    </div> 
    <div style="">
      2 
    </div> 
    <div style="">
      3 
    </div> 
    <div style="">
      4 
    </div> 
    <div style="">
      5 
    </div> 
    <div style="">
      6 
    </div> 
    <div style="">
      7 
    </div> 
    <div style="">
      8 
    </div> 
    <div style="">
      9 
    </div> 
    <div style="">
      10 
    </div> 
    <div style="">
      11 
    </div> 
    <div style="">
      12 
    </div> 
    <div style="">
      13 
    </div> 
    <div style="">
      14 
    </div> 
    <div style="">
      15 
    </div> 
    <div style="">
      16 
    </div> 
    <div style="">
      17 
    </div> 
    <div style="">
      18 
    </div> 
    <div style="">
      19 
    </div> 
    <div style="">
      20 
    </div> 
    <div style="">
      21 
    </div> 
    <div style="">
      22 
    </div> 
    <div style="">
      23 
    </div> 
    <div style="">
      24 
    </div> 
    <div style="">
      25 
    </div> 
    <div style="">
      26 
    </div> 
    <div style="">
      27 
    </div> 
    <div style="">
      28 
    </div> 
    <div style="">
      29 
    </div> 
    <div style="">
      30 
    </div> 
    <div style="">
      31 
    </div> 
    <div style="">
      32 
    </div> 
    <div style="">
      33 
    </div> 
    <div style="">
      34 
    </div> 
    <div style="">
      35 
    </div> 
    <div style="">
      36 
    </div> 
    <div style="">
      37 
    </div> 
    <div style="">
      38 
    </div> 
    <div style="">
      39 
    </div> 
    <div style="">
      40 
    </div> 
    <div style="">
      41 
    </div> </td> 
   <td style=""> 
    <div style=""> 
     <div style=""> 
      <code style="">int</code> 
      <code style="">ixgbe_poll(</code> 
      <code style="">struct</code> 
      <code style="">napi_struct *napi, </code> 
      <code style="">int</code> 
      <code style="">budget)</code> 
     </div> 
     <div style=""> 
      <code style="">{ </code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">ixgbe_q_vector *q_vector =</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">container_of(napi, </code> 
      <code style="">struct</code> 
      <code style=""> ixgbe_q_vector, napi);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">ixgbe_adapter *adapter = q_vector-&gt;adapter;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">struct</code> 
      <code style="">ixgbe_ring *ring;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">int</code> 
      <code style="">per_ring_budget;</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">bool</code> 
      <code style="">clean_complete = </code> 
      <code style="">true</code> 
      <code style="">;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">#ifdef CONFIG_IXGBE_DCA</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;flags &amp; IXGBE_FLAG_DCA_ENABLED)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">ixgbe_update_dca(q_vector);</code> 
     </div> 
     <div style=""> 
      <code style="">#endif</code> 
     </div> 
     <div style=""> 
      <code style="">//清理写</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">ixgbe_for_each_ring(ring, q_vector-&gt;tx)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">clean_complete &amp;= !!ixgbe_clean_tx_irq(q_vector, ring);</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* attempt to distribute budget to each queue fairly, but don't allow</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">* the budget to go below 1 because we'll exit polling */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(q_vector-&gt;rx.count &gt; 1)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">per_ring_budget = max(budget/q_vector-&gt;rx.count, 1);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">else</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">per_ring_budget = budget;</code> 
     </div> 
     <div style=""> 
      <code style="">//读数据，并清理已完成的</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">ixgbe_for_each_ring(ring, q_vector-&gt;rx)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">clean_complete &amp;= ixgbe_clean_rx_irq(q_vector, ring,</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">per_ring_budget);</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* If all work not completed, return budget and keep polling */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(!clean_complete)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">return</code> 
      <code style="">budget;</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">/* all work done, exit the polling mode */</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">napi_complete(napi);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(adapter-&gt;rx_itr_setting &amp; 1)</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">ixgbe_set_itr(q_vector);</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">if</code> 
      <code style="">(!test_bit(__IXGBE_DOWN, &amp;adapter-&gt;state))</code> 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">ixgbe_irq_enable_queues(adapter, ((u64)1 &lt;&lt; q_vector-&gt;v_idx));</code> 
     </div> 
     <div style="">
       &nbsp; 
     </div> 
     <div style=""> 
      <code style="">&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code style="">return</code> 
      <code style="">0;</code> 
     </div> 
     <div style=""> 
      <code style="">}</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

[pagefault]: http://www.pagefault.info/
[intel]: http://www.pagefault.info/?p=403