ndpi 流量协议分析

╰+攻爆jí腚メ 2021-07-28 11:14 714阅读 0赞

**目录**

1、nDPI介绍

2、nDPI库

3、示例

4、API nDPI

5、开发nDPI自定义协

--------------------

### 1、nDPI介绍 ###

nDPI是一个基于OpenDPI的DPI库，目前由ntop维护。

为了给您提供一个跨平台的DPI体验，我们除了支持Unix/Linux外，同时也支持Windows。不仅如此，我们已经通过修改nDPI，使得它更加适合于流量监控应用，我们通过禁用那些对网络流量监控不必要的特性，已经实现了这一功能，因此也加快了DPI引擎的速度。

nDPI允许应用层检测协议，而不管使用的端口是什么。这意味着在非标准端口监测已知协议（例如在80号端口之外的端口检测HTTP协议）或者反过来（例如在80号端口检测Skype流量）都成为了可能。这是由于在当今“端口=应用”的概念不再适用。

在过去的几个月里，我们也已经新增加了几个功能特性，包括：

1.  示例ndpiReader应用在速度/功能方面和封装支持上都得到了加强。（例如你现在可以对GTP隧道流量进行分析）
2.  能够将nDPI编译到Linux内核中，以便于你能使用它开发高效的基于内核的模块。
3.  多方面速度加强，nDPI现在比他的前身（之前的版本）更快。
4.  添加了许多协议（到目前为止我们支持大约200个协议），其中包括如SAP与Citrix等的“业务”协议，也有像Dropbox与Spotify的“桌面”协议。
5.  能够去定义基于端口（和端口范围）的协议检测，以便于你能使用经典的基于端口的检测来去补充协议检测。
6.  为了能让nDPI支持加密的链接，我们已经为SSL（包括服务器与客户端）证书添加了解码器。因此，我们能够使用加密证书来理解弄清楚协议。同时这也能让我们去识别如Citrix Online与Apple ICloud等一般无法检测到的协议。
7.  能通过使用基于字符串的匹配来支持子协议。

1.1、下载源

当你在构建ntop与nProbe时nDPI会自动被下载。当然也没有什么能阻止你将其用作一个独立的DPI库。你可以从[https://github.com/ntop/nDPI][https_github.com_ntop_nDPI] 下载源码。

### 2、nDPI库 ###

2.1、编译nDPI源码

开始使用nDPI库非常地简单。为了编译这个库，你必须满足一些先决条件比如：

GUN autotools/libtool 
    gawk 
    gcc

为了实现这些，你需要使用以下命令来安装他们：

![format_png][]

一旦你完成了上面的安装，你就能使用以下命令编译nDPI源码：

cd <nDPI source code directory>
    ./autogen.sh
    ./configure
    make

2.2、编译示例ndpiReader源码

开始使用ndpiReader也很简单。为了编译它你必须使用以下命令：

cd <nDPI source code directory>/example 
    make

2.3、ndpiReader命令行选项

这个示例ndpiReader应用在速度/功能分析方面和封装支持上均能被使用。特别的是，ndpiReader能够指定很多命令行选项。

下面列举了可使用的命令选项和每一个选项的简要简要介绍：

![format_png 1][]

![format_png 2][]

-i <file.pcap |device>

这项命令用于指定一个pcap文件来读取数据包，或者指定一个用于实时捕获的设备。而且只能指定两者当中的一个。

-f <BPF filter>

指定一个BPF过滤器用来过滤选定的流量。它只允许nDPI接受那些和过滤器匹配的数据包（如果被指定的话）。

-s <duration>

定义了捕获持续时间，以秒为单位，仅用于实时流量捕获。

-p <file.protos>

指定了一个协议文件（例如protos.txt）来扩展对子协议和基于端口协议检测的支持。尤其需要小心的是，协议一旦被定义到protos文件中就会覆盖之前的已经存在的协议。

-l <num loops>

检测循环数（仅用与测试）

-d

这个标志会禁用nDPI协议猜测，仅使用DPI。

-t

打印ndpiReader帮助

-v <1|2>

使用这个标志时，ndpiReader会生成详细的输出，这个输出能被用于调试其性能。数字1是显示带有“未知协议”数据包的最低等级，而2级会显示地更加详细，两者只能指定其一。

![format_png 3][]

2.4、协议文件

nDPI能够通过基于字符串的匹配支持子协议。这是由于许多新的子协议比如Apple iCloud/iMessage，WhatsApp和许多其他的使用HTTP（s）的协议能够通过解码SSL证书主机或者HTTP“Host:”被检测到。因此我们决定将一个基于流行的Aho-Corasick 算法的高效字符匹配库嵌入到nDPI中，用于数十万子字符的高效匹配（即在普通硬件上能足够快地支持10Gb的流量）。

你可以在运行时通过使用一个用以下格式的协议文件来指定子协议：

![format_png 4][]

除此之外，你也能使用以下格式来指定一个基于端口的检测：

![format_png 5][]

你可以使用ndpiReader这个应用（使用 –p 选项）来测试你的自定义配置。或者你可以使用ndpi\_load\_protocls\_file() nDPI API调用来增强你自己的应用。

### 3、示例 ###

在这一节我们会展示一些ndpiReader的使用范例。

3.1、实时捕获模式

下面这个例子将会展示ndpiReader的实时捕获模式。使用参数-i指定接口设备，参数-s 指定实时捕获持续时间。

![format_png 6][]

3.2、pcap 捕获模式

创建一个pcap文件最简单的方法就是通过使用tcpdump命令，就像下面这个例子：

![format_png 7][]

一旦pcap文件被创建，你就能启动ndpiReader，使用参数-I :

![format_png 8][]

![format_png 9][]

3.3、协议文件

为了阐明协议文件的特性，我们现在将解释怎样让你识别来自ntop.org的流。

我们可以通过编辑protos.txt文件来实现它：

ntop$ echo 'host:"ntop.org"@nTop'> protos.txt

一旦这个协议文件已经被修改，你可以启动ndpiReader，使用参数 –p：

![format_png 10][]

### 4、API nDPI ###

在这一节中nDPI API是重点。

示例ndpiReader现在有一个基础的例子用来展示如何初始化这个库。需要一个已经编译好的库和一个合适配置的Makefile（即示例Makefile）。

想要在你的应用中开始使用nDPI的API，除了你自己的包含外，必须也添加下面这个包含文件：

#include"dpi_main.h"

这个库可以像下面这样初始化：

1、声明协议位掩码，初始化检测模块：

NDPI_PROTOCOL_BITMASK all;
    ndpi_struct = ndpi_init_detection_module(detection_ticks_resolution,malloc_wrapper,
                free_wrapper,debug_printf);

这个函数允许你初始化检测模块。字段有如下含义：

U_int32_t ticks_per_second

每秒时间戳分辨率（比如1000每毫秒分辨率）。

void*(*_ndpi_malloc)(unsigned long size);

指向一个内存分配器的函数指针。

void*(*_ndpi_free)(void*prt);

指向一个调试输出函数的函数指针，在生产环境下置空（NULL）

2、通过适当的宏并将他们设置到检测模块中来启用所有协议（需要注意的是，如果你愿意你也可以启用这些协议的子集）。

// enable all protocols
    NDPI_BITMASK_SET_ALL(all);
    ndpi_set_protocol_detection_bitmask2(ndpi_struct, &all);

这个函数能让你设置已经定义到检测模块中的协议位掩码。

3、为了加载一个存在的协议文件，你必须使用如下函数：

dpi_load_protocols_file(ndpi_struct, _protoFilePath);

4、每当从你的pcap文件或者入口设备中捕获到流时，它们可以通过使用以下函数分析：

protocol = (const u_int32_t)ndpi_detection_process_packet(
                ndpi_struct,ndpi_flow,iph ? (uint8_t *)iph : (uint8_t *)if,
                ipsize,
                time,
                src,
                dst);

这些字段有以下的含义：

struct ndpi_detection_module_struct*ndpi_struct;

检测模块。

struct ndpi_flow_struct*flow;

指向连接状态机的流空指针。

const unsigned char*packet;

这个packet作为一个无符号的字符指针，长度为packetlen。这个指针必须指向第三层（IP报头）。

const unsigned short packetlen;

packetlen包的长度。

const U_int32_t current_tickt;

数据包的当前时间戳。

struct ndpi_id_struct*src;

指向源订阅状态机的空指针。

struct ndpi_id_struct*dst;

指向目的订阅状态机的空指针。

5、一旦流被分析后，有必要通过下面的函数来摧毁检测模块。

ndpi_exit_detection_module(ndpi_struct, free_wrapper);

这些字段有以下含义：

struct ndpi_detection_module_struct*ndpi_struct;

需要被消除的检测模块。

void*(*_ndpi_free)(void*prt);

指向一个内存释放函数的函数指针。

如需进一步的信息，我们建议可以阅读以下文件：

nDPI/example/ndpiReader.c,
    nDPI/src/include/ndpi_structs.h,
    nDPI/src/include/ndpi_public_functions.h
    nDPI/src/ndpi_main.c

协议解析器文件被包含在nDPI/src/protocols 目录下。

### 5、开发nDPI自定义协 ###

在这一节中，我们将展示将你的协议包含在nDPI中的方法。

5.1、介绍

每个nDPI协议都会作为一个入口函数被实现，在运行时通过nDPI被使用。nDPI有几个协议可以被用来当作这个方面的例子。下面，我们列出了一些主要的概念，如果你打算开发一个nDPI协议，这些是你必须知道的。

5.2、创建新的协议

每一个协议都必须在下面的头文件中有一个对应的定义：

<nDPI source code directory>/src/include/ndpi_protocols_osdpi.h

例如：

#define NDPI_PROTOCOL_MY_PROTOCOL     171

NDPI\_PROTOCOL\_MY\_PROTOCOL是这个协议的名字，171是这个协议的ID，且必须是独一无二的。

一旦定义了协议，您必须创建一个新的协议源文件，如

<nDPI source code directory>/src/lib/protocols/my_protocol.c

包括以下内容：

#include "ndpi_utils.h"
    #ifdef NDPI_PROTOCOL_MY_PROTOCOLS
    .....
    #endif

在里面，需要定义一个入口函数，如：

void ndpi_search_my_protocol(
                struct ndpi_detection_module_struct *ndpi_struct,
                struct ndpi_flow_struct *flow)
    {
          struct ndpi_packet_struct *packet = &flow->packet;
          NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct,NDPI_LOG_DEBUG, "my protocol detection...\n");
    /* skip marked packets by checking if the detection protocol stack */
        if (packet->detected_protocol_stack[0] != NDPI_PROTOCOL_MY_PROTOCOL) {
            ndpi_check_my_protocol(ndpi_struct, flow);
        }
    }

及其一个核心检测函数，用来处理一个流的数据包，包括以下内容：

static void ndpi_check_my_protocol(struct ndpi_detection_module_struct *ndpi_struct,
                                       struct ndpi_flow_struct *flow)
    {
        struct ndpi_packet_struct *packet = &flow->packet;
        u_int32_t payload_len = packet->payload_packet_len;
        .....
        .....
        if("Found Protocol") {
            NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct,
                     NDPI_LOG_DEBUG, "Found my protocol.\n");
            ndpi_int_my_protocol_add_connection(ndpi_struct, flow);
            return;
        }
        /*Exclude Protocol*/
        NDPI_LOG(NDPI_PROTOCOL_MY_PROTOCOL, ndpi_struct, NDPI_LOG_DEBUG,
                 "exclude my protocol.\n");
        NDPI_ADD_PROTOCOL_TO_BITMASK(
                    flow->excluded_protocol_bitmask,
                    NDPI_PROTOCOL_MY_PROTOCOL);
        }
    }

还有一个特定的函数用来报告关于协议正确的识别信息，如：

static void ndpi_int_my_protocol_add_connection(
            struct ndpi_detection_module_struct *ndpi_struct,
            struct ndpi_flow_struct *flow,
            u_int8_t due_to_correlation)
    {
        ndpi_int_add_connection(ndpi_struct, flow,
                                NDPI_PROTOCOL_MY_PROTOCOL,
                                /*Choose the type of your protocol*/
                                NDPI_CORRELATED_PROTOCOL or NDPI_REAL_PROTOCOL);
    }

5.3、添加你的协议到nDPI

协议被创建之后，你必须在下面的头文件中声明你的入口函数：

<nDPI source code directory>/src/include/ndpi_protocols.h

包括如下内容：

/* my protocol entry */
    void ndpi_search_my_protocol(
            struct ndpi_detection_module_struct *ndpi_struct,
            struct ndpi_flow_struct *flow);

每个协议必须与一个NDPI\_SELECTION\_BITMASK相关联。NDPI\_SELECTION\_BITMASK的完整列表被包含在文件：

<nDPI source code directory>/src/include/ndpi_define.h

在为你的协议选择了一个确定的位掩码之后，你必须通知nDPI新协议的存在，通过编辑文件：

<nDPI source code directory>/src/lib/ndpi_main.c

需要将你的协议添加到如下函数中：

void ndpi_set_protocol_detection_bitmask2(
            struct ndpi_detection_module_struct *ndpi_struct,
            const NDPI_PROTOCOL_BITMASK * dbm)
    .....
    .....
    .....
    #ifdef NDPI_PROTOCOL_MY_PROTOCOL
    ndpi_set_bitmask_protocol_detection(ndpi_struct,detection_bitmask,a,
                                        NDPI_PROTOCOL_MY_PROTOCOL,
                                        ndpi_search_my_protocol,
                                        NDPI_SELECTION_BITMASK_MY_PROTOCOL,
                                        SAVE_DETECTION_BITMASK_AS_UNKNOW,
                                        ADD_TO_DETECTION_BITMASK);
    /* Update callback_buffer index */
    a++;
    #endif
    .....
    .....
    .....
    ndpi_struct->callback_buffer_size = a;
    NDPI_LOG(NDPI_PROTOCOL_UNKNOWN, ndpi_struct, NDPI_LOG_DEBUG,
             "callback_buffer_size is %u\n", ndpi_struct->callback_buffer_size);

[https_github.com_ntop_nDPI]: https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fntop%2FnDPI
[format_png]: /images/20210728/09ca380e787c4b54ad882b1d539c84ff.png
[format_png 1]: /images/20210728/51819f4fe7424523ba134a02fc4ca9b6.png
[format_png 2]: /images/20210728/380c850db28f4e5796230b5eb8f74292.png
[format_png 3]: /images/20210728/8e2b7e7c5910405f9e7381258995cd45.png
[format_png 4]: /images/20210728/c91dc294c27b4d75bfa913074cc7783b.png
[format_png 5]: /images/20210728/1a57f2fa21954db9a742065445d2bc4f.png
[format_png 6]: /images/20210728/fe6fa3c96f2141beb773be051def2d25.png
[format_png 7]: /images/20210728/cf950f8ac65841869e832a749ffc7968.png
[format_png 8]: /images/20210728/7f181e100d784e01a9da1889109b2f24.png
[format_png 9]: /images/20210728/3d4a10524db541f4b1cdc7fbc6322456.png
[format_png 10]: /images/20210728/7e0915ddcf624a0cb96ec61276ef85c7.png