Suricata配置文件说明2

秒速五厘米 2022-08-21 02:16 600阅读 0赞

本文接上一篇配置文件说明1，是了解suricata配置文件的第二篇。

## threading ##

Suricata是一个多线程的程序，当它在拥有多核CPU的计算机上运行时会产生多线程以同时处理多个网络流量。在前一篇文章中介绍过suricata其实是有thread，thread-module和queue组成，而thread-module按照功能分为数据包获取、解码数据包和应用层流信息、检测、输出四种模块。

<code class="hljs vbnet has-numbering">数据包获取模块是从网络流量或文件中获取数据包。
 解码前面获取的数据包，如果是基于TCP协议的流则需要分三步：首先是跟踪每一条流的所有链接信息，然后使用流重组（stream-assembly）对已经完成的流进行重组，最后则是根据对应的应用层协议对其进一步分析，比如HTTP协议有专门的分析模块。
 检测模块则是对上一步解码或重组的流量进行检测。检测模块可以是多线程因此它可以同时检测多个数据包或流。
 输出模块则会针对配置文件中的配置，对所有的警告、事件以及需要输出的额外信息进行处理并格式化输出。</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li></ul>

下面这个图是一种典型的运行模式表明了模块间的协作关系，1、2、3、4分别代表四种模块：

![这里写图片描述][20150422102259879]

Suricata的多个线程通过下面的选项可以选择是否绑定特定的CPU核心，如果是no则不绑定，每次运行的时候每个线程对应的CPU核心可能都不是同一个，是yes则每次运行的时候指定的线程只能运行在特定的核心上。通过绑定线程和CPU核心，能够提高CPU cache的命中率，减少内存访问的损耗，提高程序的运行速度：

<code class="hljs lasso has-numbering">set-cpu-affinity: no</code><ul class="pre-numbering" style="display: block;"><li>1</li></ul>

下面这幅图可以很清楚地解释。上面的是绑定的情况，数据包获取、解密和输出模块均在core 0这个核心上，且每个核心都有一个detect线程，但是相对来说其在core 0上的优先级比较低，只有当core 0的其他线程不工作时才会运行，这样suricata也会把较少的检测任务分配给它，而是分配给其他核心上的检测线程；但是如果是下面哪种未绑定的情况，则是由系统根据CPU每个核心的负载程度来分配每个线程运行所在的核心：

![这里写图片描述][20150422133440828]

用户可以根据自己的具体情况配置线程和CPU核心的对应关系，下面是一种配置方法，management-, receive-, decode-, stream-, detect-, verdict-, reject-和outputs-set这些字段都是固定的，每个字段拥有cpu、mode和prio三个选项。cpu自然就是选择线程执行的cpu核心编号，数字从0到3或是all，\[0,1\]表示core 0和core 1，\[1-3\]表示core 1，core 2， core 3三个核心。mode可以“balance”或“exclusive”，balance表示可以在所有cpu字段定义的核心中选择最合理的核心运行，比如下面的decode-cpu-set这次可以在core 0上种运行，等下个时间片可以在core 1上运行；而exclusive则表示固定cpu核心，第一次时间片在core 0上运行，直到线程结束都不能更换核心。prio则是线程在核心中的权限高低，有low，medium和high以及default。除此之外在detect-cpu-set中还可以有threads字段直接指定检测线程的数量而不是根据CPU核心数来计算：

<code class="hljs cs has-numbering"> cpu-affinity:
 - management-cpu-set:
 cpu: [ 0 ] # include only these cpus in affinity settings
 - receive-cpu-set:
 cpu: [ 0 ] # include only these cpus in affinity settings
 - decode-cpu-set:
 cpu: [ 0, 1 ]
 mode: "balanced" 
 - stream-cpu-set:
 cpu: [ "0-1" ]
 - detect-cpu-set:
 cpu: [ "all" ]
 mode: "exclusive" # run detect threads in these cpus
 # Use explicitely 3 threads and don't compute number by using
 # detect-thread-ratio variable:
 # threads: 3
 prio:
 low: [ 0 ]
 medium: [ "1-2" ]
 high: [ 3 ]
 default: "medium" 
 - verdict-cpu-set:
 cpu: [ 0 ]
 prio:
 default: "high" 
 - reject-cpu-set:
 cpu: [ 0 ]
 prio:
 default: "low" 
 - output-cpu-set:
 cpu: [ "all" ]
 prio:
 default: "medium" 
 </code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li><li>12</li><li>13</li><li>14</li><li>15</li><li>16</li><li>17</li><li>18</li><li>19</li><li>20</li><li>21</li><li>22</li><li>23</li><li>24</li><li>25</li><li>26</li><li>27</li><li>28</li><li>29</li><li>30</li><li>31</li><li>32</li><li>33</li><li>34</li></ul>

上面提到的检测线程的数量可以直接指定，也可以根据CPU核心数计算，而计算的系数就是由detect-thread-ratio来指定，默认系数是1.5，比如你的CPU是4核，那就会有6个检测线程：

<code class="hljs http has-numbering">detect-thread-ratio: 1.5</code><ul class="pre-numbering" style="display: block;"><li>1</li></ul>

## IP Defrag ##

在之前介绍suricata规则检测IP头的时候介绍过，IP协议可以对较大的数据进行分片传输，然后在目的端进行重组，suricata中就有一个叫做defragment-engine的模块对分片的IP数据包进行监视和重组然后传给后续的处理模块。配置比较简单，max-frags指出最大的分片数量，prealloc表明是否在程序启动时预分配部分空间，timeout则是超时的时间。因为在数据包监测及重组的过程中，未处理的数据包都会在内存中，如果数量太大或是长时间未进行处理就会降低性能：

<code class="hljs http has-numbering">defrag: 
 max-frags: 65535 
 prealloc: yes 
 timeout: 60</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li></ul>

## Flow和Stream ##

其实针对flow和stream的概念我也没有搞得特别清楚，在suricata中flow配置的是网络流方面的选项，而stream则专门针对TCP协议的重组进行配置。

### flow ###

flow在概念上比较大，它和一次网络连接比较相似。Suricata通过五元组（协议，源IP，源端口，目的IP，目的端口）来识别流量中的数据包是否属于同一个流：

![这里写图片描述][20150422150948800]

持续的跟踪网络中的流需要占用大量的内存，为了控制占用的内存不至于太大，这里有几个选项需要配置。memcap表示最大跟踪流量所使用的内存，默认为32MB；由于suricata是通过五元组计算出一个hash值判断数据包属于哪个流，hash\_size指的就是这个hash表的大小；Prealloc表示预先分配的内存，这样在识别流的时候会有更好的性能；emergency-recovery表示的是当前占用的内存大于memcap时进入内存紧急模式（emergency-mode），需要删除的流的百分比（相对于prealloc来说），这里表示需要删除30%的prealloc设置的空间的流，而删除的原则是根据后面会配置的flow-timeouts也就是超时时间来确定，如果没有流超时则会设置更严格的超时时间，如果还是没用suricata会删除最久未使用过的流；prune\_flows表示处于紧急模式的时候每新增一条流将会删除掉旧的流的数量：

<code class="hljs lasso has-numbering">flow: 
 memcap: 33554432 #The maximum amount of bytes the flow-engine will make use of.
 hash_size: 65536 #Flows will be organized in a hash-table. With this option you can set the 
 #size of the hash-table.
 Prealloc: 10000 #The amount of flows Suricata has to keep ready in memory.
 emergency-recovery: 30 #Percentage of 1000 prealloc'd flows.
 prune_flows: 5 #Amount of flows being terminated during the emergency mode. </code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li></ul>

### flow-timeouts ###

上一节中提到的流的超时时间在此处设置。由于协议的不同，因此需要对不同的协议设置不同的阶段，对应的超时时间也会不同。TCP协议包括新建连接，建立连接和关闭连接，UDP只有新建连接和建立连接两个阶段。

TCP新建连接就是三次握手，建立连接则是完成三次握手之后，而关闭连接则是reset数据包或是关闭tcp连接的四次握手。UDP新建连接是只有一方发送数据包，建立连接则是两方都发送数据包。下面是TCP、UDP、ICMP和default（其他协议）的超时配置，没有emergency前缀的是正常模式下的超时，带有emergency前缀的是在内存紧急模式下的超时时间：

<code class="hljs http has-numbering">flow-timeouts: 
 
 default: 
 new: 30 #Time-out in seconds after the last activity in this flow in a New state.
 established: 300 #Time-out in seconds after the last activity in this flow in a Established 
 #state.
 emergency_new: 10 #Time-out in seconds after the last activity in this flow in a New state
 #during the emergency mode.
 emergency_established: 100 #Time-out in seconds after the last activity in this flow in a Established
 #state in the emergency mode.
 tcp: 
 new: 60 
 established: 3600 
 closed: 120 
 emergency_new: 10 
 emergency_established: 300 
 emergency_closed: 20 
 udp: 
 new: 30 
 established: 300 
 emergency_new: 10 
 emergency_established: 100 
 icmp: 
 new: 30 
 established: 300 
 emergency_new: 10 
 emergency_established: 100</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li><li>12</li><li>13</li><li>14</li><li>15</li><li>16</li><li>17</li><li>18</li><li>19</li><li>20</li><li>21</li><li>22</li><li>23</li><li>24</li><li>25</li><li>26</li><li>27</li></ul>

### stream ###

Stream引擎用于跟踪TCP连接，它有两个模块，分别是TCP数据流的跟踪和数据包重组引擎，前者用于监视TCP连接的状态并确定一个完整的数据流，后者则用于将数据流进行重组以便让后续的处理模块能够识别。

首先是数据流跟踪模块的配置，和flow的一样，这里的memcap也是当前模块能占用内存的最大值；checksum\_validation设置是否检查TCP数据包的CRC校验和，这个值用于保证数据包的完整性，如果设为yes则会丢弃那些校验失败的数据包；max\_sessions对最大的TCP连接数进行了限制，防止其占用过多的内存；prealloc\_sessions则是为了提高性能预先分配的连接数；midstream配置是否允许suricata从一个TCP连接的中间开始跟踪，出现这种情况几乎每次都会发生，因为当启动suricata时有部分TCP连接已经开始并处于建立连接的状态了，若设为true则表示可以从流中间跟踪，默认为false；async\_oneside设置是否打开异步数据包处理，因为有时一个流可能不是从一个路由器而是多个不同的路由器进行传输，这样会导致数据包并不同步，true表示处理这种异步情况，默认为false：

<code class="hljs http has-numbering">stream: 
 memcap: 33554432 #Amount of flow-information (in bytes) to keep in memory.
 checksum_validation: yes #Validate packet checksum, reject packets with invalid checksums.
 max_sessions: 262144 # 256k concurrent sessions 
 prealloc_sessions: 32768 # 32k sessions prealloc'd 
 midstream: false # do not allow midstream session pickups 
 async_oneside: false # do not enable async stream handling 
 inline: no # stream inline mode</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li></ul>

而最后的inline就看不大懂了，难道是选择yes就可以在IPS模式下工作，而no就不工作？官方文档中只提到了IDS和IPS模式下的流跟踪模块的不同，可以看到在IDS模式下只有服务端发送了ACK包suricata才会将之前监视的客户端数据包重组并进行下一步处理，而在IPS模式下由于需要实时监控并丢弃符合规则的包所以采用的是滑动窗口的方式，每当客户端发送一个数据包就会进行下一步处理：

**IDS模式下**  
![这里写图片描述][normal_ids.png]

**IPS模式下**  
![这里写图片描述][inline_mode.png]

Stream引擎的第二部分便是数据包重组，memcap就不做介绍了；因为数据包重组的代价比较大，需要的资源较多，为了避免无限制的重组超大数据包，depth对其进行了限制，默认为1MB；toserver\_chunk\_size和toclient\_chunk\_size只有超过设置的大小的原始数据包才会调用重组（字面上是这么理解）：

<code class="hljs http has-numbering"> reassembly: 
 memcap: 67108864 #Amount of packets (in bytes) to keep in memory.
 depth: 1048576 #The depth of the reassembling.
 toserver_chunk_size: 2560 # inspect raw stream in chunks of at least this size 
 toclient_chunk_size: 2560 # inspect raw stream in chunks of at least </code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li></ul>

## 应用层解析器 ##

### asn1\_max\_frames ###

Asn1是一种标准的描述数据和结构体的标准符号，大量用于通信和计算机网络中解码和传输数据，详细可以参考[Abstract Syntax Notation One-维基百科][Abstract Syntax Notation One-]。这里就是配置使用asn1进行解码的数据包的最大数量：

<code class="hljs http has-numbering"> asn1_max_frames: 256</code><ul class="pre-numbering" style="display: block;"><li>1</li></ul>

### app-layer ###

如果希望Suricata解析应用层协议的数据包则需要对其进行配置。包括tls、ftp、smtp、ssh、http等。下面是部分默认的配置，enable可以选择yes、no或detection-only，yes表示既解析和检测数据包，detection-only则是只检测不做额外的解析，no则不检测也不解析：

<code class="hljs coffeescript has-numbering">app-layer:
 protocols:
 tls:
 enabled: yes
 detection-ports:
 dp: 443
 
 #no-reassemble: yes
 dcerpc:
 enabled: yes
 ftp:
 enabled: yes
 ssh:
 enabled: yes
 smtp:
 enabled: yes
 imap:
 enabled: detection-only
 msn:
 enabled: detection-only</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li><li>12</li><li>13</li><li>14</li><li>15</li><li>16</li><li>17</li><li>18</li><li>19</li><li>20</li></ul>

由于http协议的数据包比较复杂和常用，且它的解析器使用第三方库，因此下面对其单独说明。

### libhtp ###

Suricata使用libhtp库对HTTP会话数据包进行解析。由于http的web服务器种类非常多导致了suricata必须处理每一种不同服务器所产生的http流量，用户在这里可以配置IP地址和web服务器种类的对应关系。可以选择的web服务器包括，默认的是IDS模式的服务器：

<code class="hljs haskell has-numbering">Minimal 
 Generic 
 IDS (default) 
 IIS_4_0 
 IIS_5_0 
 IIS_5_1 
 IIS_6_0 
 IIS_7_0 
 IIS_7_5 
 Apache 
 Apache_2_2</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li></ul>

在每一种模式下可以配置IP地址、web服务器种类以及对request、response数据包大小的限制，默认的IDS模式表示所有的IP都使用这套配置。一套典型的配置如下，前面几项配置都容易理解double-decode-path和double-decode-query需要进行特殊说明。有些攻击web服务器的手法是通过在URI中加入特定的攻击字段来完成，URI由协议、主机名、端口号（大部分http协议是80端口，因此可省略）、路径和查询参数五部分组成（详情参考[统一资源定位符-维基百科][-]），能够控制的便是路径和查询参数，double-decode-path和double-decode-query就是可以检查这两部分是否经过了双重URL编码（可参考[Double Encoding-OWASP][]）：

<code class="hljs http has-numbering">libhtp: 
 default-config: 
 personality: IDS
 request-body-limit: 3072 
 response-body-limit: 3072 
 double-decode-path: no
 double-decode-query: no
 
 server-config: 
 - apache: 
 address: [192.168.1.0/24, 127.0.0.0/8, "::1"] 
 personality: Apache_2_2 
 request-body-limit: 0
 response-body-limit: 0
 double-decode-path: no
 double-decode-query: no
 
 - iis7: 
 address: 
 - 192.168.0.0/24 
 - 192.168.10.0/24 
 personality: IIS_7_0
 request-body-limit: 4096
 response-body-limit: 8192
 double-decode-path: no
 double-decode-query: no</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li><li>12</li><li>13</li><li>14</li><li>15</li><li>16</li><li>17</li><li>18</li><li>19</li><li>20</li><li>21</li><li>22</li><li>23</li><li>24</li><li>25</li><li>26</li></ul>

除了以上的配置外，还有一些针对URI的斜杠、反斜杠及编码之类的配置，等后面用到的时候再详细了解：

<code class="hljs vbscript has-numbering"> # Configures whether backslash characters are treated as path segment
 # separators. They are not on Unix systems, but are on Windows systems.
 # If this setting is enabled, a path such as "/one\two/three" will be
 # converted to "/one/two/three". Accepted values - yes, no.
 path-backslash-separators: yes
 
 # Configures whether consecutive path segment separators will be
 # compressed. When enabled, a path such as "/one//two" will be normalized
 # to "/one/two". The backslash_separators and decode_separators
 # parameters are used before compression takes place. For example, if
 # backslash_separators and decode_separators are both enabled, the path
 # "/one\\/two\/%5cthree/%2f//four" will be converted to
 # "/one/two/three/four". Accepted values - yes, no.
 path-compress-separators: yes
 
 # This parameter is used to predict how a server will react when control
 # characters are present in a request path, but does not affect path
 # normalization. Accepted values - none or status_400 */
 path-control-char-handling: none
 
 # Controls the UTF-8 treatment of request paths. One option is to only
 # validate path as UTF-8. In this case, the UTF-8 flags will be raised
 # as appropriate, and the path will remain in UTF-8 (if it was UTF-8 in
 # the first place). The other option is to convert a UTF-8 path into a
 # single byte stream using best-fit mapping. Accepted values - yes, no.
 path-convert-utf8: yes
 
 # Configures whether encoded path segment separators will be decoded.
 # Apache does not do this, but IIS does. If enabled, a path such as
 # "/one%2ftwo" will be normalized to "/one/two". If the
 # backslash_separators option is also enabled, encoded backslash
 # characters will be converted too (and subseqently normalized to
 # forward slashes). Accepted values - yes, no.
 path-decode-separators: yes
 
 # Configures whether %u-encoded sequences in path will be decoded. Such
 # sequences will be treated as invalid URL encoding if decoding is not
 # desireable. Accepted values - yes, no.
 path-decode-u-encoding: yes
 
 # Configures how server reacts to invalid encoding in path. Accepted
 # values - preserve_percent, remove_percent, decode_invalid, status_400
 path-invalid-encoding-handling: preserve_percent
 
 # Configures how server reacts to invalid UTF-8 characters in path.
 # This setting will not affect path normalization; it only controls what
 # response status we expect for a request that contains invalid UTF-8
 # characters. Accepted values - none, status_400.
 path-invalid-utf8-handling: none
 
 # Configures how server reacts to encoded NUL bytes. Some servers will
 # terminate path at NUL, while some will respond with 400 or 404. When
 # the termination option is not used, the NUL byte will remain in the
 # path. Accepted values - none, terminate, status_400, status_404.
 path-nul-encoded-handling: none
 
 # Configures how server reacts to raw NUL bytes. Some servers will
 # terminate path at NUL, while some will respond with 400 or 404. When
 # the termination option is not used, the NUL byte will remain in the
 # path. Accepted values - none, terminate, status_400, status_404.
 path-nul-raw-handling: none
 
 # Sets the replacement characater that will be used to in the lossy
 # best-fit mapping from Unicode characters into single-byte streams.
 # The question mark is the default replacement character.
 set-path-replacement-char: ?
 
 # Controls what the library does when it encounters an Unicode character
 # where only a single-byte would do (e.g., the %u-encoded characters).
 # Conversion always takes place; this parameter is used to correctly
 # predict the status code used in response. In the future there will
 # probably be an option to convert such characters to UCS-2 or UTF-8.
 # Accepted values - bestfit, status_400 and status_404.
 set-path-unicode-mapping: bestfit</code><ul class="pre-numbering" style="display: block;"><li>1</li><li>2</li><li>3</li><li>4</li><li>5</li><li>6</li><li>7</li><li>8</li><li>9</li><li>10</li><li>11</li><li>12</li><li>13</li><li>14</li><li>15</li><li>16</li><li>17</li><li>18</li><li>19</li><li>20</li><li>21</li><li>22</li><li>23</li><li>24</li><li>25</li><li>26</li><li>27</li><li>28</li><li>29</li><li>30</li><li>31</li><li>32</li><li>33</li><li>34</li><li>35</li><li>36</li><li>37</li><li>38</li><li>39</li><li>40</li><li>41</li><li>42</li><li>43</li><li>44</li><li>45</li><li>46</li><li>47</li><li>48</li><li>49</li><li>50</li><li>51</li><li>52</li><li>53</li><li>54</li><li>55</li><li>56</li><li>57</li><li>58</li><li>59</li><li>60</li><li>61</li><li>62</li><li>63</li><li>64</li><li>65</li><li>66</li><li>67</li><li>68</li><li>69</li><li>70</li><li>71</li><li>72</li><li>73</li><li>74</li></ul>

## 参考链接 ##

[https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Suricatayaml][https_redmine.openinfosecfoundation.org_projects_suricata_wiki_Suricatayaml]  
[http://en.wikipedia.org/wiki/Abstract\_Syntax\_Notation\_One][Abstract Syntax Notation One-]  
[https://www.owasp.org/index.php/Double\_Encoding][Double Encoding-OWASP]

[20150422102259879]: /images/20220731/a89e9f42cd394d0ca3d3e1e8298010f4.png
[20150422133440828]: /images/20220731/89d258bcdc514f1abcf5aa9c6af90be7.png
[20150422150948800]: /images/20220731/74efec4a8032493c90d4fe18b3e562e7.png
[normal_ids.png]: /images/20220731/1a5870ecccf940f1a5aef1a12ecae12e.png
[inline_mode.png]: /images/20220731/03050b3878134ab797e58dc09cf6a594.png
[Abstract Syntax Notation One-]: http://en.wikipedia.org/wiki/Abstract_Syntax_Notation_One
[-]: http://zh.wikipedia.org/wiki/%E7%BB%9F%E4%B8%80%E8%B5%84%E6%BA%90%E5%AE%9A%E4%BD%8D%E7%AC%A6
[Double Encoding-OWASP]: https://www.owasp.org/index.php/Double_Encoding
[https_redmine.openinfosecfoundation.org_projects_suricata_wiki_Suricatayaml]: https://redmine.openinfosecfoundation.org/projects/suricata/wiki/Suricatayaml